ढलान अनुमान में बड़ी असहमति जब समूहों को यादृच्छिक बनाम एक मिश्रित मॉडल में तय किया जाता है

Question

मैं समझता हूं कि हम यादृच्छिक प्रभाव (या मिश्रित प्रभाव) मॉडल का उपयोग करते हैं जब हम मानते हैं कि कुछ मॉडल पैरामीटर कुछ समूहों के समूह में यादृच्छिक रूप से भिन्न होते हैं। मुझे एक मॉडल फिट करने की इच्छा है, जहां एक समूहीकरण कारक में प्रतिक्रिया को सामान्यीकृत और केंद्रित किया गया है (पूरी तरह से नहीं, बल्कि बहुत करीब), लेकिन एक स्वतंत्र चर xको किसी भी तरह से समायोजित नहीं किया गया है। इसने मुझे निम्नलिखित परीक्षा ( गढ़े हुए डेटा का उपयोग करके ) को यह सुनिश्चित करने के लिए प्रेरित किया कि मुझे वह प्रभाव मिलेगा जो मैं देख रहा था कि क्या यह वास्तव में वहाँ था। मैंने एक रैंडम इंटरसेप्ट (एक समूह द्वारा परिभाषित ) के साथ एक मिश्रित प्रभाव मॉडल चलाया fऔर एक निश्चित फिक्स्ड भविष्यवक्ता के रूप में कारक एफ के साथ एक दूसरा निश्चित प्रभाव मॉडल। मैंने lmerमिश्रित प्रभाव मॉडल और बेस फ़ंक्शन के लिए आर पैकेज का उपयोग कियाlm()निश्चित प्रभाव मॉडल के लिए। निम्नलिखित डेटा और परिणाम है।

ध्यान दें कि y, समूह की परवाह किए बिना, लगभग 0. और भिन्न होता हैxy समूह के साथ लगातार बदलता रहता है , लेकिन समूहों की तुलना में बहुत अधिक भिन्न होता हैy

> data
      y   x f
1  -0.5   2 1
2   0.0   3 1
3   0.5   4 1
4  -0.6  -4 2
5   0.0  -3 2
6   0.6  -2 2
7  -0.2  13 3
8   0.1  14 3
9   0.4  15 3
10 -0.5 -15 4
11 -0.1 -14 4
12  0.4 -13 4

यदि आप डेटा के साथ काम करने में रुचि रखते हैं, तो यहां dput()आउटपुट है:

data<-structure(list(y = c(-0.5, 0, 0.5, -0.6, 0, 0.6, -0.2, 0.1, 0.4, 
-0.5, -0.1, 0.4), x = c(2, 3, 4, -4, -3, -2, 13, 14, 15, -15, 
-14, -13), f = structure(c(1L, 1L, 1L, 2L, 2L, 2L, 3L, 3L, 3L, 
4L, 4L, 4L), .Label = c("1", "2", "3", "4"), class = "factor")), 
.Names = c("y","x","f"), row.names = c(NA, -12L), class = "data.frame")

मिश्रित प्रभाव मॉडल फिटिंग:

> summary(lmer(y~ x + (1|f),data=data))
Linear mixed model fit by REML 
Formula: y ~ x + (1 | f) 
   Data: data 
   AIC   BIC logLik deviance REMLdev
 28.59 30.53  -10.3       11   20.59
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.00000  0.00000 
 Residual             0.17567  0.41913 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.120992   0.069
x           0.008643   0.011912   0.726

Correlation of Fixed Effects:
  (Intr)
x 0.000 

मैं ध्यान देता हूं कि अवरोधन विचरण घटक 0 अनुमानित है, और महत्वपूर्ण रूप से मेरे लिए, x एक महत्वपूर्ण भविष्यवक्ता नहीं है y।

अगला मैं निश्चित प्रभाव मॉडल के साथ फिट हूं f एक यादृच्छिक अवरोधन के लिए समूहीकरण कारक के बजाय भविष्यवक्ता के रूप :

> summary(lm(y~ x + f,data=data))

Call:
lm(formula = y ~ x + f, data = data)

Residuals:
     Min       1Q   Median       3Q      Max 
-0.16250 -0.03438  0.00000  0.03125  0.16250 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -1.38750    0.14099  -9.841 2.38e-05 ***
x            0.46250    0.04128  11.205 1.01e-05 ***
f2           2.77500    0.26538  10.457 1.59e-05 ***
f3          -4.98750    0.46396 -10.750 1.33e-05 ***
f4           7.79583    0.70817  11.008 1.13e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 0.1168 on 7 degrees of freedom
Multiple R-squared: 0.9484, Adjusted R-squared: 0.9189 
F-statistic: 32.16 on 4 and 7 DF,  p-value: 0.0001348 

अब मुझे लगता है कि, जैसा कि अपेक्षित था, x एक महत्वपूर्ण भविष्यवक्ता है y।

मैं इस अंतर के बारे में अंतर्ज्ञान की तलाश कर रहा हूं । यहां मेरी सोच किस तरह से गलत है? मैं गलत तरीके xसे इन दोनों मॉडलों के लिए एक महत्वपूर्ण पैरामीटर खोजने की उम्मीद क्यों करता हूं, लेकिन वास्तव में इसे केवल निश्चित प्रभाव मॉडल में देखते हैं?

Comments

बस जल्दी से यह बताना चाहते हैं कि आरई = 0 (यानी / आरई भिन्नता बताते हैं) पर विचरण को दिए गए यादृच्छिक प्रभाव सेटअप के साथ कुछ गलत है। यह देखते हुए, यह आश्चर्यजनक नहीं है कि xचर महत्वपूर्ण नहीं है। मुझे संदेह है कि एक ही परिणाम (गुणांक और एसई) है जो आपको चल रहा होगा lm(y~x,data=data)। निदान के लिए आगे कोई समय नहीं है, लेकिन इसे इंगित करना चाहते हैं।

— Affine

@ ठीक है कि एक अच्छी बात है। इसलिए मुझे लगता है कि मेरी दिलचस्पी यहाँ है कि अंतरंग प्रभाव ने अंतरविरोध में भिन्नता क्यों नहीं दर्ज की। यदि आप या किसी ने बाद में एक टिप्पणी की है, तो मैं इसका स्वागत करता हूं! धन्यवाद।

— नादोगन

Answer 1

यहां कई चीजें चल रही हैं। ये दिलचस्प मुद्दे हैं, लेकिन यह सब समझाने के लिए उचित समय / स्थान लेगा।

सबसे पहले, यह समझना बहुत आसान हो जाता है कि क्या हम डेटा को प्लॉट करते हैं । यहां एक स्कैटर प्लॉट है जहां समूह द्वारा डेटा बिंदुओं को रंगीन किया जाता है। इसके अतिरिक्त, हमारे पास प्रत्येक समूह के लिए एक अलग समूह-विशिष्ट प्रतिगमन रेखा और साथ ही धराशायी में एक साधारण प्रतिगमन रेखा (समूहों की अनदेखी) है:

plot(y ~ x, data=dat, col=f, pch=19)
abline(coef(lm(y ~ x, data=dat)), lwd=3, lty=2)
by(dat, dat$f, function(i) abline(coef(lm(y ~ x, data=i)), col=i$f))

निश्चित प्रभाव मॉडल

$x$$x$$x$$x$$x$$x$$x$$y$समीकरण से बाहर। ऊपर दिए गए कथानक को देखते हुए, यह निश्चित रूप से लगता है कि हम कुछ उच्च उम्मीद करेंगे$t$ इस प्रतिगमन में डमी गुणांक के प्रत्येक पर आंकड़े !)

$x$$x$$x$lm()

मिश्रित मॉडल

$x$$x$$x$$x$

$x$

यहाँ सरल प्रतिगमन मॉडल (प्लॉट में धराशायी बोल्ड लाइन) के लिए गुणांक हैं:

> lm(y ~ x, data=dat)

Call:
lm(formula = y ~ x, data = dat)

Coefficients:
(Intercept)            x  
   0.008333     0.008643  

जैसा कि आप देख सकते हैं, यहां के गुणांक हम मिश्रित मॉडल में प्राप्त किए गए समान हैं। जैसा हमने पहले ही नोट किया था, ठीक वैसा ही है, जैसा कि हमने पहले ही उल्लेख किया है, हमारे पास यादृच्छिक अंतर के लिए 0 विचरण का अनुमान है, जिससे पहले उल्लेखित अनुपात / इंट्रा-क्लास सहसंबंध 0. बनता है। इसलिए इस मामले में मिश्रित मॉडल का अनुमान अभी है। सरल रेखीय प्रतिगमन अनुमान, और जैसा कि हम भूखंड में देख सकते हैं, यहां ढलान भीतर-क्लस्टर ढलानों की तुलना में बहुत कम स्पष्ट है।

यह हमें एक अंतिम वैचारिक मुद्दे पर लाता है ...

रैंडम इंटरसेप्ट्स का विचरण 0 क्यों माना जाता है?

इस प्रश्न के उत्तर में थोड़ा तकनीकी और कठिन बनने की क्षमता है, लेकिन मैं इसे सरल और गैर-तकनीकी के रूप में रखने की कोशिश करूंगा जितना मैं (हमारे दोनों पक्षों के लिए!)। लेकिन यह शायद अभी भी थोड़ा लंबा-घुमावदार होगा।

मैंने पहले अंतर-वर्ग सहसंबंध की धारणा का उल्लेख किया था। यह में निर्भरता के बारे में सोचने का एक और तरीका है$y$(या, अधिक सही ढंग से, मॉडल की त्रुटियां) क्लस्टरिंग संरचना द्वारा प्रेरित। इंट्रा-क्लास सहसंबंध हमें बताता है कि कैसे एक ही क्लस्टर से दो त्रुटियां समान हैं, डेटासेट में कहीं से खींची गई दो त्रुटियों की औसत समानता के सापेक्ष (यानी, एक ही क्लस्टर में हो सकता है या नहीं भी हो सकता है)। एक सकारात्मक इंट्रा-क्लास सहसंबंध हमें बताता है कि एक ही क्लस्टर से त्रुटियां अपेक्षाकृत एक दूसरे के समान होती हैं; यदि मैं एक क्लस्टर से एक त्रुटि खींचता हूं और इसका उच्च मूल्य है, तो मैं उपरोक्त मौके की उम्मीद कर सकता हूं कि अगली त्रुटि मैं उसी क्लस्टर से खींचता हूं, जिसका उच्च मूल्य भी होगा। यद्यपि कुछ हद तक कम सामान्य, अंतर-वर्ग सहसंबंध भी नकारात्मक हो सकते हैं; एक ही क्लस्टर से खींची गई दो त्रुटियां कम समान होती हैं (यानी, मूल्य में अतिरिक्त) की तुलना में आम तौर पर संपूर्ण के रूप में डेटासेट की अपेक्षा की जाती है।

मिश्रित मॉडल जिस पर हम विचार कर रहे हैं, वह डेटा में निर्भरता का प्रतिनिधित्व करने के इंट्रा-क्लास सहसंबंध विधि का उपयोग नहीं कर रहा है। इसके बजाय यह विचरण घटकों के संदर्भ में निर्भरता का वर्णन करता है । यह सब ठीक है जब तक इंट्रा-क्लास सहसंबंध सकारात्मक है। उन मामलों में, अंतर-वर्ग सहसंबंध आसानी से विचरण घटकों के संदर्भ में लिखा जा सकता है, विशेष रूप से कुल विचरण के लिए यादृच्छिक अवरोधन विचरण के पहले उल्लेखित अनुपात के रूप में। ( इंट्रा-क्लास सहसंबंध पर विकी पृष्ठ देखेंइस बारे में अधिक जानकारी के लिए।) लेकिन दुर्भाग्य से विचरण-घटकों के मॉडल में उन परिस्थितियों से निपटने में मुश्किल समय होता है जहां हमारे पास एक नकारात्मक इंट्रा-क्लास सहसंबंध होता है। आखिरकार, विचरण घटकों के संदर्भ में इंट्रा-क्लास सहसंबंध को लिखना इसमें विचरण के अनुपात के रूप में लिखना शामिल है, और अनुपात नकारात्मक नहीं हो सकता है।

$y$$y$$y$, जबकि विभिन्न समूहों से निकली त्रुटियों में अधिक मध्यम अंतर होगा।) तो आपका मिश्रित मॉडल वही कर रहा है, जो व्यवहार में, मिश्रित मॉडल अक्सर इस मामले में करते हैं: यह अनुमान देता है जो एक नकारात्मक अंतर-वर्ग सहसंबंध के अनुरूप हैं। जैसा कि यह मस्टर कर सकता है, लेकिन यह 0 के निचले हिस्से में रुकता है (यह बाधा आमतौर पर मॉडल फिटिंग एल्गोरिदम में प्रोग्राम की जाती है)। तो हम 0 के अनुमानित यादृच्छिक अवरोधन विचरण के साथ समाप्त होते हैं, जो अभी भी एक बहुत अच्छा अनुमान नहीं है, लेकिन यह उतना ही करीब है जितना कि हम इस विचरण-घटकों के मॉडल के साथ मिल सकते हैं।

तो हम क्या कर सकते हैं?

$x$

$x$

ऐसा करने के लिए, हम अपना लेते हैं $x$$x_b$$x$$x_w$$x$

> dat <- within(dat, x_b <- tapply(x, f, mean)[paste(f)])
> dat <- within(dat, x_w <- x - x_b)
> dat
      y   x f x_b x_w
1  -0.5   2 1   3  -1
2   0.0   3 1   3   0
3   0.5   4 1   3   1
4  -0.6  -4 2  -3  -1
5   0.0  -3 2  -3   0
6   0.6  -2 2  -3   1
7  -0.2  13 3  14  -1
8   0.1  14 3  14   0
9   0.4  15 3  14   1
10 -0.5 -15 4 -14  -1
11 -0.1 -14 4 -14   0
12  0.4 -13 4 -14   1
> 
> mod <- lmer(y ~ x_b + x_w + (1|f), data=dat)
> mod
Linear mixed model fit by REML 
Formula: y ~ x_b + x_w + (1 | f) 
   Data: dat 
   AIC   BIC logLik deviance REMLdev
 6.547 8.972  1.726   -23.63  -3.453
Random effects:
 Groups   Name        Variance Std.Dev.
 f        (Intercept) 0.000000 0.00000 
 Residual             0.010898 0.10439 
Number of obs: 12, groups: f, 4

Fixed effects:
            Estimate Std. Error t value
(Intercept) 0.008333   0.030135   0.277
x_b         0.005691   0.002977   1.912
x_w         0.462500   0.036908  12.531

Correlation of Fixed Effects:
    (Intr) x_b  
x_b 0.000       
x_w 0.000  0.000

$x_w$$x_b$$y$$x$$x$$x_b$$t$-स्थायी बड़ा है। यह इसलिए भी आश्चर्यजनक है क्योंकि यादृच्छिक समूह प्रभाव के कारण इस मिश्रित मॉडल में अवशिष्ट विचरण बहुत छोटा होता है, जो कि साधारण प्रतिगमन मॉडल से निपटने के लिए कई प्रकार के विचरण करता है।

अंत में, हमारे पास अभी भी यादृच्छिक खंडों के विचरण के लिए 0 का अनुमान है, उन कारणों के लिए जो मैंने पिछले अनुभाग में विस्तृत किए थे। मुझे वास्तव में यकीन नहीं है कि हम उस बारे में क्या कर सकते हैं जो कम से कम किसी सॉफ़्टवेयर के अलावा किसी अन्य पर स्विच किए बिना हो सकता है lmer(), और मुझे यह भी निश्चित नहीं है कि यह अभी भी इस अंतिम मिश्रित मॉडल में हमारे अनुमानों पर प्रतिकूल प्रभाव डालने वाला है। हो सकता है कि कोई अन्य उपयोगकर्ता इस मुद्दे के बारे में कुछ विचारों के साथ झंकार कर सकता है।

संदर्भ

• बेल, ए।, और जोन्स, के। (2014)। निश्चित प्रभाव की व्याख्या: समय-श्रृंखला क्रॉस-अनुभागीय और पैनल डेटा के यादृच्छिक प्रभाव। राजनीति विज्ञान अनुसंधान और तरीके। पीडीएफ
• बाफुमी, जे।, और गेलमैन, एई (2006)। जब भविष्यवक्ता और समूह प्रभाव सहसंबंधी हो, तो बहुस्तरीय मॉडल तैयार करना। पीडीएफ

Comments

यह एक बहुत ही विचारशील और सहायक प्रतिक्रिया है। मैं इन संदर्भों में नहीं आया हूं; उनके शीर्षक मुझे अपनी खोज में इस बिंदु पर अवश्य पढ़े। मुझ पर आपकी एक बीयर उधार है!

— नवोदय

बेल एंड जोन्स रेफरी बहुत अच्छा था। एक बात जिसका मैं इंतजार कर रहा था, और वह हो सकता है कि आप के बारे में एक सुराग हो, कि क्या ये अलग-अलग अलगाव सामान्यीकृत रैखिक मिश्रित मॉडल के लिए आसानी से विस्तारित होते हैं। ऐसा लगता है जैसे उन्हें होना चाहिए, लेकिन मुझे लगा कि मैं समझ गया था कि लॉजिस्टिक रिग्रेशन मॉडल में कोवरेट को सशर्त लॉजिस्टिक मॉडल के समान नहीं है, जिसे मैं बाइनरी परिणाम एनालॉग से फिक्स्ड इफेक्ट लीनियर मॉडल के रूप में लेता हूं। कोई टिप्पणी?

— 21

एक सीमांत मॉडल को फिट करने की अनुमति नहीं होगी नकारात्मक मोड के लिए जो lmeडिफ़ॉल्ट रूप से बाधा बनता है > = 0? देखें इस सवाल का जवाब और उसकी चयनित , अर्थात एक के माध्यम से एक यौगिक simmetry सहसंबंध फिटिंग glsफिट या स्थापित करने correlation = corCompSymm(form = ~1|f)मेंlme

— FairMiles

@FairMiles शायद ... आप इसे एक कोशिश क्यों नहीं देते और इस टिप्पणी थ्रेड में परिणाम पोस्ट करते हैं?

— जेक वेस्टफॉल

फिर से धन्यवाद, @JakeWestfall। मैंने इस पर कुछ महीनों के दौरान लगभग 3 बार पढ़ा है और यह हर बार विभिन्न तरीकों से मदद करता है।

— नादोगन

Answer 2

काफी चिंतन के बाद, मुझे विश्वास है कि मैंने अपना उत्तर खोज लिया है। मेरा मानना ​​है कि एक अर्थशास्त्री मेरे स्वतंत्र चर को अंतर्जात के रूप में परिभाषित करेगा और इस तरह दोनों स्वतंत्र और आश्रित चर के साथ सहसंबद्ध होगा। इस मामले में, उन चर को छोड़ दिया गया है या अप्राप्त है । हालाँकि, मैं उन समूहों का निरीक्षण करता हूँ जिनके बीच छोड़े गए चर भिन्न होने चाहिए।

मेरा मानना ​​है कि अर्थशास्त्री एक निश्चित प्रभाव मॉडल का सुझाव देंगे । यही है, एक मॉडल जिसमें प्रत्येक समूह के स्तर के लिए एक डमी शामिल है (या एक समकक्ष विनिर्देश जो इस स्थिति को मॉडल बनाता है जैसे कि कई समूह डमी की आवश्यकता नहीं है)। एक निश्चित प्रभाव वाले मॉडल के साथ, यह आशा है कि सभी अप्राप्य और समय-अपरिवर्तनीय चर को समूह के बाहर (या व्यक्तिगत रूप से) भिन्नता द्वारा कंडीशनिंग द्वारा नियंत्रित किया जा सकता है। वास्तव में, मेरे प्रश्न का दूसरा मॉडल वास्तव में एक निश्चित प्रभाव वाला मॉडल है, और जैसा कि मुझे लगता है कि अनुमान देता है।

मैं उन टिप्पणियों का स्वागत करता हूं जो इस परिस्थिति को और रोशन करेंगी।