स्वतंत्रता के और अवशिष्ट विचलन डिग्री का उपयोग कर लॉजिस्टिक रिग्रेशन गुणांक का परीक्षण

Question

सारांश: क्या मानक सामान्य वितरण के बजाय लॉजिस्टिक रिग्रेशन गुणांक के परीक्षणों के लिए distribution (अवशिष्ट अवशिष्ट के आधार पर स्वतंत्रता की डिग्री के साथ) के उपयोग का समर्थन करने के लिए कोई सांख्यिकीय सिद्धांत है ?$t$

---

कुछ समय पहले मुझे पता चला कि जब डिफ़ॉल्ट सेटिंग्स के तहत SAS PROC GLIMMIX में एक लॉजिस्टिक रिग्रेशन मॉडल फिट किया जाता है, तो लॉजिस्टिक रिग्रेशन गुणांक मानक सामान्य वितरण के बजाय एक वितरण का उपयोग करके परीक्षण किया जाता है। यानी, GLIMMIX एक कॉलम को रिपोर्ट करता है जिसका अनुपात (जिसे मैं इस प्रश्न के शेष भाग में कहूंगा ), लेकिन यह भी एक "स्वतंत्रता की डिग्री" कॉलम है, साथ ही एक रिपोर्ट -value एक संभालने के आधार पर के लिए वितरण1 β 1 / $t$$^1$ जेडपीटीजेड$\hat{\beta}_1/\sqrt{\text{var}(\hat{\beta}_1)}$$z$$p$$t$$z$अवशिष्ट अवशिष्ट के आधार पर स्वतंत्रता की डिग्री के साथ - अर्थात, स्वतंत्रता की डिग्री = अवलोकन की कुल संख्या मापदंडों की माइनस संख्या। इस सवाल के तल पर मैं प्रदर्शन और तुलना के लिए आर और एसएएस में कुछ कोड और आउटपुट प्रदान करता हूं। $^2$

इसने मुझे भ्रमित किया, क्योंकि मैंने सोचा था कि लॉजिस्टिक रिग्रेशन जैसे सामान्यीकृत रैखिक मॉडल के लिए, इस मामले में -distribution के उपयोग का समर्थन करने के लिए कोई सांख्यिकीय सिद्धांत नहीं था । इसके बजाय मैंने सोचा कि हम इस मामले के बारे में क्या जानते हैं$t$

• $z$ "सामान्य रूप से वितरित" लगभग है;
• यह नमूना छोटे नमूने के आकार के लिए खराब हो सकता है;
• फिर भी यह नहीं माना जा सकता है कि का वितरण है जैसे हम सामान्य प्रतिगमन के मामले में मान सकते हैं।$z$$t$

अब, एक सहज स्तर पर, यह मुझे उचित लगता है कि यदि लगभग सामान्य रूप से वितरित किया जाता है, तो वास्तव में इसका कुछ वितरण हो सकता है जो मूल रूप से " -like" है, भले ही यह बिल्कुल न । तो यहाँ वितरण का उपयोग पागल नहीं लगता है। लेकिन जो मैं जानना चाहता हूं वह निम्नलिखित है:t t $z$$t$$t$$t$

1. क्या वास्तव में सांख्यिकीय सिद्धांत दिखा रहा है कि वास्तव में लॉजिस्टिक प्रतिगमन और / या अन्य सामान्यीकृत रैखिक मॉडल के मामले में एक वितरण का पालन करता है ?$z$$t$
2. यदि ऐसा कोई सिद्धांत नहीं है, तो क्या कम से कम कागजात हैं जो यह दर्शाते हैं कि इस तरह से एक वितरण को एक सामान्य वितरण मानते हुए, या शायद इससे भी बेहतर काम करता है?$t$

आम तौर पर, क्या GLIMMIX यहां अंतर्ज्ञान के अलावा जो कुछ कर रहा है, उसके लिए कोई वास्तविक समर्थन है कि यह मूल रूप से समझदार है?

आर कोड:

summary(glm(y ~ x, data=dat, family=binomial))

आर आउटपुट:

Call:
glm(formula = y ~ x, family = binomial, data = dat)

Deviance Residuals: 
   Min      1Q  Median      3Q     Max  
-1.352  -1.243   1.025   1.068   1.156  

Coefficients:
            Estimate Std. Error z value Pr(>|z|)    
(Intercept)  0.22800    0.06725   3.390 0.000698 ***
x           -0.17966    0.10841  -1.657 0.097462 .  
---
  Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 1235.6  on 899  degrees of freedom
Residual deviance: 1232.9  on 898  degrees of freedom
AIC: 1236.9

Number of Fisher Scoring iterations: 4

SAS कोड:

proc glimmix data=logitDat;
    model y(event='1') = x / dist=binomial solution;
run;

एसएएस आउटपुट (संपादित / संक्षिप्त):

The GLIMMIX Procedure

               Fit Statistics

-2 Log Likelihood            1232.87
AIC  (smaller is better)     1236.87
AICC (smaller is better)     1236.88
BIC  (smaller is better)     1246.47
CAIC (smaller is better)     1248.47
HQIC (smaller is better)     1240.54
Pearson Chi-Square            900.08
Pearson Chi-Square / DF         1.00


                       Parameter Estimates

                         Standard
Effect       Estimate       Error       DF    t Value    Pr > |t|

Intercept      0.2280     0.06725      898       3.39      0.0007
x             -0.1797      0.1084      898      -1.66      0.0978

$^1$ वास्तव में मैंने पहली बार PROC GLIMMIX में मिश्रित-प्रभाव लॉजिस्टिक रिग्रेशन मॉडल के बारे में देखा और बाद में पता चला कि GLIMMIX "वैनिला" लॉजिस्टिक रिग्रेशन के साथ भी ऐसा करता है।

$^2$ मैं समझता हूं कि नीचे दिए गए उदाहरण में, 900 टिप्पणियों के साथ, यहां अंतर संभवतः कोई व्यावहारिक अंतर नहीं है। यह वास्तव में मेरी बात नहीं है। यह केवल डेटा है जिसे मैंने जल्दी से बनाया और 900 को चुना क्योंकि यह एक सुंदर संख्या है। हालांकि मैं छोटे नमूने के आकार के साथ व्यावहारिक अंतर के बारे में थोड़ा आश्चर्य करता हूं, उदाहरण के लिए <30।$n$

Comments

PROC LOGISTICSAS में -score के आधार पर सामान्य वॉल्ड -टाइप परीक्षण का उत्पादन होता है। मुझे आश्चर्य है कि नए कार्य (सामान्यीकरण के अनुत्पादक?) में बदलाव के लिए क्या संकेत दिया। $z$

— Affine

एसपीएसएस लॉजिस्टिक मिक्स्ड इफेक्ट मॉडल का उसी तरह से परीक्षण करता प्रतीत होता है :(

— रिचर्ड बॉर्डर

Answer 1

क्या वास्तव में सांख्यिकीय सिद्धांत यह दिखा रहा है कि z वास्तव में लॉजिस्टिक प्रतिगमन और / या अन्य सामान्यीकृत रैखिक मॉडल के मामले में वितरण का पालन करता है?

जहां तक ​​मुझे जानकारी है, ऐसा कोई सिद्धांत मौजूद नहीं है। मैं नियमित रूप से हाथ-लहराती दलीलें देखता हूं, और कभी-कभी कुछ विशेष जीएलएम परिवार या किसी अन्य के लिए इस तरह के दृष्टिकोण का समर्थन करने के लिए सिमुलेशन प्रयोग करता हूं। सिमुलेशन handwavy तर्कों की तुलना में अधिक आश्वस्त हैं।

यदि ऐसा कोई सिद्धांत नहीं है, तो क्या कम से कम कागजात हैं जो यह दर्शाते हैं कि वितरण पर इस तरह से काम करता है या सामान्य वितरण मानकर भी बेहतर है?

ऐसा नहीं है कि मुझे याद है, लेकिन यह बहुत कुछ नहीं कह रहा है।

मेरे अपने (सीमित) छोटे-सैंपल सिमुलेशन का सुझाव है कि लॉजिस्टिक मामले में टी-डिस्ट्रीब्यूशन को सामान्य मानने की तुलना में काफी खराब हो सकता है:

यहाँ, उदाहरण के लिए, 15 सामान्य रूप से एक्स-टिप्पणियों पर 15 साधारण एक्स-टिप्पणियों पर जहां सामान्य पैरामीटर शून्य थे, एक साधारण लॉजिस्टिक रिग्रेशन (यानी निश्चित-मिश्रित नहीं) के लिए वाल्ड स्टैटिस्टिक के 10000 सिमुलेशन के परिणाम (क्यूक्यू भूखंड के रूप में) हैं। लाल रेखा y = x रेखा है। जैसा कि आप देखते हैं, प्रत्येक मामले में सामान्य मध्य में एक अच्छी सीमा पर काफी अच्छा सन्निकटन है - लगभग 5 वीं और 95 वीं प्रतिशतताएं (1.6-1.7ish), और उसके बाद परीक्षण सांख्यिकीय का वास्तविक वितरण है। सामान्य से काफी हल्का पूंछ।

इसलिए लॉजिस्टिक केस के लिए, मैं किसी भी तर्क का उपयोग करूँगा- z के बजाय t- का उपयोग करने के लिए इस आधार पर सफल होने की संभावना नहीं लगती है, क्योंकि सिमुलेशन जैसे कि ये सुझाव देते हैं कि परिणाम हल्का-पूंछ पर झूठ बोल सकते हैं सामान्य की ओर, बजाय भारी पूंछ।

[हालांकि, मैं आपको सलाह देता हूं कि आप मेरे सिमुलेशन पर विश्वास करने की चेतावनी की तुलना में आगे किसी पर भी भरोसा न करें - अपने स्वयं के कुछ परिस्थितियों का प्रयास करें, शायद आपकी खुद की स्थितियों के अधिक प्रतिनिधि आपके आईवीएस और मॉडल के विशिष्ट हैं (बेशक, आपको अनुकरण करने की आवश्यकता है मामले में जहां कुछ अशक्त देखने के लिए क्या वितरण के तहत उपयोग करने के लिए सच है)। मुझे यह सुनने में दिलचस्पी होगी कि वे आपके लिए कैसे निकलेंगे।]

Comments

धन्यवाद ग्लेन। यह वितरण के बारे में एक दिलचस्प परिणाम है वास्तव में हल्के-पूंछ वाले के बजाय सामान्य-भारी-पूंछ वाले। तो ऐसा लगता है कि विचार के पीछे भी मूल अंतर्ज्ञान निशान से दूर है, कम से कम कुछ यथार्थवादी मामलों के लिए। $t$

— जेक वेस्टफॉल

Answer 2

यहाँ कुछ अतिरिक्त सिमुलेशन हैं जो पहले से ही प्रस्तुत ग्लेन_ बी पर थोड़ा विस्तार करने के लिए हैं।

इन सिमुलेशन में मैंने एक लॉजिस्टिक रिग्रेशन के ढलान को देखा, जहां भविष्यवक्ता के पास एक समान वितरण था । सच्चा प्रतिगमन ढलान हमेशा 0. मैं कुल नमूना आकार ( ) और द्विआधारी प्रतिक्रिया की आधार दर ( ) ।एन = 10 , 20 , 40 , 80 पी = 0.5 , 0.731 , 0.881 , $[-1,1]$$N=10,20,40,80$$p=0.5,0.731,0.881,0.952$

यहां QQ भूखंडों में संबंधित वितरण ( ) के सैद्धांतिक मात्राओं में देखे गए मानों (Wald आँकड़े) की तुलना की गई है । ये प्रत्येक पैरामीटर संयोजन के लिए 1000 रन पर आधारित हैं। सूचना है कि छोटा सा नमूना आकार और चरम आधार दर के साथ (यानी, आंकड़ा के ऊपरी-दाएँ क्षेत्र), लेकिन कई मामलों में प्रतिक्रिया केवल एक ही मूल्य पर ले लिया है, थे जो मामले में और -value । t d f = N - 2 z = 0 p = $z$$t$$df=N-2$$z=0$$p$$=1$

यहाँ हिस्टोग्राम उन समान वितरणों के आधार पर लॉजिस्टिक प्रतिगमन ढलानों के लिए -values के वितरण को दिखा रहे हैं । ये प्रत्येक पैरामीटर संयोजन के लिए 10,000 रनों पर आधारित हैं। -values (कुल 20 डिब्बे) चौड़ाई 0.05 की डिब्बे में बांटा जाता है। धराशायी क्षैतिज रेखा 5% का निशान दिखाती है, अर्थात, आवृत्ति = 500। बेशक, कोई चाहता है कि अशक्त परिकल्पना के तहत -values का वितरण एक समान हो, अर्थात, सभी पट्टियाँ धराशायी रेखा के आसपास सही होनी चाहिए। आंकड़े के ऊपरी-दाएं हिस्से में फिर से कई पतित मामलों को नोटिस करें। टी पी $p$$t$$p$$p$

निष्कर्ष यह प्रतीत होता है कि इस मामले में वितरण के उपयोग से गंभीर रूढ़िवादी परिणाम हो सकते हैं जब नमूना आकार छोटा और / या जब आधार दर 0 या 1 के करीब हो।$t$

Answer 3

आप दोनों का काम अच्छा है। बिल गॉल्ड ने इसका अध्ययन http://www.citeulike.org/user/harrelfe/article/13264166 में एक मानक निश्चित-प्रभाव बाइनरी लॉजिस्टिक मॉडल में समान निष्कर्ष बनाते हुए किया।

संक्षेप में, चूंकि लॉजिस्टिक मॉडल में कोई त्रुटि शब्द नहीं है, इसलिए अनुमान लगाने के लिए कोई अवशिष्ट विचरण नहीं है इसलिए वितरण लागू नहीं होता है [कम से कम कई प्रतिरूपण समायोजन के संदर्भ में]।$t$