लॉजिस्टिक रिग्रेशन का मूल्यांकन और होस्मेर-लेमेशो गुडनेस ऑफ फिट की व्याख्या

Question

जैसा कि हम सभी जानते हैं कि लॉजिस्टिक रिग्रेशन मॉडल का मूल्यांकन करने के 2 तरीके हैं और वे बहुत अलग चीजों का परीक्षण कर रहे हैं

1. प्रिडिक्टिव पावर:

   एक सांख्यिकीय प्राप्त करें जो मापता है कि आप स्वतंत्र चर के आधार पर निर्भर चर की कितनी अच्छी भविष्यवाणी कर सकते हैं। जाने-माने Pseudo R ^ 2 McFadden (1974) और Cox and Snell (1989) हैं।

2. अच्छा-के-फिट आंकड़े

   परीक्षण यह बता रहा है कि क्या आप मॉडल को और अधिक जटिल बनाकर बेहतर कर सकते हैं, जो वास्तव में परीक्षण कर रहा है कि क्या कोई गैर-रैखिकता या बातचीत है।

   मैंने अपने मॉडल पर दोनों परीक्षणों को लागू किया, जिसमें
   पहले से ही द्विघात और इंटरैक्शन जोड़ा गया था :

   >summary(spec_q2)
   
   Call:
   glm(formula = result ~ Top + Right + Left + Bottom + I(Top^2) + 
    I(Left^2) + I(Bottom^2) + Top:Right + Top:Bottom + Right:Left, 
    family = binomial())
   
    Coefficients:
                Estimate Std. Error z value Pr(>|z|)    
   (Intercept)  0.955431   8.838584   0.108   0.9139    
   Top          0.311891   0.189793   1.643   0.1003    
   Right       -1.015460   0.502736  -2.020   0.0434 *  
   Left        -0.962143   0.431534  -2.230   0.0258 *  
   Bottom       0.198631   0.157242   1.263   0.2065    
   I(Top^2)    -0.003213   0.002114  -1.520   0.1285    
   I(Left^2)   -0.054258   0.008768  -6.188 6.09e-10 ***
   I(Bottom^2)  0.003725   0.001782   2.091   0.0366 *  
   Top:Right    0.012290   0.007540   1.630   0.1031    
   Top:Bottom   0.004536   0.002880   1.575   0.1153    
   Right:Left  -0.044283   0.015983  -2.771   0.0056 ** 
   ---
   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
   (Dispersion parameter for binomial family taken to be 1)
   Null deviance: 3350.3  on 2799  degrees of freedom
   Residual deviance: 1984.6  on 2789  degrees of freedom
   AIC: 2006.6
   

और अनुमानित शक्ति नीचे दी गई है, एमएफ़डेन 0.4004 है, और 0.2 ~ 0.4 के बीच के मूल्य को मॉडल (लौविएर एट अल (2000), डोमिनिच और मैकफैडेन (1975) के बहुत अच्छे फिट पेश करने के लिए लिया जाना चाहिए:

 > PseudoR2(spec_q2)
    McFadden     Adj.McFadden        Cox.Snell       Nagelkerke McKelvey.Zavoina           Effron            Count        Adj.Count 
   0.4076315        0.4004680        0.3859918        0.5531859        0.6144487        0.4616466        0.8489286        0.4712500 
         AIC    Corrected.AIC 
2006.6179010     2006.7125925 

और अच्छाई के फिट आँकड़े:

 > hoslem.test(result,phat,g=8)

     Hosmer and Lemeshow goodness of fit (GOF) test

  data:  result, phat
  X-squared = 2800, df = 6, p-value < 2.2e-16

मेरी समझ के अनुसार, GOF वास्तव में निम्नलिखित अशक्त और वैकल्पिक परिकल्पना का परीक्षण कर रहा है:

  H0: The models does not need interaction and non-linearity
  H1: The models needs interaction and non-linearity

चूँकि मेरे मॉडल में इंटरैक्शन जोड़ा गया है, इसलिए गैर-रैखिकता पहले से ही है और पी-वैल्यू शो H0 को अस्वीकार कर दिया जाना चाहिए, इसलिए मैं इस निष्कर्ष पर पहुंचा कि मेरे मॉडल को वास्तव में इंटरैक्शन, गैर-रैखिकता की आवश्यकता है। आशा है कि मेरी व्याख्या सही है और अग्रिम में किसी भी सलाह के लिए धन्यवाद, धन्यवाद।

Comments

यह भी देखें आंकड़े ।stackexchange.com

एचएल परीक्षण के लिए पी-मूल्य की तुलना में अंतर्निहित तालिका को देखने के लिए बेहतर है। और अपने मॉडल से अवशिष्टों के भूखंडों पर भी। इससे पता चलेगा कि समस्या कहां है।

— probabilityislogic

Answer 1

संबोधित करने के लिए कई मुद्दे हैं।

• $R^2$$R^2$$R^2$
• होस्मेर-लेमेशो परीक्षण समग्र अंशांकन त्रुटि के लिए है, न कि किसी विशेष कमी जैसे कि द्विघात प्रभाव के लिए। यह ठीक से खाते में ओवरफिटिंग नहीं करता है, डिब्बे की गणना और क्वांटिल कंप्यूटिंग की विधि के लिए मनमाना है, और अक्सर इसकी शक्ति कम होती है।
• इन कारणों से होस्मेर-लेमेशो परीक्षण की अनुशंसा नहीं की जाती है। होसमेर एट अल के पास आर rmsपैकेज residuals.lrmफ़ंक्शन में लागू किया गया एक बेहतर डीएफ ओम्निबस टेस्ट ऑफ फिट है।
• आपके मामले के लिए फिट की अच्छाई का आकलन संयुक्त रूप से परीक्षण (एक "चंक" परीक्षण) में किया जा सकता है जो सभी वर्ग और इंटरैक्शन शब्दों का योगदान है।
• लेकिन मैं मॉडल को निर्दिष्ट करने की सलाह देता हूं कि इसे आगे फिट होने की संभावना है (विशेष रूप से रिग्रेशन स्प्लिन का उपयोग करके रैखिकता मान्यताओं को आराम देने के संबंध में) और ओवरस्टिटिंग का अनुमान लगाने के लिए बूटस्ट्रैप का उपयोग करना और निरपेक्ष जांच के लिए एक ओवरफिटिंग-सुधारा हुआ उच्च-रिज़ॉल्यूशन अंशांकन वक्र प्राप्त करना सटीकता। ये R rmsपैकेज का उपयोग करके किया जाता है ।

अंतिम बिंदु पर, मैं उस दर्शन को पसंद करता हूं जो मॉडल लचीला हो (जैसा कि नमूना आकार द्वारा सीमित है, वैसे भी) और हम "फिट की कमी" की तुलना में "फिट" पर अधिक ध्यान केंद्रित करते हैं।

Comments

$R^2$

$1 - R^{2}$

Answer 2

से विकिपीडिया :

परीक्षण का आकलन है कि क्या मनाया गया घटना दरें मॉडल आबादी के उपसमूह में अपेक्षित घटना दरों से मेल खाती हैं या नहीं। होसमेर-लेमेशो परीक्षण विशेष रूप से उपसमूहों को फिट किए गए जोखिम मूल्यों के निर्णय के रूप में पहचानता है। वे मॉडल जिनके लिए उपसमूहों में अपेक्षित और देखी गई घटना दरें समान हैं उन्हें अच्छी तरह से कैलिब्रेट किया जाता है।

इसका अर्थ: अपने मॉडल के वाई को स्कोर करने वाले मॉडल के निर्माण के बाद, आप यह जांचना चाहते हैं कि क्या यह वास्तविक घटना दरों के समान 10 डिकाइल्स में वितरित किया गया है।

तो परिकल्पनाएं होंगी

• $H_0$
• $H_1$

इसलिए यदि p -value .05 से कम है, तो वे अच्छी तरह से वितरित नहीं होते हैं और आपको अपने मॉडल को परिष्कृत करने की आवश्यकता होती है।

मुझे उम्मीद है कि यह आपके कुछ प्रश्न का उत्तर देगा।

Answer 3

इस बल्कि विवादास्पद @ FrankHarrell के जवाब पीछा कर रहा है, लेकिन एच एल परीक्षण के एक प्रशंसक है कि परिणाम से यह निष्कर्ष निकाल होता है कि बावजूद द्विघात नियम व कुछ के अपने शामिल किए जाने ^† 2-क्रम बातचीत, मॉडल अभी भी फिट की महत्वपूर्ण कमी से पता चला है, और है कि शायद एक और भी अधिक जटिल मॉडल उपयुक्त होगा। आप अपने द्वारा निर्दिष्ट मॉडल के ठीक-ठीक फिट का परीक्षण कर रहे हैं, सरल 1-ऑर्डर मॉडल का नहीं।

† यह एक पूर्ण 2-क्रम मॉडल नहीं है - जाने के लिए तीन इंटरैक्शन हैं।