लॉजिस्टिक रिग्रेशन मॉडल का आकलन करना

Question

यह सवाल मेरे वास्तविक भ्रम से उत्पन्न होता है कि कैसे तय किया जाए कि लॉजिस्टिक मॉडल काफी अच्छा है या नहीं। मेरे पास ऐसे मॉडल हैं जो दो साल के बाद वैयक्तिक चर के रूप में बनने के बाद व्यक्तिगत-प्रोजेक्ट जोड़े का उपयोग करते हैं। परिणाम सफल है (1) या नहीं (0)। मेरे पास जोड़े के निर्माण के समय स्वतंत्र चर हैं। मेरा उद्देश्य यह परीक्षण करना है कि क्या एक चर, जिसे मैंने परिकल्पित किया है, जो जोड़े की सफलता को प्रभावित करेगा, उस सफलता पर प्रभाव पड़ता है, अन्य संभावित प्रभावों के लिए नियंत्रित करता है। मॉडलों में, ब्याज का चर महत्वपूर्ण है।

में glm()फ़ंक्शन का उपयोग करके मॉडल का अनुमान लगाया गया था R। मॉडल की गुणवत्ता का मूल्यांकन करने के लिए, मैं कुछ चीजें किया है: glm()आप देता है residual deviance, AICऔर BICडिफ़ॉल्ट रूप से। इसके अलावा, मैंने मॉडल की त्रुटि दर की गणना की है और द्विपदीय अवशिष्टों की साजिश रची है।

• पूर्ण मॉडल में अन्य मॉडलों की तुलना में एक छोटा अवशिष्ट अवशिष्ट, एआईसी और बीआईसी है जो मैंने अनुमान लगाया है (और जो कि पूर्ण मॉडल में नेस्टेड हैं), जो मुझे लगता है कि यह मॉडल दूसरों की तुलना में "बेहतर" है।
• मॉडल की त्रुटि-दर काफी कम है, IMHO (जैसा कि गेलमैन और हिल, 2007, pp.99 ):
  error.rate <- mean((predicted>0.5 & y==0) | (predicted<0.5 & y==1)20% पर।

अब तक सब ठीक है। लेकिन जब मैं बिनेड अवशिष्ट (फिर से गेलमैन और हिल की सलाह का पालन करता हूं) की साजिश रचता हूं, तो डिब्बे का एक बड़ा हिस्सा 95% सीआई के बाहर गिर जाता है:

वह कथानक मुझे यह सोचने के लिए प्रेरित करता है कि मॉडल के बारे में कुछ गलत है। क्या मुझे मॉडल को फेंकने के लिए नेतृत्व करना चाहिए? क्या मुझे यह स्वीकार करना चाहिए कि मॉडल अपूर्ण है लेकिन इसे रखें और ब्याज के चर के प्रभाव की व्याख्या करें? मैं बदले में चर को छोड़कर, और कुछ परिवर्तन के साथ भी घूम रहा हूं, बिना द्विज अवशिष्ट प्लॉट में सुधार के।

संपादित करें:

• फिलहाल, मॉडल में एक दर्जन भविष्यवक्ता और 5 इंटरैक्शन प्रभाव हैं।
• जोड़े इस अर्थ में एक-दूसरे से "अपेक्षाकृत" स्वतंत्र होते हैं कि वे सभी थोड़े समय के दौरान बनते हैं (लेकिन कड़े शब्दों में नहीं, सभी एक साथ) और बहुत सारी परियोजनाएं (13k) और बहुत सारे व्यक्ति हैं (19k ), इसलिए परियोजनाओं का एक उचित अनुपात केवल एक व्यक्ति द्वारा शामिल किया गया है (लगभग 20000 जोड़े हैं)।

Comments

$Y$

आप जो कहते हैं उसके आधार पर, नमूना आकार एक समस्या नहीं लगती है, क्योंकि मेरे पास लगभग 20000 हजार जोड़े हैं (जिनमें से लगभग 20% सफल हैं)।

— एंटोनी वर्नेट

Answer 1

वर्गीकरण सटीकता (त्रुटि दर) एक अनुचित स्कोरिंग नियम (एक फर्जी मॉडल द्वारा अनुकूलित), मनमाना, असंतोषजनक और हेरफेर करने में आसान है। इस संदर्भ में इसकी जरूरत नहीं है।

आपने यह नहीं बताया कि कितने भविष्यवक्ता थे। मॉडल फिट का आकलन करने के बजाय मुझे सिर्फ मॉडल को फिट बनाने के लिए लुभाया जाएगा। एक समझौता दृष्टिकोण यह मान लेना है कि सहभागिता महत्वपूर्ण नहीं है और निरंतर भविष्यवाणियों को प्रतिगमन विभाजन का उपयोग करने के लिए गैर-स्पष्ट होने की अनुमति देता है। अनुमानित संबंधों को प्लॉट करें। rmsआर में पैकेज अपेक्षाकृत आसान यह सब करता है। अधिक जानकारी के लिए http://biostat.mc.vanderbilt.edu/rms देखें ।

आप "जोड़े" के बारे में विस्तार से बता सकते हैं और क्या आपके अवलोकन स्वतंत्र हैं।

Comments

अगर मैं सही ढंग से समझूं, तो आपकी सलाह अवशिष्टों के कथानक पर ध्यान केंद्रित करना है और कुछ भी करने से पहले इसे सीधे प्राप्त करना है, अंततः प्रतिगमन विभाजन का उपयोग करना, क्या मैं सही हूं? मैंने यह प्रश्न करने के लिए संपादित किया कि कितने भविष्यवक्ता हैं और जोड़े "अपेक्षाकृत" स्वतंत्र हैं।

— एंटोनी वर्नेट

हाय @Frank। आप क्यों कहते हैं कि वर्गीकरण सटीकता एक बुरा तरीका है? क्या इसलिए कि यह यहाँ है, उसी डेटा पर मूल्यांकन किया जाता है जहाँ मॉडल प्राप्त होता है?

— पीटर Flom - को पुनः स्थापित मोनिका

$\chi^2$$c$

नहीं, मेरा मतलब है कि निरंतर भविष्यवाणियों को लॉग क्यूड स्केल पर नॉनलाइनियरली संचालित करने की अनुमति देना, उन्हें सीमित क्यूबिक स्प्लिन (प्राकृतिक विभाजन) का उपयोग करके कई शब्दों में विस्तारित करना है। फिर प्रत्येक भविष्यवक्ता के आंशिक प्रभावों के बारे में जानने के लिए अनुमानित परिवर्तनों की साजिश करें।

— फ्रैंक हारेल

इनपुट के लिए धन्यवाद, यह वास्तव में मददगार था। डेटा के साथ और अधिक गहराई में जाने पर, मुझे एहसास हुआ कि मेरे पास कोलिनियरिटी के मुद्दे थे (भले ही मेरे पास कोई उच्च जोड़ीदार सहसंबंध न हों)।

— एंटोनी वर्नेट

Answer 2

$x^2$