फर्थ लॉजिस्टिक रिग्रेशन की एक सैद्धांतिक समझ की तलाश

Question

मैं फर्थ लॉजिस्टिक रिग्रेशन (लॉजिस्टिक रिग्रेशन में परफेक्ट / कम्प्लीट या क्वासी-कम्प्लीट सेपरेशन को हैंडल करने का तरीका) को समझने की कोशिश कर रहा हूं ताकि मैं इसे दूसरों को सरल शब्दों में समझा सकूं। क्या किसी के पास डमी-डाउन स्पष्टीकरण है कि संशोधन का अनुमान MLE को क्या बना रहा है?

मैंने पढ़ा है, सबसे अच्छा मैं कर सकता हूं, फर्थ (1993) और मुझे लगता है कि स्कोर फ़ंक्शन में सुधार लागू किया जा रहा है। मैं सुधार के मूल और औचित्य पर फ़र्ज़ी हूं और MLE में स्कोर फ़ंक्शन क्या भूमिका निभाता है।

क्षमा करें यदि यह अल्पविकसित ज्ञान है। जिस साहित्य की मैंने समीक्षा की है, उसके लिए मुझे MLE की बहुत गहरी समझ की आवश्यकता है।

Answer 1

फर्थ का सुधार जेफरी के पूर्व निर्दिष्ट करने और पीछे वितरण के मोड की मांग करने के बराबर है। मोटे तौर पर, यह डेटा सेट के अवलोकन के आधे को यह कहते हुए जोड़ देता है कि प्रतिगमन मापदंडों के सच्चे मूल्य शून्य के बराबर हैं।

फर्थ का पेपर उच्च क्रम के एसिम्पोटिक्स का एक उदाहरण है। इतना कहने के लिए अशक्त आदेश, बड़ी संख्याओं के कानूनों द्वारा प्रदान किया जाता है: बड़े नमूनों में, जहां सही मूल्य है। आपने सीखा होगा कि MLEs समान रूप से सामान्य हैं, मोटे तौर पर क्योंकि वे Iid वेरिएबल्स (स्कोर) के योगों के nonlinear परिवर्तनों पर आधारित हैं। यह पहला आदेश सन्निकटन है: जहां शून्य माध्य और variance (या var-cov मैट्रिक्स) के साथ एक सामान्य है जो एकल अवलोकन के लिए फिशर जानकारी का विलोम है। संभावना अनुपात परीक्षण आँकड़ा तब स्पर्शोन्मुख हैθ0θn=θ0+हे(n-1/2)=θ0+v1एन-1/2+ओ(n-1/2)वी1σ 2 1 एन ( θ एन-θ0)2/~χ$\hat \theta_n \approx \theta_0$$\theta_0$$\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$$v_1$$\sigma_1^2$$n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$ या जो भी मल्टीवेरिएट एक्सटेंशन आंतरिक उत्पादों और व्युत्क्रम सहसंयोजक मैट्रिक्स के लिए होगा।

उच्च क्रम एसिम्पोटिक्स उस अगले शब्द बारे में कुछ सीखने की कोशिश करता है , आमतौर पर अगले शब्द । इस तरह, अनुमान और परीक्षण के आंकड़े के क्रम के छोटे नमूना गैसों को शामिल कर सकते हैं (यदि आप "हम निष्पक्ष MLE है" कहते हुए कागज देखते हैं, तो ये लोग शायद नहीं जानते कि वे किस बारे में बात कर रहे हैं)। इस तरह का सबसे प्रसिद्ध सुधार संभावना अनुपात परीक्षण के लिए बार्टलेट का सुधार है। फर्थ का सुधार उस आदेश का भी है, यह भी एक निश्चित मात्रा (पी। 30 के ऊपर) को संभावना के साथ जोड़ता है , और बड़े नमूनों में उस मात्रा के सापेक्ष योगदान दर पर गायब हो जाता है। के नमूना जानकारी द्वारा dwarfed।हे ( n - 1 ) 1 $o(n^{-1/2})$$O(n^{-1})$$1/n$1/$\frac12 \ln \det I(\theta)$$1/n$

Comments

मेरी समझ में कमी के लिए खेद है, लेकिन मैं पूरी तरह से पालन नहीं कर रहा हूं। जब आप कहते हैं "मोटे तौर पर, यह डेटा सेट के अवलोकन का आधा हिस्सा यह कहते हुए जोड़ता है कि प्रतिगमन मापदंडों के सच्चे मूल्य शून्य के बराबर हैं।" आप क्यों मानेंगे कि प्रतिगमन मापदंडों के सच्चे मूल्य शून्य के बराबर हैं? इसके अलावा, यह डेटासेट में आधा अवलोकन कैसे जोड़ रहा है?

— ESmith5988

आपके स्पष्टीकरण के बाकी हिस्सों से, ऐसा लगता है कि संभावना फ़ंक्शन को एक निश्चित मात्रा द्वारा समायोजित किया जा रहा है जो छोटे नमूनों के सकारात्मक पूर्वाग्रह को कम करता है। निश्चित मात्रा प्रभावी रूप से उस सूचना का एक कार्य है जो नमूना आकार बढ़ने पर शून्य पर जाती है, सही है?

— ESmith5988

आपकी पहली टिप्पणी पर - फ़र्थ सुधार संभावित रूप से उस योगदान के लिए अपेक्षित मूल्य है जो एक अवलोकन द्वारा जोड़ा जाएगा जो 1/2 का प्रभावी वजन होगा। यह किसी भी तरह से सही व्याख्या नहीं है, अकेले अंतर्ज्ञान को बताएं कि आप ऐसा क्यों करना चाहते हैं; यह सिर्फ आपको स्वाद देता है। आप गुणांक को शून्य पर सेट करते हैं, क्योंकि आपके पास कोई बेहतर विचार नहीं है कि संख्या क्या होने जा रही है (और शून्य गुणांक कुलसचिव के किसी भी प्रभाव के अनुरूप नहीं है, जो कि अधिकांश समय सार्थक है)। आपकी दूसरी टिप्पणी पर - सही है।

— 21