लॉजिस्टिक रिग्रेशन - एरर टर्म और उसका डिस्ट्रीब्यूशन

Question

लॉजिस्टिक रिग्रेशन (और इसके ग्रहण किए गए वितरण) में कोई त्रुटि शब्द मौजूद है या नहीं, इस पर मैंने विभिन्न स्थानों पर पढ़ा है:

1. कोई त्रुटि शब्द मौजूद नहीं है
2. त्रुटि शब्द का एक द्विपद वितरण है (प्रतिक्रिया चर के वितरण के अनुसार)
3. त्रुटि शब्द का लॉजिस्टिक वितरण है

कृपया कोई स्पष्ट कर सकता है?

Comments

या वास्तव में अधिक आम तौर पर GLMs - - रसद प्रतिगमन के साथ यह अवलोकन के आधार पर विचार करना आम तौर पर उपयोगी नहीं है $y_i|\mathbf{x}$ "माध्य + त्रुटि" के रूप में। सशर्त वितरण के संदर्भ में सोचने के लिए बेहतर है। मैं अब तक यह नहीं कहूंगा कि 'कोई त्रुटि शब्द मौजूद नहीं है' क्योंकि यह उन शब्दों में सोचने के लिए उपयोगी नहीं है। ' इसलिए मैं इतना नहीं कहूंगा कि यह 1 या 2 के बीच का विकल्प है। जैसा कि मैं कहूंगा कि आमतौर पर "उपरोक्त में से कोई नहीं" कहना बेहतर होगा। हालांकि, डिग्री के बावजूद जो "1." के लिए बहस कर सकता है। या "2.", हालांकि, "3." निश्चित रूप से गलत है। आपने उसे कहां देखा?

— Glen_b -Reinstate मोनिका

@ गलेन_ बी: एक (2) के लिए बहस हो सकती है? मैंने लोगों को यह कहने के लिए जाना है, लेकिन जब यह पूछताछ की जाती है तो इसका बचाव करने के लिए कभी नहीं।

— Scortchi - को पुनः स्थापित मोनिका

@Glen_b तीनों कथनों की रचनात्मक व्याख्याएँ हैं जिनमें वे सत्य हैं। (3) en.wikipedia.org/wiki/Logistic_distribution#Applications और en.wikipedia.org/wiki/Discrete_choice#Binary_Choice पर संबोधित किया गया है ।

— व्ह्यूबर

@ व्यक्ति: मैंने अपना जवाब wrt (3) सही कर दिया है, जिसके बारे में अच्छी तरह से नहीं सोचा गया था; लेकिन अभी भी इस बारे में हैरान हैं कि किस अर्थ में (2) सही हो सकता है।

— Scortchi - को पुनः स्थापित मोनिका

@Scortchi यद्यपि आप सही हैं कि (2) गलत है, अगर हम इसे यह कहते हुए व्याख्यायित करते हैं कि अवलोकन और इसकी अपेक्षा के बीच के अंतर में उम्मीद से अनुवादित एक द्विपद वितरण है , तो यह (तुच्छ रूप से) सही होगा। (2) में पांरपरिक टिप्पणी दृढ़ता से यह बताती है कि यह इच्छित व्याख्या है। ध्यान दें कि अन्य उपयोगी "त्रुटि शब्द" इस तरह के रूप में परिभाषित किया जा सकता है, भी, और विचलन त्रुटि Hosmer और Lemeshow में वर्णित शर्तों (और, उपयुक्त चेतावनियां के अधीन चर्चा की वहाँ, उनके वर्गों अनुमानित है χ 2 वितरण)। $\chi^2$$\chi^2$

— व्हिबर

Answer 1

रेखीय प्रतिगमन टिप्पणियों में पूर्वसूचक मानों पर माध्य पैरामीटर सशर्त के साथ गॉसियन वितरण का पालन करने के लिए माना जाता है। यदि आप उन अवलोकनों से क्षुद्र को हटाते हैं जो आपको त्रुटि मिलती है : माध्य शून्य के साथ एक गाऊसी वितरण, और पूर्वसूचक मानों से स्वतंत्र - जो कि भविष्यवक्ता मूल्यों के किसी भी सेट में त्रुटियां हैं, समान वितरण का पालन करते हैं।

रसद प्रतिगमन अनुवीक्षण में एक Bernoulli वितरण का पालन करने के ग्रहण कर रहे हैं ^† एक मतलब पैरामीटर (एक संभावना) भविष्यवक्ता मूल्यों पर सशर्त साथ। तो एक मतलब का निर्धारण किसी भी भविष्यवक्ता मूल्यों के लिए π : केवल दो संभव त्रुटियाँ हैं 1 - π संभावना के साथ होने वाली π , और 0 - π संभावना के साथ होने वाली 1 - π । अन्य कारक मूल्यों के लिए त्रुटियों हो जाएगा 1 - π ' संभावना के साथ होने वाली , और $y\in\{0,1\}$$\pi$$1-\pi$$\pi$$0-\pi$$1-\pi$$1-\pi'$$\pi'$ संभावना के साथ होने वाली 1 - π ' । इसलिए भविष्यवाणियों के मूल्यों से स्वतंत्र कोई सामान्य त्रुटि वितरण नहीं है, यही वजह है कि लोग कहते हैं कि "कोई त्रुटि शब्द मौजूद नहीं है" (1)।$0-\pi'$$1-\pi'$

"त्रुटि शब्द का एक द्विपद वितरण है" (2) सिर्फ ढिलाई है- "गॉसियन मॉडल में गॉसियन त्रुटियां हैं, एर्गो द्विपद मॉडल में द्विपद त्रुटियां हैं"। (या, जैसा कि @whuber बताते हैं, इसका मतलब यह निकाला जा सकता है कि "एक अवलोकन और इसकी अपेक्षा के बीच का अंतर उम्मीद से अनुवादित एक द्विपद वितरण है")।

"त्रुटि शब्द का एक लॉजिस्टिक वितरण है" (3) मॉडल से लॉजिस्टिक रिग्रेशन की व्युत्पत्ति से उत्पन्न होता है जहां आप निरीक्षण करते हैं कि लॉजिस्टिक वितरण के बाद त्रुटियों के साथ एक अव्यक्त चर कुछ सीमा से अधिक है या नहीं। इसलिए यह ऊपर बताई गई समान त्रुटि नहीं है। (उस संदर्भ के बाहर, या अव्यक्त चर के स्पष्ट संदर्भ के बिना IMO कहना एक अजीब बात प्रतीत होगी।)

† यदि आपके पास ही भविष्यवक्ता मूल्यों के साथ टिप्पणियों, एक ही संभावना दे π प्रत्येक के लिए, तो उनके योग Σ y संभावना के साथ एक द्विपद वितरण इस प्रकार π और नहीं। परीक्षण के । त्रुटि के रूप में π y - k ∑ को ध्यान में रखते हुए समान निष्कर्ष निकाले जाते हैं।$k$$\pi$$\sum y$$\pi$$k$$\sum y -k\pi$

Comments

क्या आप 'कोई त्रुटि शब्द मौजूद नहीं है' भाग के बारे में एक सरल उदाहरण प्रदान कर सकते हैं। मुझे यह समझने में परेशानी हो रही है कि यह जिस तरह से लिखा गया है।

— quirik

@Sortchi मुझे इस मामले के बाद परेशानी हो रही है जब अभ्यास में कुछ सीमा के साथ मॉडल का उपयोग किया जाता है, 0.5 का कहना है। फिर त्रुटि या तो है 1 या 0. यह तो साथ पैरामीटर 1- एक Bernoulli यादृच्छिक चर माना जा सकता है जब सच लेबल 1 है? $\pi$

— wabbit

Answer 2

यह पहले भी कवर किया जा चुका है। एक मॉडल जो में अनुमानित मानों के लिए विवश है , संभवतः एक योजक त्रुटि शब्द नहीं हो सकता है जिससे भविष्यवाणियां [ 0 , 1 ] के बाहर हो जाएंगी । बाइनरी लॉजिस्टिक मॉडल का सबसे सरल उदाहरण - केवल एक अवरोधन युक्त मॉडल के बारे में सोचें। यह बर्नौली एक-नमूना समस्या के बराबर है, जिसे अक्सर (इस साधारण मामले में) द्विपद समस्या कहा जाता है क्योंकि (1) सभी जानकारी नमूना आकार और घटनाओं की संख्या में निहित है या (2) बर्नौली वितरण एक विशेष मामला है n = 1 के साथ द्विपद वितरण$[0,1]$$[0,1]$$n=1$। इस स्थिति में कच्चे डेटा द्विआधारी मूल्यों की एक श्रृंखला है, और प्रत्येक में एक बर्नौली वितरण होता है जिसमें अज्ञात पैरामीटर घटना की संभावना का प्रतिनिधित्व करता है। बर्नोली वितरण में कोई त्रुटि अवधि नहीं है, बस एक अज्ञात संभावना है। लॉजिस्टिक मॉडल एक प्रायिकता मॉडल है।$\theta$

Answer 3

मेरे लिए लॉजिस्टिक, लीनियर, पॉइसन रिग्रेशन आदि का एकीकरण ... सामान्यीकृत रैखिक मॉडल ढांचे में माध्य और विचरण के विनिर्देश के संदर्भ में हमेशा से रहा है। हम अपने डेटा के लिए एक संभाव्यता वितरण को निर्दिष्ट करके शुरू करते हैं, निरंतर डेटा के लिए सामान्य, द्विकोटोमस के लिए बर्नौली, काउंट्स के लिए पॉइसन ... आदि। फिर हम एक लिंक फ़ंक्शन निर्दिष्ट करते हैं जो बताता है कि कैसे रैखिक रैखिक भविष्यवाचक से संबंधित है:

$g(\mu_i) = \alpha + x_i^T\beta$

रैखिक प्रतिगमन के लिए, $g(\mu_i) = \mu_i$ ।

लॉजिस्टिक रिग्रेशन के लिए, ।$g(\mu_i) = \log(\frac{\mu_i}{1-\mu_i})$

पॉइसन रिग्रेशन के लिए, ।$g(\mu_i) = \log(\mu_i)$

त्रुटि शब्द लिखने के संदर्भ में एक ही बात पर विचार किया जा सकता है:

जहां ई ( ई मैं ) = 0 और वी एक आर ( ई मैं ) = σ 2 ( μ मैं ) । उदाहरण के लिए, रसद प्रतिगमन के लिए, σ 2 ( μ मैं ) = μ मैं ( 1 - μ मैं$y_i = g^{-1}(\alpha+x_i^T\beta) + e_i$$E(e_i) = 0$$Var(e_i) = \sigma^2(\mu_i)$जैसा कि ऊपर उल्लेख एक Bernoulli फैलाव है।। लेकिन, आप स्पष्ट रूप से यह नहीं कर सकता कि ई $\sigma^2(\mu_i) = \mu_i(1-\mu_i) = g^{-1}(\alpha+x_i^T\beta)(1-g^{-1}(\alpha+x_i^T\beta))$$e_i$

ध्यान दें, हालांकि, बुनियादी सामान्यीकृत रैखिक मॉडल केवल वितरण के माध्य और विचरण के लिए एक संरचना मानते हैं। यह दिखाया जा सकता है कि अनुमान लगाने वाले समीकरण और हेसियन मैट्रिक्स केवल आपके मॉडल में मौजूद माध्य और विचरण पर निर्भर करते हैं। इसलिए आपको इस मॉडल के लिए के वितरण से संबंधित होने की आवश्यकता नहीं है, क्योंकि उच्च क्रम के क्षण मॉडल मापदंडों के आकलन में भूमिका नहीं निभाते हैं।$e_i$

Answer 4

1. कोई त्रुटि नहीं है। हम मॉडलिंग कर रहे हैं मतलब है! मतलब सिर्फ एक सही संख्या है।
2. इससे मुझे कोई मतलब नहीं है।
3. प्रतिक्रिया चर को अव्यक्त चर के रूप में सोचें। यदि आप मानते हैं कि त्रुटि शब्द सामान्य रूप से वितरित किया जाता है, तो मॉडल एक प्रोबेट मॉडल बन जाता है। यदि आप मानते हैं कि त्रुटि शब्द का वितरण लॉजिस्टिक है, तो मॉडल लॉजिस्टिक प्रतिगमन है।

Comments

मैं यह देखने में विफल रहता हूं कि यह कैसे एक संभावना मॉडल को समझने में मदद करता है। संभावना मॉडल सरल हैं इससे यह प्रतीत होता है।

— फ्रैंक हरेल