विवादास्पद विश्लेषण बनाम लॉजिस्टिक प्रतिगमन

Question

मुझे भेदभावपूर्ण विश्लेषण के कुछ पेशेवरों का पता चला है और मुझे उनके बारे में प्रश्न मिले हैं। इसलिए:

जब कक्षाएं अच्छी तरह से अलग हो जाती हैं, तो लॉजिस्टिक प्रतिगमन के लिए पैरामीटर अनुमान आश्चर्यजनक रूप से अस्थिर हैं। गुणांक अनंत तक जा सकते हैं। LDA इस समस्या से ग्रस्त नहीं है।

यदि सुविधाओं की संख्या छोटी है और भविष्यवाणियों का वितरण $X$ प्रत्येक वर्ग में लगभग सामान्य है, तो रैखिक विभेदक मॉडल फिर से लॉजिस्टिक प्रतिगमन मॉडल की तुलना में अधिक स्थिर है।

1. स्थिरता क्या है और यह क्यों महत्वपूर्ण है? (यदि लॉजिस्टिक रिग्रेशन एक अच्छा फिट प्रदान करता है जो अपना काम करता है, तो मुझे स्थिरता की परवाह क्यों करनी चाहिए?)

एलडीए लोकप्रिय है जब हमारे पास दो से अधिक प्रतिक्रिया कक्षाएं हैं, क्योंकि यह डेटा के कम-आयामी दृश्य भी प्रदान करता है।

2. मुझे अभी समझ नहीं आया है। एलडीए निम्न-आयामी विचार कैसे प्रदान करता है?
3. यदि आप अधिक पेशेवरों या विपक्षों का नाम दे सकते हैं, तो यह अच्छा होगा।

Comments

आप इस विषय पर अन्य क्यू / ए भी पढ़ना चाहते हैं (लॉडा बनाम लॉजिस्टिक)। कृपया इस साइट को खोजें।

— ttnphns

Answer 1

जब कक्षाएं अच्छी तरह से अलग हो जाती हैं, तो लॉजिस्टिक प्रतिगमन के लिए पैरामीटर अनुमान आश्चर्यजनक रूप से अस्थिर हैं। गुणांक अनंत तक जा सकते हैं। LDA इस समस्या से ग्रस्त नहीं है।

यदि ऐसे कोवरिएट मान हैं जो बाइनरी परिणाम की पूरी तरह से भविष्यवाणी कर सकते हैं तो लॉजिस्टिक रिग्रेशन यानी फिशर स्कोरिंग का एल्गोरिथ्म भी अभिसरण नहीं करता है। यदि आप आर या एसएएस का उपयोग कर रहे हैं, तो आपको एक चेतावनी मिलेगी कि शून्य और एक की संभावनाओं की गणना की गई थी और एल्गोरिथ्म क्रैश हो गया था। यह पूर्ण पृथक्करण का चरम मामला है, लेकिन भले ही डेटा केवल एक महान डिग्री के लिए अलग हो और पूरी तरह से नहीं, अधिकतम संभावना अनुमानक मौजूद नहीं हो सकता है और भले ही यह मौजूद हो, अनुमान विश्वसनीय नहीं हैं। परिणामी फिट बिल्कुल अच्छा नहीं है। इस साइट पर जुदाई की समस्या से निपटने के लिए कई सूत्र हैं ताकि हर तरह से नज़र डालें।

इसके विपरीत, एक अक्सर फिशर के भेदभाव के साथ अनुमान समस्याओं का सामना नहीं करता है। यह अभी भी हो सकता है अगर या तो कोवरियन मैट्रिक्स के बीच या भीतर एकवचन है, लेकिन यह एक दुर्लभ उदाहरण है। वास्तव में, यदि पूर्ण या अर्ध-पूर्ण पृथक्करण है तो सभी बेहतर हैं क्योंकि विवेचक के सफल होने की अधिक संभावना है।

यह भी उल्लेखनीय है कि लोकप्रिय धारणा के विपरीत एलडीए किसी भी वितरण मान्यताओं पर आधारित नहीं है। हम केवल अनुमानित रूप से जनसंख्या सहसंयोजक matrices की समानता की आवश्यकता है क्योंकि एक जमा अनुमानक covariance मैट्रिक्स के लिए प्रयोग किया जाता है। सामान्यता की अतिरिक्त मान्यताओं के तहत, समान पूर्व संभाव्यता और गर्भपात लागत के बराबर, एलडीए इस मायने में इष्टतम है कि यह गर्भपात की संभावना को कम करता है।

एलडीए निम्न-आयामी विचार कैसे प्रदान करता है?

यह देखना आसान है कि दो आबादी और दो चर के मामले के लिए। एलडीए उस मामले में कैसे काम करता है, इसका एक चित्रात्मक प्रतिनिधित्व यहां दिया गया है। याद रखें कि हम उन चरों के रैखिक संयोजनों की तलाश कर रहे हैं जो पृथक्करण को अधिकतम करते हैं।

इसलिए डेटा वेक्टर पर प्रक्षेपित किया जाता है जिसकी दिशा इस पृथक्करण को बेहतर ढंग से प्राप्त करती है। हम कैसे पाते हैं कि वेक्टर रैखिक बीजगणित की एक दिलचस्प समस्या है, हम मूल रूप से एक रेले के भागफल को अधिकतम करते हैं, लेकिन आइए अब इसके लिए एक तरफ छोड़ दें। यदि डेटा को उस वेक्टर पर अनुमानित किया जाता है, तो आयाम दो से घटकर एक हो जाता है।

$p$$g$ $\min(g-1,p)$

यदि आप अधिक पेशेवरों या विपक्षों का नाम दे सकते हैं, तो यह अच्छा होगा।

कम-आयामी निरूपण कमियों के बिना नहीं आता है, फिर भी सबसे महत्वपूर्ण एक जानकारी का नुकसान है। डेटा के रैखिक रूप से अलग होने पर यह एक समस्या से कम है, लेकिन अगर वे जानकारी के नुकसान नहीं हैं तो पर्याप्त हो सकता है और क्लासिफायर खराब प्रदर्शन करेगा।

ऐसे मामले भी हो सकते हैं जहां सहसंयोजक मेट्रिसेस की समानता एक टेनबल धारणा नहीं हो सकती है। आप यह सुनिश्चित करने के लिए एक परीक्षण को नियोजित कर सकते हैं लेकिन ये परीक्षण सामान्यता से प्रस्थान के लिए बहुत संवेदनशील हैं इसलिए आपको यह अतिरिक्त धारणा बनाने की आवश्यकता है और इसके लिए परीक्षण भी करना होगा। यदि यह पाया जाता है कि आबादी असमान सहसंयोजक matrices के साथ एक द्विघात वर्गीकरण नियम (QDA) का उपयोग किया जा सकता है, लेकिन मुझे लगता है कि यह एक अजीब नियम है, न कि उच्च आयामों में प्रतिवाद का उल्लेख करने के लिए।

कुल मिलाकर, एलडीए का मुख्य लाभ एक स्पष्ट समाधान और इसकी कम्प्यूटेशनल सुविधा का अस्तित्व है जो एसवीएम या तंत्रिका नेटवर्क जैसी अधिक उन्नत वर्गीकरण तकनीकों के लिए नहीं है। हम जो मूल्य अदा करते हैं, वह मान्यताओं का समूह है, जो इसके साथ चलते हैं, अर्थात् रैखिक पृथक्करण और सहसंयोजक मैट्रिक्स की समानता।

उम्मीद है की यह मदद करेगा।

संपादित करें : मुझे अपने दावे पर संदेह है कि मैंने जिन विशिष्ट मामलों का उल्लेख किया है उन पर एलडीए को कोविर्सियस मैट्रिसेस की समानता के अलावा किसी भी वितरण संबंधी मान्यताओं की आवश्यकता नहीं है, इससे मुझे कम लागत मिली है। यह कम सच नहीं है, लेकिन मुझे और अधिक विशिष्ट होने दें।

$\bar{\mathbf{x}}_i, \ i = 1,2$$\mathbf{S}_{\text{pooled}}$

$$\max_{\mathbf{a}} \frac{ \left( \mathbf{a}^{T} \bar{\mathbf{x}}_1 - \mathbf{a}^{T} \bar{\mathbf{x}}_2 \right)^2}{\mathbf{a}^{T} \mathbf{S}_{\text{pooled}} \mathbf{a} } = \max_{\mathbf{a}} \frac{ \left( \mathbf{a}^{T} \mathbf{d} \right)^2}{\mathbf{a}^{T} \mathbf{S}_{\text{pooled}} \mathbf{a} }$$

इस समस्या का समाधान (स्थिर तक) दिखाया जा सकता है

$$\mathbf{a} = \mathbf{S}_{\text{pooled}}^{-1} \mathbf{d} = \mathbf{S}_{\text{pooled}}^{-1} \left( \bar{\mathbf{x}}_1 - \bar{\mathbf{x}}_2 \right)$$

यह उस एलडीए के बराबर है जिसे आप सामान्यता, समान कोवरियन मैट्रिस, मिसकैरेजिफिकेशन कॉस्ट और पूर्व संभावनाओं के तहत प्राप्त करते हैं, है ना? खैर, अब सिवाय इसके कि हमने सामान्यता नहीं ली है ।

सभी सेटिंग्स में उपरोक्त विभेदक का उपयोग करने से आपको कुछ भी नहीं रोकना है, भले ही सहसंयोजक matrices वास्तव में समान नहीं हैं। यह मिसकॉलिफिकेशन (ईसीएम) की अपेक्षित लागत के संदर्भ में इष्टतम नहीं हो सकता है, लेकिन यह पर्यवेक्षित शिक्षण है, इसलिए आप हमेशा अपने प्रदर्शन का मूल्यांकन कर सकते हैं, उदाहरण के लिए होल्ड-आउट प्रक्रिया का उपयोग करके।

संदर्भ

बिशप, पैटर्न मान्यता के लिए क्रिस्टोफर एम। तंत्रिका नेटवर्क। ऑक्सफोर्ड यूनिवर्सिटी प्रेस, 1995।

जॉनसन, रिचर्ड अर्नोल्ड, और डीन डब्ल्यू। विचर्न। एप्लाइड बहुभिन्नरूपी सांख्यिकीय विश्लेषण। वॉल्यूम। 4. एंगलवुड क्लिफ्स, एनजे: अप्रेंटिस हॉल, 1992।

Comments

(मैं नीचे उतरने वाला उपयोगकर्ता नहीं हूं)। फ्रैंक हरल के साथ अपने उत्तर को समेटने की कोशिश करने के लिए, यह मुझे लगता है कि किसी को अभी भी यह मानने की ज़रूरत है कि सभी चर निरंतर हैं (अन्यथा, मुझे लगता है कि रेले के भागफल का अधिकतम अद्वितीय नहीं होगा)।

— 14:60 पर user603

@ user603 मैंने इस स्थिति को कहीं नहीं देखा है। समाधान केवल एक निरंतर तक निर्धारित होता है।

— जॉन्स डे

जॉन, कल्पना करें कि समान, सममित (दीर्घवृत्त) वितरण, और समान पूर्व संभाव्यता वाले केवल 2 वर्ग (और इसलिए, केवल एक भेदभावपूर्ण रेखा) हैं। तब हमें वास्तव में विशेष रूप से सामान्य वितरण की आवश्यकता नहीं है क्योंकि हम किसी भी वर्ग के लिए एक मामले को असाइन करने के लिए किसी भी पीडीएफ को nee नहीं करते हैं। अधिक जटिल सेटिंग्स में (जैसे कि 3+ कक्षाएं) हमें कुछ पीडीएफ का उपयोग करना होगा, और यह आमतौर पर सामान्य है।

— ttnphns

$\mathbf{W}^{-1} \mathbf{B}$$\mathbf{W}$$\mathbf{B}$

जॉन, आपकी अंतिम टिप्पणी आपके और मेरे बारे में क्या है।

— ttnphns

Answer 2

एलडीए लॉजिस्टिक रिग्रेशन के विपरीत गंभीर वितरण संबंधी धारणा (सभी भविष्यवक्ताओं की बहुविध सामान्यता) बनाता है। विषयों की सेक्स के आधार पर वर्ग सदस्यता की पिछली संभावनाएं प्राप्त करने का प्रयास करें और आप देखेंगे कि मेरा क्या मतलब है - संभावनाएं सटीक नहीं होंगी।

$Y=1$$\beta$$\pm \infty$$\pm 30$

अधिक जानकारी के लिए इसे देखें ।

ध्यान दें कि यदि बहुविकल्पीय सामान्यता है, तो बेयस प्रमेय द्वारा लॉजिस्टिक रिग्रेशन धारण की धारणा है। उलटा सच नहीं है।

सामान्यता (या बहुत कम समरूपता पर) "काम करने" के लिए भिन्नताओं और सहसंबंधों के लिए लगभग पकड़ होनी चाहिए। गैर-बहुभिन्नरूपी सामान्य रूप से वितरित भविष्यवक्ता भी भेदभावपूर्ण निष्कर्षण चरण को चोट पहुंचाएंगे।

Comments

मेरे दिमाग में, एलडीए के वर्गीकरण (वर्ग भविष्यवाणी) के चरण में सामान्य रूप से सामान्यता की आवश्यकता है। यह भेदभावपूर्ण निष्कर्षण (आयामीता में कमी) के चरण में आवश्यक नहीं है, जो कि, हालांकि, अभी भी विचरण-सहसंयोजक समरूपता को मानता है। (दिलचस्प बात यह है कि बाद की धारणा को वर्गीकरण में कुछ हद तक जारी किया जा सकता है: आप वहां के

— विभेदकों के

$t$$t$

$t$

हाँ SD विभिन्न धारणाएँ बनाता है और गैर-मजबूत है। कुछ हद तक माध्य कुछ अर्थों को सार्थक बनाता है। कम से कम लोग, पीसीए और एलडीए प्रभावी रूप से कई लोगों की तुलना में अधिक वितरण संबंधी धारणाएं बनाते हैं।

— फ्रैंक हरेल

मैं इस तर्क से सहमत नहीं हूं और मुझे अभी भी विश्वास है कि गिरावट अनुचित थी लेकिन मैं इस मामले में कोई अधिकार नहीं हूं। मेरे द्वारा दिए गए संदर्भ आपको वही बताएंगे।

— जॉन डेके

Answer 3

जब कक्षाएं अच्छी तरह से अलग हो जाती हैं, तो लॉजिस्टिक प्रतिगमन के लिए पैरामीटर अनुमान आश्चर्यजनक रूप से अस्थिर हैं। गुणांक अनंत तक जा सकते हैं। LDA इस समस्या से ग्रस्त नहीं है।

अस्वीकरण: यहाँ निम्न प्रकार से गणितीय कठोरता का अभाव है।

(नॉनलाइनर) फ़ंक्शन को अच्छी तरह से फिट करने के लिए आपको फ़ंक्शन के सभी क्षेत्रों में टिप्पणियों की आवश्यकता होती है जहां "इसका आकार बदलता है"। लॉजिस्टिक प्रतिगमन डेटा के लिए एक सिग्मोइड फ़ंक्शन को फिट करता है:

अच्छी तरह से अलग-अलग वर्गों के मामले में सभी अवलोकन दो "सिरों" पर गिरेंगे जहां सिग्मोइड अपने स्पर्शोन्मुख (0 और 1) तक पहुंचता है। चूंकि सभी सिग्मोइड इन क्षेत्रों में "समान दिखते हैं", इसलिए बोलने के लिए, कोई आश्चर्य नहीं कि खराब फिटिंग एल्गोरिथ्म में "सही एक" खोजने में कठिनाइयां होंगी।

आर के glm()फ़ंक्शन के साथ गणना किए गए दो (उम्मीद शिक्षाप्रद) उदाहरणों पर एक नजर डालते हैं ।

केस 1: दो समूह काफी हद तक ओवरलैप करते हैं:

और अवलोकन फिटेड सिग्मोइड के इन्फ्लेक्शन बिंदु के आसपास अच्छी तरह से वितरित करते हैं:

ये अच्छे निम्न मानक त्रुटियों वाले पैरामीटर हैं:

Coefficients:
             Estimate Std. Error z value Pr(>|z|)    
(Intercept) -17.21374    4.07741  -4.222 2.42e-05 ***
wgt           0.35111    0.08419   4.171 3.04e-05 ***

और विचलन भी ठीक लगता है:

    Null deviance: 138.629  on 99  degrees of freedom
Residual deviance:  30.213  on 98  degrees of freedom

केस 2: दो समूह अलग-अलग हैं:

और प्रेक्षण सभी व्यावहारिक रूप से स्पर्शोन्मुख झूठ बोलते हैं। glm()समारोह अपने सबसे अच्छे रूप की कोशिश की कुछ फिट करने के लिए है, लेकिन शिकायत की के बारे में संख्यानुसार 0 या 1 संभावनाओं, बस कोई टिप्पणियों इसकी मोड़ बिंदु के आसपास "अवग्रह सही के आकार मिलता है" के लिए उपलब्ध नहीं है क्योंकि:

आप इस समस्या का निदान कर सकते हैं कि अनुमानित मापदंडों की मानक त्रुटियां छत से गुजरती हैं:

Coefficients:
              Estimate Std. Error z value Pr(>|z|)
(Intercept)   -232.638 421264.847  -0.001        1
wgt              5.065   9167.439   0.001        1

और एक ही समय में विचलन संदेहास्पद रूप से अच्छा लगता है (क्योंकि अवलोकनों में विषमताएं फिट होती हैं)

    Null deviance: 1.3863e+02  on 99  degrees of freedom
Residual deviance: 4.2497e-10  on 98  degrees of freedom

कम से कम सहज रूप से यह इन विचारों से स्पष्ट होना चाहिए कि "लॉजिस्टिक प्रतिगमन के लिए पैरामीटर अनुमान आश्चर्यजनक रूप से अस्थिर क्यों हैं"।

Comments

@Frank Harrell द्वारा उत्तर को देखो जो स्पष्ट रूप से आपसे असहमत है! और इसके लिंक और संदर्भों का अध्ययन करें ...

— kjetil b halvorsen

@kjetilbhalvorsen मेरा मुख्य बिंदु "आश्चर्यजनक रूप से अस्थिर" फिट का एक सहज चित्रण है। मैंने एलडीए का हवाला देते हुए अंतिम वाक्य को हटा दिया।

— लैरीक्स डेसीडुआ