रैखिक, द्विघात और फिशर के भेदभावपूर्ण विश्लेषण पर सूत्रों की असहमति प्रतीत होती है

Question

मैं विभेदक विश्लेषण का अध्ययन कर रहा हूं, लेकिन मुझे कई अलग-अलग स्पष्टीकरणों को समेटने में मुश्किल समय आ रहा है। मेरा मानना ​​है कि मुझे कुछ याद आ रहा है, क्योंकि मैंने पहले कभी भी विसंगति के इस (प्रतीत) स्तर का सामना नहीं किया है। यह कहा जा रहा है, इस वेबसाइट पर भेदभावपूर्ण विश्लेषण के बारे में प्रश्नों की संख्या इसकी जटिलता के लिए एक वसीयतनामा है।

कई वर्गों के लिए एलडीए और क्यूडीए

मेरी मुख्य पाठ्य पुस्तक जॉनसन एंड विचर्न एप्लाइड मल्टीवीरेट स्टेटिस्टिकल एनालिसिस (एएमएसए) है और इसके आधार पर मेरे शिक्षक के नोट्स। मैं दो समूह सेटिंग की उपेक्षा करूंगा, क्योंकि मेरा मानना ​​है कि इस सेटिंग में सरलीकृत सूत्र कम से कम कुछ भ्रम पैदा कर रहे हैं। इस स्रोत के अनुसार, एलडीए और क्यूडीए को एक वर्गीकरण नियम के एक पैरामीट्रिक (बहुभिन्नरूपी सामान्यता मानकर) के रूप में परिभाषित किया गया है जो गर्भपात (ईसीएम) की अपेक्षित लागत पर आधारित है। ईसीएम सशर्त अपेक्षित लागत को किसी भी समूह के लिए एक नया अवलोकन एक्स वर्गीकृत करने के लिए खर्च करता है (गर्भपात लागत और पूर्व संभाव्यता को शामिल करते हुए) और हम इसे कम करने वाले वर्गीकरण क्षेत्रों को चुनते हैं। जहां

$$ECM = \sum_{i=1}^{groups} p_i [\sum_{k=1;\space i \ne k}^{groups}P(k|i)c(k|i)]$$ $P(k|i) = P(\text{classifying item as group k } | \text{ item is group i}) = \int_{R_k} f_i(\boldsymbol{x})d\boldsymbol{x}$ , $f_i(\boldsymbol{x})$ जनसंख्या घनत्व है, $R_k$ समूह k में टिप्पणियों का समूह है, $c$ लागत है और $p_i$ पूर्व संभावनाएं हैं। नई टिप्पणियों को तब समूह को सौंपा जा सकता है, जिसके लिए आंतरिक शब्द सबसे छोटा या समकक्ष है, जिसके लिए आंतरिक शब्द p_k f_k (\ boldsymbol {x}) के बाएं भाग $p_k f_k(\boldsymbol{x})$सबसे बड़ा है

माना जाता है कि यह वर्गीकरण नियम "एक के बराबर है जो पश्च-संभाव्यता को अधिकतम करता है" (sic AMSA), जिसे मैं केवल मान सकता हूं कि बेयस का दृष्टिकोण मैंने उल्लेख किया है। क्या ये सही है? और ईसीएम एक पुरानी विधि है, क्योंकि मैंने कभी नहीं देखा कि यह कहीं और घटित हो।

सामान्य आबादी के लिए यह नियम द्विघात विभेदक स्कोर को सरल करता है: ।

$$d_i^Q(\boldsymbol{x}) = -\frac{1}{2} log(\boldsymbol{\Sigma_i}) -\frac{1}{2} (\boldsymbol{x - \mu_i})^T \boldsymbol{\Sigma}_i^{-1}(\boldsymbol{x - \mu_i}) + log(p_i)$$

यह पेज 110 पर द एलिमेंट ऑफ स्टैटिस्टिकल लर्निंग (ईएसएल) फॉर्मूला 4.12 के बराबर लगता है , हालांकि वे इसे एक स्कोर के बजाय एक द्विघात विभेदक कार्य के रूप में वर्णित करते हैं । इसके अलावा, वे बहुभिन्नरूपी घनत्व (4.9) के लॉग-अनुपात के माध्यम से यहां पहुंचते हैं। क्या यह अभी तक बेयस के दृष्टिकोण का दूसरा नाम है?

जब हम समान सहसंयोजक मान लेते हैं तो सूत्र रैखिक विभेदक स्कोर के लिए और भी सरल हो जाता है ।

$$d_i(\boldsymbol{x}) = \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1}\boldsymbol{x} -\frac{1}{2} \boldsymbol{\mu_i}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{\mu_i} + log(p_i)$$

यह सूत्र ईएसएल (4.10) से भिन्न होता है, जहां पहला शब्द उलटा होता है: । ESL संस्करण भी R में सांख्यिकीय लर्निंग में सूचीबद्ध है । इसके अलावा, में प्रस्तुत एसएएस आउटपुट में एक रेखीय विभेदक फ़ंक्शन का वर्णन किया जाता है जिसमें एक निरंतर और एक गुणांक शामिल है वेक्टर , ईएसएल संस्करण के अनुरूप प्रतीत होता है।$x^T \boldsymbol{\Sigma}^{-1}\mu_k$$0.5 \bar{X}_j^T COV^{-1}\bar{X}_j + ln \text{ prior}_j$$COV^{-1}\bar{X}_j$

इस विसंगति के पीछे क्या कारण हो सकता है?

भेदभाव और फिशर की विधि

नोट: यदि यह प्रश्न बहुत बड़ा माना जाता है, तो मैं इस अनुभाग को हटा दूंगा और एक नया प्रश्न खोलूंगा, लेकिन यह पिछले खंड पर बनता है। पाठ की दीवार के लिए माफी की परवाह किए बिना, मैंने इसे कुछ हद तक संरचना करने की पूरी कोशिश की, लेकिन मुझे यकीन है कि इस पद्धति के बारे में मेरा भ्रम तर्क के कुछ अजीब विषमता को जन्म देता है।

AMSA पुस्तक फिशर विधि का वर्णन करने के लिए जाती है, कई समूहों के लिए भी। हालाँकि, ttnphns ने कई बार बताया है कि FDA केवल दो समूहों के साथ LDA है। यह मल्टीकल्चर एफडीए क्या है? शायद एफडीए के कई अर्थ हो सकते हैं?

AMSA फिशर के को रूप में वर्णित करता है, जो अनुपात अधिकतम करता है । लीनियर कॉम्बिनेशन तो सैंपल हैं (जिनमें से )। वर्गीकरण के लिए हम लिए सबसे छोटे मान वाले समूह k को चुनते हैं। जहां r विभेदकों की संख्या है जिसका हम उपयोग करना चाहते हैं। यदि हम सभी विभेदकों का उपयोग करते हैं तो यह नियम रैखिक विभेदक कार्य के बराबर होगा।$\boldsymbol{W^{-1}B}$$\boldsymbol{\frac{\hat{a}^TB\hat{a}}{\hat{a}^TW\hat{a}}}$$\boldsymbol{\hat{e}_ix}$$min(g-1, p)$$\sum_{j=1}^{r}[\boldsymbol{\hat{e}_j^T}(\boldsymbol{x}-\boldsymbol{\bar{x}}_k)]^2$

LDA के बारे में कई व्याख्याएं AMSA पुस्तक में FDA को कार्यप्रणाली का वर्णन करती प्रतीत होती हैं, अर्थात परिवर्तनशीलता पहलू के बीच / इसके बीच से शुरू होती हैं। अगर बीडब्ल्यू मैट्रिस के अपघटन नहीं तो एफडीए का क्या मतलब है?

यह पहली बार है कि पाठ्य पुस्तक में विभेदकारी विश्लेषण के आयाम में कमी के पहलू का उल्लेख किया गया है, जबकि इस साइट पर कई उत्तर इस तकनीक की दो-चरण प्रकृति पर जोर देते हैं, लेकिन यह दो समूह सेटिंग में स्पष्ट नहीं है क्योंकि केवल 1 है विभेदक। मल्टीकाड्स एलडीए और क्यूडीए के लिए उपरोक्त फॉर्मूले को देखते हुए यह अभी भी मेरे लिए स्पष्ट नहीं है जहां भेदभाव दिखाते हैं।

इस टिप्पणी ने मुझे विशेष रूप से भ्रमित कर दिया, यह देखते हुए कि बेयस वर्गीकरण को मूल चर पर अनिवार्य रूप से किया जा सकता है। लेकिन अगर एफडीए और एलडीए गणितीय रूप से समकक्ष हैं, जैसा कि पुस्तक द्वारा बताया गया है और यहां , क्या कमी नहीं होनी चाहिए ? मेरा मानना ​​है कि यह वही है जो अंतिम लिंक को संबोधित कर रहा है, लेकिन मैं पूरी तरह से निश्चित नहीं हूं।$d_i$

मेरे शिक्षक के पाठ्यक्रम के नोट्स बताते हैं कि एफडीए अनिवार्य रूप से विहित सहसंबंध विश्लेषण का एक रूप है। मुझे केवल 1 अन्य स्रोत मिले हैं जो इस पहलू के बारे में बात करते हैं, लेकिन यह एक बार फिर से परिवर्तनशीलता के बीच और भीतर विघटित होने के फिशर दृष्टिकोण के करीब बंधा हुआ लगता है। SAS अपनी LDA / QDA प्रक्रिया (DISCRIM) में एक परिणाम प्रस्तुत करता है जो जाहिरा तौर पर फिशर विधि ( https://stats.stackexchange.com/a/105116/62518 ) से संबंधित है । हालांकि, SAS 'FDA विकल्प (CANDISC) अनिवार्य रूप से एक विहित सहसंबंध करता है, इन तथाकथित फिशर के वर्गीकरण गुणांक को प्रस्तुत किए बिना। यह कच्चे विहित गुणांक प्रस्तुत करता है, जो मुझे लगता है कि आरडीए के W-1B eigenvectors के बराबर हैं जो lda (MASS) (https://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_candisc_sect019.htm )। वर्गीकरण गुणांक मेरे एलडीए और क्यूडीए अनुभाग में वर्णित भेदभावपूर्ण फ़ंक्शन से प्राप्त किए गए लगते हैं (क्योंकि प्रति जनसंख्या 1 फ़ंक्शन है और हम सबसे बड़ा एक चुनते हैं)।

मैं किसी भी और सभी स्पष्टीकरण या स्रोतों के संदर्भ में आभारी रहूंगा जो मुझे पेड़ों के माध्यम से जंगल को देखने में मदद कर सकते हैं। मेरी उलझन का मुख्य कारण यह प्रतीत होता है कि विभिन्न पाठ्य पुस्तकें अलग-अलग नामों से तरीकों को बुलाती हैं या गणित की थोड़ी भिन्नता को प्रस्तुत करती हैं, अन्य संभावनाओं को स्वीकार किए बिना, हालांकि मुझे लगता है कि यह एएमएसए पुस्तक की उम्र को देखते हुए आश्चर्य के रूप में नहीं आना चाहिए। ।

Comments

If we use all the discriminants this rule would be equivalent to the linear discriminant functionअस्पष्ट। "विवेचक" और "विभेदक कार्य" पर्यायवाची हैं। आप सभी विभेदकों या उनमें से केवल कुछ सबसे मजबूत / महत्वपूर्ण का उपयोग कर सकते हैं। मैं AMSA पुस्तक की ओर नहीं बढ़ा, लेकिन मुझे संदेह है कि लेखकों के लिए FDA = LDA। वास्तव में, मुझे व्यक्तिगत रूप से लगता है कि "फिशर एलडीए" एक अधिशेष, अनावश्यक शब्द होगा।

— ttnphns

एलडीए वर्गीकरण के बारे में इस उत्तर के लिए "जोड़" में मैंने देखा कि चर से सीधे "फिशर रैखिक वर्गीकरण कार्य" की गणना Extract the discriminants -> classify by them all (using Bayes approach, as usual)तब के बराबर होती है, जैसा कि आमतौर पर डिफ़ॉल्ट रूप से, विभेदकों के वर्ग-वर्ग सहसंयोजक मैट्रिक्स के वर्गीकरण में उपयोग किया जाता है।

— ttnphns

वास्तव में, "फिशर के रैखिक वर्गीकरण कार्य" एलडीए के ईगेंडेकोम्पोजिशन किए बिना W^-1Bऔर फिर "बेयस" करने का एक तरीका है । यह समतुल्य है, लेकिन कम लचीला है (आप केवल कुछ ही भेदभावों का चयन नहीं कर सकते हैं, आप वर्गीकरण, आदि में सहसंयोजक मैट्रिक्स के भीतर अलग-अलग उपयोग नहीं कर सकते हैं)।

— ttnphns

मैं अभी भी आपके उत्तर और लिंक (धन्यवाद) को पचा रहा हूं, लेकिन: 1) यहां एएमएसए का एक अंश "भेदभावपूर्ण" और "विवेकशील स्कोर" i.imgur.com/7W7vc8u.jpg?1 है। मैंने शर्तों का उपयोग किया है। "स्कोर" और "फ़ंक्शन" परस्पर विनिमय। 3) उसी अंश में, आप देख सकते हैं कि AMSA पुस्तक फिशर के भेदभावों को प्राप्त करने के तरीके के रूप में eigendecomposition को संदर्भित करता है। जिस तरह से यह यहां प्रस्तुत किया है फिशर विधि रैखिक / द्विघात विधि है जो केवल एक हार्ड विभेदक समारोह / स्कोर में जो परिणाम से ज्यादा लचीला लगता है ..$\boldsymbol{W^{-1}B}$

— जेनिट

मेरे लिए ज़ीनत, विवेकशील स्कोर एक (विहित) विवेचक फ़ंक्शन का मान है। मैं इतनी दूर तक नहीं जा सकता कि आप उन सूत्रों की तुलना करें जिनसे मुझे पता है कि एसपीएसएस में विहित भेदभावों की गणना कैसे की जाती है । मेरा सुझाव है कि आप गणना करें और परिणामों की तुलना करें, और अपने निष्कर्ष जारी करें। इसके अलावा, मुझे संदेह है कि विभिन्न ग्रंथ लेबल "फिशर" को अलग तरह से लागू कर सकते हैं।

— ttnphns

Answer 1

मैं केवल प्रश्न के एक पहलू को संबोधित कर रहा हूं, और इसे बीजगणित के बिना सहज रूप से कर रहा हूं।

यदि कक्षाओं में एक ही भिन्नता-सहसंयोजक मैट्रिक्स हैं और केवल -डायनामिक स्पेस में उनके सेंट्रोइड्स की शिफ्ट से भिन्न होते हैं, तो वे "उपप्रकाश" में पूरी तरह से रैखिक रूप से अलग होते हैं । यही एलडीए कर रहा है। कल्पना कीजिए कि आपके पास चर के स्थान पर तीन समान दीर्घवृत्त हैं । आपको त्रुटि के बिना वर्ग सदस्यता की भविष्यवाणी करने के लिए सभी चर से जानकारी का उपयोग करना होगा। लेकिन इस तथ्य के कारण कि ये समान रूप से आकार और उन्मुख बादल थे, यूनिट रेडियस की गेंदों में एक आम परिवर्तन द्वारा उन्हें फिर से भरना संभव है। फिर$g$$p$$q=min(g-1,p)$$V_1, V_2, V_3$$q=g-1=2$स्वतंत्र आयाम वर्ग की सदस्यता की पूर्व की भांति सटीक भविष्यवाणी करेंगे। इन आयामों को विभेदक कार्य कहा जाता है । बिंदुओं की 3 समान आकार वाली गेंदें होने के लिए आपको केवल 2 अक्षीय रेखाओं की आवश्यकता होती है और यह जानने के लिए कि उनकी बिंदुओं को सही ढंग से निर्दिष्ट करने के लिए गेंदों के केंद्र उन पर समन्वय करते हैं।$D_1, D_2$

भेदभाव करने वाले असंबद्ध चर होते हैं, उनके भीतर के कोवरियन मैट्रिसेस आदर्श रूप से पहचान वाले (गेंद) होते हैं। भेदभाव मूल चर स्थान का एक उप-रूप बनाते हैं - वे उनके रैखिक संयोजन हैं। हालांकि, वे रोटेशन-जैसे (पीसीए-जैसे) कुल्हाड़ियों नहीं हैं: मूल चर अंतरिक्ष में देखा जाता है, कुल्हाड़ियों के रूप में भेदभाव पारस्परिक रूप से रूढ़िवादी नहीं हैं ।

इसलिए, सभी मौजूदा भेदभावों को वर्गीकरण के लिए उपयोग करते हुए वर्गीकरण के लिए उपयोग करने वाले वर्ग-विचरण-सहसंयोजन LDA की एकरूपता की धारणा के तहत मूल चर द्वारा तुरंत वर्गीकृत करने से बुरा नहीं है। लेकिन आपको सभी भेदभावों का उपयोग करने की आवश्यकता नहीं है। आप केवल सबसे मजबूत / सांख्यिकीय रूप से उनमें से महत्वपूर्ण का उपयोग कर सकते हैं। इस तरह आप वर्गीकरण के लिए न्यूनतम जानकारी खो देते हैं और मिसक्लासीफिकेशन न्यूनतम हो जाएगा। इस नजरिए से देखा जाए तो एलडीए पीसीए की तरह ही एक डाटा कमी है, जिसकी देखरेख केवल की जाती है।$m<q$

ध्यान दें कि समरूपता (+ बहुभिन्नरूपी सामान्यता) को मानते हुए और बशर्ते कि आप उपयोग करने की योजना बनाते हैं, लेकिन वर्गीकरण में सभी भेदभावों को स्वयं भेदभाव करने वालों के निष्कर्षण को रोकना संभव है - जिसमें सामान्यीकृत स्वदेशी शामिल है - और तथाकथित "फिशर वर्गीकरण कार्य" की गणना करना समान परिणामों के साथ, सीधे उनके साथ वर्गीकृत करने के लिए चर से । इसलिए, जब कक्षाएं आकार में समान होती हैं , तो हम इनपुट चर या फिशर के कार्यों या विभेदकों को "क्लासीफायर" के सभी समकक्ष सेटों के रूप में मान सकते हैं। लेकिन भेदभाव करने वाले कई मामलों में अधिक सुविधाजनक हैं। $g$$p$$g$$q$$^1$

के बाद से आमतौर पर वर्गों "समान दीर्घवृत्त" वास्तविकता में नहीं हैं, द्वारा वर्गीकरण discriminants से यदि आप सभी से Bayes वर्गीकरण करना कुछ हद तक गरीब है मूल चर। उदाहरण के लिए, इस भूखंड पर दो दीर्घवृत्त एक दूसरे के समानांतर नहीं हैं; और कोई भी नेत्रहीन समझ सकता है कि एकल मौजूदा भेदभाव अंक को वर्गीकृत करने के लिए पर्याप्त नहीं है जितना कि दो चर अनुमति देते हैं। QDA (द्विघात विवेचनात्मक विश्लेषण) तो LDA की तुलना में एक बेहतर कदम होगा। एलडीए और क्यूडीए के बीच एक व्यावहारिक दृष्टिकोण एलडीए-भेदभाव करने वालों का उपयोग करना है, लेकिन वर्गीकरण में उनके देखे गए अलग-अलग वर्ग सहसंयोजक मैट्रिक्स का उपयोग करना है ( देखें , देखें)$q$$p$) उनके पूलित मैट्रिक्स के बजाय (जो कि पहचान है)।

(और हां, एलडीए को निकट से संबंधित के रूप में देखा जा सकता है, यहां तक ​​कि एक विशिष्ट मामले में, मैनोवा और कैननिकल सहसंबंध विश्लेषण या कम रैंक बहुभिन्नरूपी प्रतिगमन - देखें , देखें , देखें ।)

---

$^1$ एक महत्वपूर्ण शब्दावली नोट। कुछ ग्रंथों में फिशर के वर्गीकरण कार्यों को "फिशर के विवेकाधीन कार्य" कहा जा सकता है, जो विभेदकों के साथ भ्रमित हो सकता है जो विहित विभेदक कार्य हैं (अर्थात के eigendecomposition में प्राप्त$g$$q$$\bf W^{-1}B$)। स्पष्टता के लिए, मैं "फिशर के वर्गीकरण फ़ंक्शंस" बनाम "विहित विहित कार्य" (= विवेकशील, संक्षेप में) कहने की सलाह देता हूं। आधुनिक समझ में, एलडीए विहित रैखिक विवेचक विश्लेषण है। "फिशर का भेदभावपूर्ण विश्लेषण", कम से कम मेरी जागरूकता के लिए, या तो 2 वर्गों के साथ LDA है (जहां एकल विहित विभेदक अनिवार्य रूप से फिशर के वर्गीकरण कार्यों के रूप में एक ही बात है) या, मोटे तौर पर, मल्टीकलर्स सेटिंग्स में फिशर के वर्गीकरण कार्यों की गणना।

Comments

पुन: शब्दावली: LDA ( en.wikipedia.org/wiki/Linear_discriminant_analysis ) पर विकिपीडिया लेख में कहा गया है कि "फिशर के रेखीय विभेदक और LDA का उपयोग अक्सर एक-दूसरे के लिए किया जाता है, हालांकि फ़िशर का मूल लेख [1] वास्तव में थोड़ा भिन्न भेदभाव का वर्णन करता है, जो करता है एलडीए की कुछ धारणाएं जैसे कि सामान्य रूप से वितरित कक्षाएं या समान श्रेणी के सह-वर्ग नहीं हैं। " इसके आधार पर, 2 वर्गों पर एलडीए "एफडीए" का एक विशेष मामला प्रतीत होता है, अगर समूह covariances "समान" हैं। @ttnphns: क्या यह सही है?

— लैरीक्स डेसीडुआ

@LaryxDecidua, मैं इस उदाहरण में शब्दावली के बारे में 100% निश्चित नहीं हूं, और मैंने अलग-अलग राय देखी है। मैं "फिशर डीए" शब्द का उपयोग नहीं करता। लेकिन जब लोग पूछते हैं, तो मैं जवाब देता हूं कि मेरे दिमाग में, "एफडीए 2 वर्गों के साथ एलडीए है"।

— tnnphns

धन्यवाद, मेरे लिए सबसे दिलचस्प पहलू यह है कि "एफडीए", विकिपीडिया के अनुसार, सामान्यता नहीं मानता है, जबकि "एलडीए" (और क्यूडीए) करते हैं। शायद "एफडीए 2 वर्गों के साथ एलडीए है, सामान्यता या समरूपता नहीं मान रहा है"।

— लेरिक्स डेसीडुआ