बायेसियन और फिशर के रैखिक भेदभावपूर्ण विश्लेषण के दृष्टिकोण

मुझे पता है कि एलडीए, बायेसियन दृष्टिकोण और फिशर के दृष्टिकोण के लिए 2 दृष्टिकोण हैं ।

मान लीजिए कि हमारे डेटा है $(x,y)$ है, जहां है आयामी भविष्यवक्ता और के आश्रित चर है कक्षाएं। $x$ $p$ $y$ $K$

द्वारा बायेसियन दृष्टिकोण , हम पीछे की गणना , और के रूप में किताबों में कहा गया है, मान लें कि गॉसियन है, अब हमारे पास वें वर्ग के लिए विभेदक कार्य , मैं देख सकता हूँ एक रैखिक है कार्य , इसलिए सभी वर्गों के लिए हमारे पास रैखिक भेदभावपूर्ण कार्य हैं।

p (y_{k} | x) = \frac{p (x | y_{k}) p (y_{k})}{p (x)} \propto p (x | y_{k}) p (y_{k})

$p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)$

p (x | y_{k})

$p(x|y_k)$

k

$k$

\begin{aligned} f_{क} (एक्स) & = \ln पी (एक्स | y_{क}) + \ln पी (y_{क}) \\ = \ln [\frac{1}{(2 π)^{पी / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (एक्स - μ_{क})^{टी} Σ^{- 1} (एक्स - μ_{क}))] + \ln पी (y_{क}) \\ = {एक्स}^{टी} Σ^{- 1} μ_{क} - \frac{1}{2} μ_{क}^{टी} Σ^{- 1} μ_{क} + \ln पी (y_{क}) \end{aligned}

$\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}$

f_{k} (x)

$f_k(x)$

x

$x$

K

$K$

K

$K$

हालांकि, द्वारा फिशर के दृष्टिकोण से, हम करने के लिए परियोजना की कोशिश के लिए आयामी अंतरिक्ष नई सुविधाओं जो कम करता है निकालने के लिए अंदर स्तरीय विचरण और अधिकतम के बीच स्तरीय विचरण, चलो कहते हैं कि प्रक्षेपण मैट्रिक्स है प्रत्येक स्तंभ एक प्रक्षेपण होने के साथ दिशा। यह दृष्टिकोण एक आयाम में कमी तकनीक की तरह अधिक है । $x$ $(K-1)$ $W$

मेरे सवाल हैं

(1) क्या हम बायेसियन दृष्टिकोण का उपयोग करके आयाम में कमी कर सकते हैं? मेरा मतलब है, हम भेदभावपूर्ण कार्यों को खोजने के लिए वर्गीकरण करने के लिए बायेसियन दृष्टिकोण का उपयोग कर सकते हैं जो नए लिए सबसे बड़ा मूल्य देता है , लेकिन क्या ये भेदभावपूर्ण कार्य को निम्न आयामी उप-स्थान पर प्रोजेक्ट करने के लिए उपयोग किया जा सकता है ? जैसे फिशर का दृष्टिकोण करता है। $f_k(x)$ $x^*$ $f_k(x)$ $x$

(२) दो दृष्टिकोण एक दूसरे से किस प्रकार संबंधित हैं? मैं उन दोनों के बीच कोई संबंध नहीं देखता, क्योंकि एक ऐसा लगता है कि मान के साथ वर्गीकरण करने में सक्षम है , और दूसरा मुख्य रूप से आयाम में कमी के उद्देश्य से है। $f_k(x)$

अपडेट करें

ESL पुस्तक के अनुसार @amoeba का धन्यवाद, मुझे यह मिला: यहां छवि विवरण दर्ज करें

और यह रैखिक विभेदक कार्य है, जो बेयस प्रमेय प्लस के माध्यम से प्राप्त होता है और सभी वर्गों को एक ही सहसंयोजक मैट्रिक्स या मानते हैं । और यह विभेदक कार्य एक ही मैंने ऊपर लिखा था। $\Sigma$ $f_k(x)$

क्या मैं आयाम को कम करने के लिए को प्रोजेक्ट करने की दिशा के रूप में उपयोग कर सकता हूं ? मुझे इस बारे में यकीन नहीं है, AFAIK के बाद से, आयाम में कमी को भीतर-भीतर विचरण विश्लेषण द्वारा प्राप्त किया जाता है । $\Sigma^{-1}\mu_k$ $x$

अद्यतन रखें

खंड 4.3.3 से, यह इस प्रकार है:

यहां छवि विवरण दर्ज करें

, और निश्चित रूप से यह वर्गों के बीच एक साझा सहसंयोजक मानता है, जो कि सामान्य सहसंयोजक मैट्रिक्स (वर्ग के भीतर सहवास के लिए) है $W$ , है ना? मेरी समस्या यह है कि मैं डेटा से इस गणना कैसे करूं ? चूँकि डेटा से गणना करने का प्रयास करने पर मुझे श्रेणी के अलग-अलग कोविरियस मैट्रिसेस होंगे । तो मैं करने के लिए क्या पूल एक आम एक प्राप्त करने के लिए एक साथ सभी वर्ग 'सहप्रसरण? $W$ $K$ $W$

discriminant-analysis

— एवोकाडो
स्रोत

आप सवाल दो चीजों को मिलाते हैं। मुझे लगता है कि आपने अपने पिछले प्रश्न पर हमारी बातचीत को पचा नहीं लिया है । आप पहले जो वर्णन करते हैं वह वर्गीकरण के लिए बायेसियन दृष्टिकोण है ("एलएएस के लिए बायेसियन दृष्टिकोण") नहीं। इस दृष्टिकोण का उपयोग (1) मूल चर के रूप में वर्गफियर के रूप में किया जा सकता है या (2) एलडीए में सहपाठियों के रूप में प्राप्त भेदभाव के साथ। फ़िशर का दृष्टिकोण क्या है?

— ttnphns

(Cont।) खैर, "फिशर का LDA" K = 2 के साथ केवल LDA है। ऐसे एलडीए फिशर के भीतर वर्गीकरण करते समय वर्गीकरण करने के लिए अपने स्वयं के सूत्र का आविष्कार किया। ये सूत्र K> 2 के लिए भी काम कर सकते हैं। वर्गीकरण का उनका तरीका आजकल शायद ही उपयोग किया जाता है क्योंकि बेयस दृष्टिकोण अधिक सामान्य है।

— ttnphns

@ttnphns, इसका कारण यह है कि मैं भ्रमित हूं क्योंकि लगभग प्रत्येक पुस्तक मैंने इस बायेसियन दृष्टिकोण का उपयोग करते हुए एलडीए के बारे में बात करने के लिए संदर्भित किया है, एलडीए को एक जेनेरिक मॉडल के रूप में व्याख्यान देते हुए, वे समूह-समूह विचरण के बीच और समूह vairance के अनुपात का उल्लेख नहीं करते हैं ।

— एवोकैडो

@loganecolss: क्या आपने मेरा जवाब नीचे देखा है? क्या आपके पास इसके बारे में कोई सवाल है? मैं थोड़ा भ्रमित हूं, क्योंकि मुझे लगा कि मैंने समझाया कि आप अब टिप्पणियों में फिर से क्या पूछ रहे हैं। "बीच-भीतर के विचरण" का दृष्टिकोण गणितीय रूप से "बेसेसियन दृष्टिकोण" के बराबर है, जिसमें समान सहवास की धारणा है। यदि आप चाहें तो आप इसे एक आश्चर्यजनक गणितीय प्रमेय के रूप में सोच सकते हैं। इसका प्रमाण हस्ति की पुस्तक में दिया गया है, जो स्वतंत्र रूप से ऑनलाइन उपलब्ध है, और कुछ अन्य मशीन में पाठ्यपुस्तकें भी सीख रही हैं। इसलिए मुझे यकीन नहीं है कि "एलडीए करने का एकमात्र प्रामाणिक तरीका क्या हो सकता है"; ये दो समान तरीके।

— अमीबा

@loganecolss: मेरा विश्वास करो, वे समान हैं :) हाँ, आपको अनुमानों को प्राप्त करने में सक्षम होना चाहिए, लेकिन आपको समान सहसंयोजक मैट्रिक्स की एक अतिरिक्त धारणा की आवश्यकता है (जैसा कि मैंने अपने उत्तर में लिखा है)। मेरी टिप्पणी नीचे देखें।

— अमीबा

मैं केवल एक छोटा अनौपचारिक उत्तर प्रदान करूंगा और आपको विवरण के लिए सांख्यिकीय सीखने के तत्वों की धारा 4.3 का संदर्भ दूंगा ।

अपडेट: "द एलिमेंट्स" आपके द्वारा अपने अपडेट में लिखे गए प्रश्नों सहित, यहां आपके द्वारा पूछे जा रहे सवालों के बारे में विस्तार से बताया गया है । संबंधित खंड 4.3 है, और विशेष रूप से 4.3.2-4.3.3 में।

(२) दो दृष्टिकोण एक दूसरे से किस प्रकार संबंधित हैं?

वे जरूर करते हैं। जिसे आप "बायेसियन" दृष्टिकोण कहते हैं, वह अधिक सामान्य है और प्रत्येक वर्ग के लिए केवल गौसियन वितरण को मानता है। आपकी संभावना फ़ंक्शन अनिवार्य रूप से प्रत्येक कक्षा के केंद्र में से महालनोबिस दूरी है । $x$

$x$ $x$

एक महत्वपूर्ण अंतर्दृष्टि यह है कि समीकरण काफी सरल हो जाते हैं यदि कोई मानता है कि सभी वर्गों में समान सहसंयोजन है [ अद्यतन: यदि आपने इसे सभी के साथ ग्रहण किया है, तो यह गलतफहमी का हिस्सा हो सकता है] । उस मामले में निर्णय की सीमाएं रैखिक हो जाती हैं, और इसीलिए इस प्रक्रिया को रैखिक विभेदक विश्लेषण, LDA कहा जाता है।

यह महसूस करने के लिए कुछ बीजीय जोड़तोड़ लेता है कि इस मामले में सूत्र वास्तव में उसी के बराबर हैं जो फिशर ने अपने दृष्टिकोण का उपयोग करके काम किया। इसे एक गणितीय प्रमेय के रूप में सोचें। सभी गणित के लिए हस्ती की पाठ्यपुस्तक देखें।

(1) क्या हम बायेसियन दृष्टिकोण का उपयोग करके आयाम में कमी कर सकते हैं?

यदि "बायेसियन दृष्टिकोण" से आपका मतलब है कि प्रत्येक कक्षा में अलग-अलग सहसंयोजक मैट्रिस से निपटना है, तो नहीं। कम से कम यह एक रैखिक आयामी कमी (एलडीए के विपरीत) नहीं होगा, क्योंकि मैंने ऊपर जो लिखा था।

$\Sigma^{-1} \mu_k$ $k$ $\boldsymbol \Sigma^{-1} \mathbf{M}$ $\mathbf{M}$ $\mu_k$

— एक सलि का जन्तु
स्रोत

+1। मैं अपने स्वयं के उत्तर को भी बता सकता हूं जो कि QDA आँकड़े.स्टैकएक्सचेंज . com/a/71571/3277 का उल्लेख करता है ।

— ttnphns

X

$X$

Σ

$\boldsymbol \Sigma$

f_{k} (x)

$f_k(x)$

f_{k} (x)

$f_k(x)$

x

$x$

Σ^{- 1} μ_{k}

$\Sigma^{-1}\mu_k$

मैं अपनी पोस्ट को अपडेट करता हूं, अनुभाग की एक क्लिप को जोड़कर 4.3

— एवोकैडो