फिशर मानदंड वजन की गणना कैसे करें?

Question

मैं पैटर्न मान्यता और मशीन सीखने का अध्ययन कर रहा हूं, और मैं निम्नलिखित प्रश्न में भाग गया।

समान श्रेणी के समान प्रायिकता साथ दो-स्तरीय वर्गीकरण समस्या पर विचार करें

$$P(D_1)=P(D_2)= \frac{1}{2}$$

और द्वारा दिए गए प्रत्येक वर्गों में उदाहरणों का वितरण

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

फिशर मानदंड वजन की गणना कैसे करें?

अपडेट 2: मेरी पुस्तक द्वारा प्रदान किया गया परिकलित वजन है: ।$W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

अद्यतन 3: जैसा कि @xeon द्वारा संकेत दिया गया है, मैं समझता हूं कि मुझे फिशर के भेदभाव के लिए प्रक्षेपण लाइन का निर्धारण करना चाहिए।

अद्यतन 4: Let प्रक्षेपण रेखा की दिशा हो, विभेदक विधि पाता है कि सबसे अच्छा रैखिक तो फिशर है जिसके लिए कसौटी समारोह को बड़ा किया गया है। शेष चुनौती यह है कि हम संख्यात्मक रूप से वेक्टर कैसे प्राप्त कर सकते हैं ?डब्ल्यू $W$$W$$W$

Comments

आपका पहला वितरण अपरिभाषित है। विशेष रूप से जोड़े के दूसरे संस्करण में 0 विचरण के साथ पतित वितरण होता है, लेकिन पहले चरण के साथ एक सकारात्मक सहसंयोजक होता है, जो असंभव है।

— ओवेन्समार्टिन

@owensmartin u का कोई अंदाजा नहीं है, इन मूल्यों की गणना कैसे की जाती है?

— डॉ। होशंग

फिशर मानदंड वजन की परिभाषा क्या है?

— व्लादिस्लाव्स डोवलगेस

मेरा मतलब है कि फिशर का रेखीय विभेदक वेक्टर w द्वारा दिया गया है जो अधिकतम होता है ... यह luthuli.cs.uiuc.edu/~daf/courses/Learning/Kernelpapers/… जैसे हर सामग्री पर नोट किया गया है । 2. क्या यह ठीक है @xeon?

— डॉ। होशंग

संकेत: दो वर्गों के बीच की सीमा क्या होगी? रैखिक, बहुपद, कुछ और?

— व्लादिस्लाव डोवगलकेस

Answer 1

आपके द्वारा (मिका एट अल।, 1999) से जुड़े पेपर के बाद , हमें को खोजना होगा, जो तथाकथित सामान्यीकृत रेलेह भागफल को अधिकतम करता है ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

जहां साधन के लिए और सहप्रसरण ,सी 1 , सी$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

इसका समाधान सामान्यीकृत आइगेनवेल्यू समस्या को हल करके किया जा सकता है पहले कंप्यूटिंग द्वारा eigenvalues को हल करके और फिर आइजन्वेक्टर के लिए सुलझाने । आपके मामले में, निर्धारक इस 2x2 मैट्रिक्स के हाथ से गणना की जा सकती।

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

सबसे बड़े प्रतिजन के साथ आइजनवेक्टर रेलेह भागफल को अधिकतम करता है। हाथ से गणना करने के बजाय, मैंने उपयोग करते हुए पायथन में सामान्यीकृत समस्या को हल किया scipy.linalg.eigऔर जो आपकी पुस्तक में पाए गए समाधान से अलग है। नीचे मैंने वेट वेक्टर के इष्टतम हाइपरप्लेन को लिखा था जो मुझे मिला (काला) और आपकी पुस्तक (लाल) में पाए गए वेट वेक्टर का हाइपरप्लेन।

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

Comments

यह उदाहरण बहुत ही रोचक है। दोनों पंक्तियाँ दो वर्गों को अलग करती हैं लेकिन उनमें से एक सीखने के दृष्टिकोण से "बेहतर" है।

— व्लादिस्लाव डोभालगस

फिशर मानदंड पर अनुभाग 5-2-3 पर विस्तृत है books.google.com/...

— nini

@Lucas शायद सवाल का परिणाम xeon टिप्पणियों के करीब है, "शायद हमें यूनिट वेक्टर w की रिपोर्ट करनी चाहिए क्योंकि हाइपरप्लेन को दिशा द्वारा परिभाषित किया गया है, परिमाण नहीं।" है ना?

— नीनी

ओह !!! चुनौतीपूर्ण प्रश्न, मैं सभी को dml.ir/wp-content/uploads/2012/04/SPR-S12-M-Sol.pdf

— user153695

@ लुकास धन्यवाद। क्या आप सीमा देखने के लिए तीन अलग-अलग रंगों के साथ W = [- 2/3 -2/3] और W = [- 4/3 -2/3] और W = [- 2 -3] के लिए एक और तस्वीर जोड़ सकते हैं? धन्यवाद। मैंने आपको अच्छे उत्तर के लिए इनाम दिया है।

— नीनि

Answer 2

$\mathbf{SOLUTION 1:}$

डूडा एट अल के बाद। (पैटर्न क्लैसिफिकेशन) जिसका @ हल के लिए एक वैकल्पिक समाधान है और इस मामले में हाथ से समाधान की गणना करना बहुत आसान है। (आशा है कि यह वैकल्पिक समाधान मदद करता है !! :))

दो वर्ग में एलडीए का उद्देश्य है:

$\frac{w^TS_Bw}{w^TS_Ww}$ जिसका अर्थ है कि वर्ग भिन्नता के बीच वृद्धि और वर्ग भिन्नता के भीतर कमी।

जहाँ और , यहाँ सहसंयोजक मैट्रिक्स और क्रमशः कक्षा 1 और 2 के साधन हैं।$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

इस सामान्यीकृत रैले भागफल का समाधान एक सामान्यीकृत ईजेन मूल्य जांच है।

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

उपरोक्त सूत्रीकरण में एक बंद रूप समाधान है। एक रैंक 1 मैट्रिक्स है जिसका आधार इसलिए जो उत्तर पाने के लिए normlizd हो सकता है।$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

मैंने सिर्फ गणना की और [0.5547; 0.8321] प्राप्त किया।$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

रेफरी: डूडा, हार्ट, स्टॉर्क द्वारा पैटर्न वर्गीकरण

$\mathbf{SOLUTION 2:}$

वैकल्पिक रूप से, यह सामान्यीकृत eigen मूल्य समस्या के eigen वेक्टर को खोजकर हल किया जा सकता है। $S_Bw = \lambda S_Ww$

लैम्ब्डा में एक बहुपद द्वारा निर्मित किया जा सकता है और उस बहुपद के समाधान लिए मूल्य होगा । अब आपको हैं कि आपको बहुपद की जड़ों के रूप में eigen मानों का एक सेट । अब स्थानापन्न और समीकरणों के रैखिक प्रणाली के समाधान के रूप में संबंधित eigen वेक्टर प्राप्त करें । प्रत्येक i के लिए ऐसा करने से आप वैक्टर एक सेट प्राप्त कर सकते हैं और यह समाधान के रूप में ईजन वैक्टर का एक सेट है।$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , तो eigen मान हैं बहुपद की जड़ें ।$6\lambda^2 - 80\lambda$

तो 0 और 40/3 दो समाधान हैं। एलडीए के लिए, उच्चतम ईजेन मूल्य के अनुरूप आइजन वेक्टर समाधान है।$\lambda=$

समीकरण की प्रणाली का समाधान और$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

जो$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

समीकरण की उपर्युक्त प्रणाली का समाधान जो पिछले समाधान के समान है।$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

वैकल्पिक रूप से, हम यह कह सकते हैं कि , के रिक्त स्थान में स्थित है ।$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

दो वर्ग एलडीए के लिए, उच्चतम ईजेन मूल्य वाले ईजन वेक्टर समाधान है। सामान्य तौर पर, सी क्लास एलडीए के लिए, सबसे पहले सी - 1 ईगेन वैक्टर से लेकर उच्चतम सी - 1 ईजन वैल्यू तक का समाधान होता है।

यह वीडियो बताता है कि सरल ईजन मूल्य समस्या के लिए ईजन वैक्टर की गणना कैसे करें। ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

निम्नलिखित एक उदाहरण है। http://www.sosmath.com/matrix/eigen2/eigen2.html

मल्टी-क्लास LDA: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

एक मैट्रिक्स के रिक्त स्थान की गणना: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix

Comments

अच्छा जवाब, आपका मतलब है कि किताब का जवाब गलत है !! शाबाशी?

— डॉ। होशांग

मेरा मानना ​​है कि यह उत्तर सही है और यदि आपकी पुस्तक और अलग परिभाषित करती है तो देखें कि आपको उन परिभाषाओं के साथ क्या मिलता है। $S_W$$S_B$

— dksahuji

-1.33 -4/3 के बराबर है लेकिन दूसरा तत्व अलग है। शायद बुक रिपोर्ट यूनिट वेक्टर w? सही नहीं है? बहुत बहुत धन्यवाद

— डॉ। होशंग

कृपया इसे पूरा करने के लिए W के मूल्य तक पहुँचने के लिए 2 पूर्ण समाधान

— nini

@ डॉ.घोषांग: आपकी पुस्तक में समाधान गलत है। मुझे कोई जानकारी नहीं है की क्यों।

— अमीबा का कहना है कि मोनिका