LDA में "रैखिक भेदभाव के गुणांक" क्या हैं?

Question

में R, मैं वर्गीकरण करने के लिए ldaपुस्तकालय से फ़ंक्शन का उपयोग करता हूं MASS। जैसा कि मैं समझता हूं कि एलडीए, इनपुट को लेबल सौंपा जाएगा , जो कि अधिकतम , है ना?$x$$y$$p(y|x)$

लेकिन जब मैं मॉडल फिट करता हूं, जिसमें मुझे आउटपुट से काफी समझ नहीं है ,

$$x=(Lag1,Lag2)$$ $$y=Direction,$$ lda

संपादित करें: नीचे दिए गए आउटपुट को पुन : पेश करने के लिए, पहले चलाएं:

library(MASS)
library(ISLR)

train = subset(Smarket, Year < 2005)

lda.fit = lda(Direction ~ Lag1 + Lag2, data = train)

> lda.fit
Call:
lda(Direction ~ Lag1 + Lag2, data = train)

Prior probabilities of groups:
    Down       Up 
0.491984 0.508016 

Group means:
            Lag1        Lag2
Down  0.04279022  0.03389409
Up   -0.03954635 -0.03132544

Coefficients of linear discriminants:
            LD1
Lag1 -0.6420190
Lag2 -0.5135293

मैं उपरोक्त आउटपुट में सभी जानकारी को समझता हूं लेकिन एक बात, क्या है LD1? मैं इसके लिए वेब खोजता हूं, क्या यह रैखिक भेदभावपूर्ण स्कोर है ? वह क्या है और मुझे इसकी आवश्यकता क्यों है?

अपडेट करें

मैंने कई पोस्ट (जैसे कि यह और यह एक ) पढ़ी और डीए के लिए वेब पर भी खोज की, और अब यहां मैं डीए या एलडीए के बारे में सोचता हूं।

1. इसका उपयोग वर्गीकरण करने के लिए किया जा सकता है, और जब यह उद्देश्य होता है, तो मैं बेयस दृष्टिकोण का उपयोग कर सकता हूं, अर्थात प्रत्येक वर्ग लिए पीछे गणना करें , और फिर उच्चतम साथ वर्ग में को वर्गीकृत करें। । इस दृष्टिकोण से, मुझे भेदभाव करने वालों का पता लगाने की आवश्यकता नहीं है, है ना?$p(y|x)$$y_i$$x$

2. जैसा कि मैंने पोस्ट में पढ़ा है, महंगाई भत्ते या कम से कम झील प्राधिकरण मुख्य रूप से उद्देश्य से है आयामी स्वरूप में कमी , के लिए $K$ वर्गों और $D$ -dim भविष्यवक्ता अंतरिक्ष, मैं पेश कर सकती हैं $D$ -dim $x$ में एक नया $(K-1)$ -dim सुविधा अंतरिक्ष $z$ , वह है,

   $$\begin{align*}x&=(x_1,...,x_D)\\z&=(z_1,...,z_{K-1})\\z_i&=w_i^Tx\end{align*}$$ ,$z$को मूल$x$से परिवर्तित फीचर वेक्टर के रूप में देखा जा सकता है, और प्रत्येक$w_i$वेक्टर है, जिस पर$x$अनुमानित है।

क्या मैं उपरोक्त कथनों के बारे में सही हूँ? यदि हाँ, तो मेरे पास निम्नलिखित प्रश्न हैं:

1. विवेकशील क्या है ? प्रत्येक प्रविष्टि है $z_i$ वेक्टर में $z$ एक विभेदक है? या $w_i$ ?

2. विभेदकों का उपयोग करके वर्गीकरण कैसे करें?

Comments

LDA के 2 अलग-अलग चरण हैं: निष्कर्षण और वर्गीकरण। निष्कर्षण पर, विभेदक नामक अव्यक्त चर का गठन किया जाता है, इनपुट चर के रैखिक संयोजन के रूप में। उस रैखिक संयोजनों में गुणांक को विभेदक गुणांक कहा जाता है; ये आप के बारे में पूछ रहे हैं। दूसरे चरण में, डेटा बिंदुओं को उन विभेदकों द्वारा कक्षाओं को सौंपा जाता है, मूल चर द्वारा नहीं। अधिक पढ़ने के लिए, discriminant analysisइस साइट पर खोजें।

— tnnphns

रैखिक विभेदक स्कोर एक विभेदक द्वारा डेटा बिंदु का एक मूल्य है, इसलिए इसे विभेदक गुणांक के साथ भ्रमित न करें, जो एक प्रतिगामी गुणांक की तरह है। मेरा विस्तृत जवाब यहां देखें ।

— tnnphns

@ttnphns, धन्यवाद और मैं DA के बारे में अधिक पढ़ूंगा। Btw, मैं एक इनपुट वर्गीकृत करने के लिए है कि सोचा था कि , मैं सिर्फ पीछे की गणना करने की जरूरत है पी ( y | x ) सभी वर्गों के लिए और फिर उच्चतम पीछे के साथ वर्ग है, है ना लेने? और मुझे यह नहीं दिखाई देता है कि मुझे पीछे की गणना में L D 1 की आवश्यकता क्यों है । $X$$p(y|x)$$LD1$

— एवोकैडो

आप मूल चर के आधार पर बेयस-नियम वर्गीकरण कर सकते हैं और कर सकते हैं। लेकिन यह भेदभावपूर्ण विश्लेषण नहीं होगा। एलडीए का आवश्यक हिस्सा है आयामीता में कमी, जो आपको मूल चर-वर्ग-वर्गीकरणों को छोटी संख्या में व्युत्पन्न वर्गीकरणकर्ताओं, विभेदकों द्वारा प्रतिस्थापित करने की अनुमति देता है। कृपया यहां पोस्ट पढ़ें, विशेष रूप से मेरा, वे एलडीए के विचारों और गणित का वस्तुतः वर्णन करते हैं।

— ttnphns

@ttnphns, आप उपरोक्त टिप्पणी में आपके द्वारा लिंक की गई पोस्ट को पढ़ रहा हूं ;-)

— avocado

Answer 1

यदि आप LDA1भविष्यवक्ता चर के संबंधित तत्वों द्वारा (पहले रेखीय विभेदक) के प्रत्येक मूल्य को गुणा करते हैं और उन्हें जोड़ते हैं ( + - 0.5135293 × ) तो आप प्रत्येक उत्तरदाता के लिए एक अंक प्राप्त करते हैं। पूर्व के साथ इस स्कोर का उपयोग वर्ग सदस्यता की पिछली संभावना की गणना करने के लिए किया जाता है (इसके लिए कई विभिन्न सूत्र हैं)। वर्गीकरण पश्च-संभाव्यता के आधार पर किया जाता है, जिन टिप्पणियों का अनुमान उस कक्षा में लगता है जिसके लिए उनकी उच्चतम संभावना है।$-0.6420190\times$Lag1$+ -0.5135293\times$Lag2

नीचे दिए गए चार्ट प्रश्न में उपयोग किए गए डेटा सेट के लिए स्कोर, पीछे की संभावना और वर्गीकरण के बीच के संबंध को दर्शाता है। बुनियादी पैटर्न हमेशा दो-समूह एलडीए के साथ होता है: स्कोर और पोस्टीरियर संभावना के बीच 1 से 1 मैपिंग होती है, और पोस्टीरियर संभावनाएं या स्कोर से किए जाने पर भविष्यवाणियां बराबर होती हैं।

उप-प्रश्नों के उत्तर और कुछ अन्य टिप्पणियां

• हालांकि एलडीए को आयाम में कमी के लिए इस्तेमाल किया जा सकता है, लेकिन उदाहरण में ऐसा नहीं है। दो समूहों के साथ, प्रति अवलोकन केवल एक ही कारण की आवश्यकता होती है, यह है कि यह सब आवश्यक है। ऐसा इसलिए है क्योंकि एक समूह में होने की संभावना दूसरे में होने की संभावना का पूरक है (यानी, वे 1 में जोड़ते हैं)। आप इसे चार्ट में देख सकते हैं: -4 से कम के स्कोर को डाउन ग्रुप में वर्गीकृत किया जाता है और उच्च स्कोर को अप होने की भविष्यवाणी की जाती है ।

• कभी-कभी स्कोर के वेक्टर को ए कहा जाता है discriminant function। कभी-कभी गुणांक इसे कहा जाता है। मैं स्पष्ट नहीं हूं कि क्या सही है। मेरा मानना ​​है कि एमएएसई discriminantगुणांक को संदर्भित करता है।

• MASS पैकेज का ldaफ़ंक्शन अधिकांश एलडीए सॉफ्टवेयर के लिए एक अलग तरीके से गुणांक पैदा करता है। वैकल्पिक दृष्टिकोण प्रत्येक समूह के लिए गुणांक के एक सेट की गणना करता है और गुणांक के प्रत्येक सेट में एक अवरोधन होता है। इन गुणांक का उपयोग करके गणना किए गए विभेदक फ़ंक्शन (स्कोर) के साथ, वर्गीकरण उच्चतम स्कोर पर आधारित है और वर्गीकरण की भविष्यवाणी करने के लिए पीछे की संभावनाओं की गणना करने की आवश्यकता नहीं है। मैंने GitHub में कुछ LDA कोड डाले हैं जो MASSफ़ंक्शन का एक संशोधन है, लेकिन ये अधिक सुविधाजनक गुणांक (पैकेज कहलाता है Displayr/flipMultivariates, और यदि आप किसी ऑब्जेक्ट का उपयोग करके बनाते हैं तो आप LDAगुणांक का उपयोग करके निकाल सकते हैं obj$original$discriminant.functions)।

• मैंने इस पोस्ट की सभी अवधारणाओं को कोड के लिए R यहाँ पोस्ट किया है ।

• स्कोर से पीछे की संभावनाओं की गणना के लिए कोई एकल सूत्र नहीं है। स्रोत कोड को देखने के लिए विकल्पों को समझने का सबसे आसान तरीका है (वैसे भी),:

library(MASS) getAnywhere("predict.lda")

Comments

I'm not clear on whether either [word use] is correct"विभेदक कार्य" उर्फ ​​"विभेदक" एक निकाला गया रूप है - एक चर, एक आयाम। इसलिए यह गुणांक (भार) द्वारा इनपुट चर से इसका आकलन करने के लिए और स्कोर, मानों दोनों द्वारा विशेषता है। बिल्कुल पीसीए में पीसी की तरह। तो, "विवेकशील गुणांक" और "विवेकशील स्कोर" सही उपयोग हैं।

— ttnphns

@ttnphns, शब्दावली का आपका उपयोग बहुत स्पष्ट और स्पष्ट है। लेकिन, यह उपयोग नहीं है जो विषय पर बहुत अधिक पोस्ट और प्रकाशनों में दिखाई देता है, जो कि वह बिंदु है जिसे मैं बनाने की कोशिश कर रहा था। अकेले शब्द-अर्थ के आधार पर, यह मेरे लिए बहुत स्पष्ट है कि "विवेकशील फ़ंक्शन" को गणितीय फ़ंक्शन (यानी, sumproduct और गुणांक) का उल्लेख करना चाहिए, लेकिन फिर यह मेरे लिए स्पष्ट नहीं है कि यह व्यापक उपयोग है।

— टिम

@ कोड के लिए आपके द्वारा पोस्ट की गई लिंक मृत है, क्या आप कृपया अपने उत्तर में कोड कॉपी कर सकते हैं?

— baxx

Answer 2

इस फ़ंक्शन के पीछे सिद्धांत "फिशर मेथड फॉर डिस्क्रिमिनेशनिंग विद एनी पॉपुलेशन" है। मैं संदर्भ के लिए लागू बहुभिन्नरूपी सांख्यिकीय विश्लेषण (ISBN: 9780134995397) में अध्याय 11.6 की सिफारिश करता हूं।