विभेदक विश्लेषण के तीन संस्करण: मतभेद और उनका उपयोग कैसे करें

Question

क्या कोई मतभेदों की व्याख्या कर सकता है और विशिष्ट उदाहरण दे सकता है कि इन तीन विश्लेषणों का उपयोग कैसे करें?

• LDA - रेखीय विभेदक विश्लेषण
• एफडीए - फिशर के भेदभावपूर्ण विश्लेषण
• QDA - द्विघात विवेचन विश्लेषण

मैंने हर जगह खोज की, लेकिन वास्तविक मूल्यों के साथ वास्तविक उदाहरणों को नहीं देख पाया कि इन विश्लेषणों का उपयोग कैसे किया जाता है और डेटा की गणना की जाती है, केवल बहुत सारे सूत्र जो बिना किसी वास्तविक उदाहरण के समझना मुश्किल है। जैसा कि मैंने समझने की कोशिश की कि यह भेद करना कठिन है कि कौन से समीकरण / सूत्र एलडीए के हैं और कौन से एफडीए के हैं।

उदाहरण के लिए मान लें कि ऐसा कोई डेटा है:

x1 x2 class
1  2  a
1  3  a
2  3  a
3  3  a
1  0  b
2  1  b
2  2  b

और मान लें कि कुछ परीक्षण डेटा हैं:

x1 x2
2  4
3  5
3  6

तो इन तीनों दृष्टिकोणों के साथ ऐसे डेटा का उपयोग कैसे करें? यह देखना सबसे अच्छा होगा कि हाथ से सबकुछ कैसे कैलकुलेट किया जाए, न कि कुछ गणित पैकेज का इस्तेमाल किया जाए जो पर्दे के पीछे की हर चीज का हिसाब लगाता हो।

PS मुझे केवल यही ट्यूटोरियल मिला: http://people.revoledu.com/kardi/tutorial/LDA/LDA.html##DA । यह दिखाता है कि एलडीए का उपयोग कैसे किया जाता है।

Answer 1

"फिशर डिस्क्रिमिनट एनालिसिस" केवल 2 वर्गों की स्थिति में एलडीए है। जब हाथ से केवल 2 वर्गों की गणना संभव होती है और विश्लेषण सीधे एकाधिक प्रतिगमन से संबंधित होता है। LDA किसी भी संख्या में वर्गों की स्थिति पर फिशर के विचार का प्रत्यक्ष विस्तार है और इसे गणना करने के लिए मैट्रिक्स बीजगणित उपकरणों (जैसे कि ईगेंडेकोम्पोजिशन) का उपयोग करता है। तो, "फिशर डिस्क्रिमिनट एनालिसिस" शब्द को आज अप्रचलित देखा जा सकता है। इसके बजाय "रेखीय विभेदक विश्लेषण" का उपयोग किया जाना चाहिए। यह भी देखें । 2 + वर्गों (बहु-वर्ग) के साथ भेदभावपूर्ण विश्लेषण अपने एल्गोरिथ्म द्वारा विहित है (विचरण करने वालों को विचारात्मक संस्करण के रूप में निकालता है); दुर्लभ शब्द "कैनोनिकल डिस्क्रिमिनेंट एनालिसिस"

फिशर का उपयोग तब किया जाता था जिसे तब "फिशर वर्गीकरण फ़ंक्शंस" कहा जाता था ताकि वस्तुओं को वर्गीकृत करने के बाद भेदभावपूर्ण फ़ंक्शन की गणना की जा सके। आजकल, वस्तुओं को वर्गीकृत करने के लिए एलडीए प्रक्रिया के भीतर एक अधिक सामान्य बेयस दृष्टिकोण का उपयोग किया जाता है।

एलडीए के स्पष्टीकरण के लिए आपके अनुरोध के लिए मैं आपको मेरे इन उत्तरों पर भेज सकता हूं: एलडीए में निष्कर्षण, एलडीए में वर्गीकरण , संबंधित प्रक्रियाओं में एलडीए । इसके अलावा इस , यह , इस सवाल और जवाब।

जैसे एनोवा को समान रूपांतरों की धारणा की आवश्यकता होती है, वैसे ही एलडीए को वर्गों के बराबर भिन्नता-सहसंयोजक मैट्रिक्स (इनपुट चर के बीच) की धारणा की आवश्यकता होती है। विश्लेषण के वर्गीकरण चरण के लिए यह धारणा महत्वपूर्ण है। यदि मैट्रिसेस पर्याप्त रूप से भिन्न होते हैं, तो टिप्पणियों को उस वर्ग को सौंपा जाएगा जहां परिवर्तनशीलता अधिक है। समस्या को दूर करने के लिए, QDA का आविष्कार किया गया था। QDA LDA का एक संशोधन है जो वर्गों के सहसंयोजक मैट्रिसेस की उपरोक्त विविधता के लिए अनुमति देता है।

आप विविधता है (के रूप में बॉक्स के एम परीक्षण द्वारा उदाहरण के लिए पता चला) और आप हाथ में Qda की जरूरत नहीं है, तो आप अभी भी व्यक्तिगत सहप्रसरण मैट्रिक्स की (बल्कि जमा मैट्रिक्स की तुलना में) का उपयोग करने के कार्यकाल में झील प्राधिकरण का उपयोग कर सकते discriminants वर्गीकरण पर । यह आंशिक रूप से समस्या को हल करता है, हालांकि क्यूडीए की तुलना में कम प्रभावी रूप से, क्योंकि - जैसा कि केवल बताया गया है - ये भेदभावियों के बीच के मेट्रिक्स हैं और मूल चर (जो अलग-अलग होते हैं) के बीच नहीं।

मुझे अपने उदाहरण डेटा का विश्लेषण करने के लिए छोड़ दो।

---

@ Zyxue के उत्तर और टिप्पणियों का जवाब दें

LDA है जिसे आपने परिभाषित किया है FDA आपके उत्तर में है। एलडीए पहले रेखीय निर्माण (जिसे विभेदक कहा जाता है) को निकालता है, जो कि पृथक्करण के बीच अधिकतम होता है, और फिर उन का उपयोग करता है (गाऊसी) वर्गीकरण। यदि (जैसा कि आप कहते हैं) एलडीए को भेदभाव करने वालों को निकालने के लिए कार्य के साथ बंधे नहीं किया गया था, तो एलडीए सिर्फ एक गौस वर्गीय वर्गीकरणकर्ता होगा, किसी भी नाम "एलडीए" की आवश्यकता नहीं होगी।

$S_w$$S_w$s समान हैं, वर्ग के भीतर के सहसंबंध सभी समान हैं, पहचान; उनका उपयोग करने का अधिकार निरपेक्ष हो जाता है।)

गौसियन क्लासिफायरियर (एलडीए का दूसरा चरण) भेदभाव करने वालों द्वारा कक्षाओं के लिए टिप्पणियों को असाइन करने के लिए बेयस नियम का उपयोग करता है। एक ही परिणाम तथाकथित फिशर रैखिक वर्गीकरण कार्यों के माध्यम से पूरा किया जा सकता है जो सीधे मूल सुविधाओं का उपयोग करता है। हालाँकि, विभेदकों पर आधारित बेयस का दृष्टिकोण थोड़ा सामान्य है कि यह अलग वर्ग के विभेदक सहसंयोजक मैट्रिक्स का उपयोग करने की अनुमति देगा, साथ ही एक का उपयोग करने के लिए डिफ़ॉल्ट तरीके के अलावा। इसके अलावा, यह भेदभावियों के सबसेट पर आधार वर्गीकरण की अनुमति देगा।

जब केवल दो वर्ग होते हैं, तो एलडीए के दोनों चरणों को एक ही पास में एक साथ वर्णित किया जा सकता है क्योंकि "लेटेंट एक्सट्रैक्शन" और "अवलोकनों का वर्गीकरण" उसी कार्य को कम करते हैं।

Comments

मुझे लगता है कि मुझे अपने मशीन लर्निंग कोर्स में सीखने की याद है कि गॉसियन 2-क्लास एलडीए ने गॉसियन डेन्सिटी ग्रहण की और बायेसियन एमपीई नियम का उपयोग करता है जबकि फिशर का एलडीए गॉसियन धारणा नहीं बनाता है और एसएनआर को अधिकतम करने के लिए इष्टतमता मानदंड में बदलाव करता है। क्या यह आपके उत्तर के अनुरूप है?

— ऑस्टिन

@ जेक ने इस बारे में, इस उत्तर में भी रुचि व्यक्त की: आंकड़े ।stackexchange.com / questions / 87975 / … , यह कहा गया है कि परिणाम समान है। टिप्पणियाँ?

— डोल

क्या आपको यकीन है कि "" फिशर डिस्क्रिमिनट एनालिसिस "केवल 2 वर्गों की स्थिति में एलडीए है"?

— ज्यक्स्यू

@zyxue, 95% निश्चित है, लेकिन वैसे भी मुझे यह शब्द अप्रचलित लगता है। कृपया मेरे फुटनोट को सांख्यिकी में देखें ।stackexchange.com/q/190806/3277 ।

— ttnphns

@ ttnphns, fyi, youtu.be/hGKt0yy9q_E?t=3010 के अनुसार , FDA और LDA को अक्सर साहित्य में मिलाया जाता है। दो को अलग करने का एक तरीका, FDA एक सुविधा निष्कर्षण विधि है जबकि LDA और QDA वर्गीकरण तकनीक है।

— zyxue

Answer 2

मुझे इस बात से सहमत होना मुश्किल है कि एफडीए दो-वर्गों के लिए एलडीए है जैसा कि @ttnphns ने सुझाव दिया था।

मैं प्रोफेसर अली घोडसी द्वारा इस विषय पर दो बहुत ही जानकारीपूर्ण और सुंदर व्याख्यान देने की सलाह देता हूं:

1. LDA और QDA । इसके अलावा, पुस्तक द एलिमेंट्स ऑफ स्टैटिस्टिकल लर्निंग ( पीडीएफ ) के पेज 108 में व्याख्यान के अनुरूप एलडीए का वर्णन है।
2. एफडीए

मेरे लिए, एलडीए और क्यूडीए समान हैं क्योंकि वे दोनों गौसेन मान्यताओं के साथ वर्गीकरण तकनीक हैं। दोनों के बीच एक बड़ा अंतर यह है कि एलडीए मानता है कि दोनों वर्गों के सहसंयोजक मैट्रिसेज समान हैं, जिसके परिणामस्वरूप रैखिक निर्णय सीमा होती है। इसके विपरीत, QDA कम सख्त है और अलग-अलग वर्गों के लिए अलग-अलग फीचर कोवरियन मैट्रिसेस की अनुमति देता है, जो एक द्विघात गतिरोधी सीमा की ओर जाता है। एक विचार के लिए scikit से निम्नलिखित आंकड़ा देखें - द्विघात निर्णय सीमा कैसी दिखती है।

सबप्लॉट्स पर कुछ टिप्पणियां :

• शीर्ष पंक्ति: जब सहसंयोजक मैट्रिक्स वास्तव में डेटा में समान होते हैं, तो एलडीए और क्यूडीए एक ही निर्णय सीमाओं तक ले जाते हैं।
• नीचे की पंक्ति: जब कोवरियन मैट्रिसेस अलग-अलग होते हैं, तो एलडीए खराब प्रदर्शन की ओर जाता है क्योंकि इसकी धारणा अवैध हो जाती है, जबकि क्यूडीए वर्गीकरण को बहुत बेहतर करता है।

दूसरी ओर, एफडीए एक बहुत ही अलग प्रजाति है, जिसका गौसियन धारणा से कोई लेना-देना नहीं है। एफडीए क्या करने की कोशिश करता है , वर्ग-परिवर्तन के बीच न्यूनतम दूरी को अधिकतम करने के लिए एक रैखिक परिवर्तन खोजना है । दूसरा व्याख्यान इस विचार को खूबसूरती से समझाता है। एलडीए / क्यूडीए के विपरीत, एफडीए वर्गीकरण नहीं करता है, हालांकि एफडीए द्वारा पाए गए परिवर्तन के बाद प्राप्त सुविधाओं को वर्गीकरण के लिए इस्तेमाल किया जा सकता है, जैसे कि एलडीए / क्यूडीए, या एसवीएम या अन्य का उपयोग करना।

Comments

कृपया मेरे उत्तर में मेरे उत्तर को देखें। मैंने आपके द्वारा लिंक किए गए वीडियो सबक को नहीं देखा है, इसलिए मैं यह नहीं कह सकता कि क्या मैं इससे सहमत हो सकता हूं। मैं उस व्याख्या / परिभाषा (LDA बनाम FDA) से सहमत नहीं हूँ जो आप उत्तर में दे रहे हैं। लेकिन वह - दो शब्दों की परिभाषा - मेरे लिए बहुत महत्वपूर्ण विषय नहीं है। यह समझना अधिक महत्वपूर्ण है कि यह सब कैसे काम करता है।

— ttnphns

अगर आपकी समझ में है FDA doesn't do classification, although the features obtained after transformation found by FDA could be used for classificationतो मैं कहूंगा कि मैं इसे "एलडीए का निष्कर्षण चरण" कहता हूं। बेशक, ये निकाले गए विशेषताएं (भेदभावपूर्ण कार्य) - आप उन्हें अपनी इच्छानुसार उपयोग कर सकते हैं। मानक एलडीए वर्गीकरण में, वे गाऊसी क्लासीफायर के रूप में उपयोग किए जाते हैं।

— ttnphns

मैं उत्सुक हूं कि आपने कहां पढ़ा कि " एलडीए पहले रैखिक निर्माण (जिसे भेदभावकर्ता कहा जाता है) निकालता है" ? मैंने सोचा कि इसे रेखीय विभेदक कहा जाता है क्योंकि निर्णय सीमा रैखिक है, जो यह मानने का एक परिणाम है कि सुविधा कोविर्सियस मैट्रिक्स विभिन्न वर्गों के लिए समान है। इसी तरह, QDA की द्विघात निर्णय सीमा है। ये एम्बेडेड आंकड़ों में भी दिखाए गए हैं। ऊपर वीडियो इसके अलावा, मैं संदर्भित हूँ सांख्यिकीय लर्निंग के तत्वों ( पीडीएफ । पेज 108 पर, यह सुविधा निष्कर्षण के उल्लेख के बिना झील प्राधिकरण का वर्णन शुरू होता है।

— zyxue

आखिरकार, मुझे लगता है कि हम उसी चीज के बारे में बात कर रहे हैं, लेकिन यह सिर्फ चीजों को नाम देने का एक तरीका है। आपको लगता है कि LDA = feature_extraction + वर्गीकरण, लेकिन मेरे संदर्भों के आधार पर, LDA वर्गीकरण के बारे में है। यहाँ फीचर_ टेक्स्ट को एफडीए कहा जाता है। महत्वपूर्ण बात यह है कि यहां शामिल कक्षाओं की संख्या से कोई लेना-देना नहीं है। एलडीए और एफडीए दोनों ही दो से अधिक वर्गों से निपट सकते हैं।

— zyxue

हम उन परिभाषाओं से चिपके रह सकते हैं जिनका हम उपयोग करते हैं। वैसे भी, किसी को ध्यान देना चाहिए कि "रैखिक निर्माण" और "रैखिक निर्णय सीमाएं" संबंधित हैं, डीए के संदर्भ में वे एक ही चीज के बारे में हैं। निर्णय सीमा के साथ अपनी तस्वीर को सीधी रेखा के रूप में देखें। जब आप बहुत सारी कक्षाओं को बदल देते हैं, तो अंडाकार गोलाकार होते हैं, जो कि भेदभावपूर्ण कार्य सीमा के ठीक विपरीत होगा। दरअसल, यहां "प्राथमिक" चीज भेदभावपूर्ण कार्य, एक चर, एक आयाम है, जबकि निर्णय सीमा अंतरिक्ष में सीमा है जो कि इसकी दिशा पर निर्भर करती है। Dec. सीमा "माध्यमिक" है।

— ttnphns