स्वतंत्र घटक विश्लेषण और कारक विश्लेषण के बीच क्या संबंध है?

मैं स्वतंत्र घटक विश्लेषण (आईसीए) के लिए नया हूं और इस पद्धति की सिर्फ एक अल्पविकसित समझ है। यह मुझे लगता है कि आईसीए एक अपवाद के साथ फैक्टर एनालिसिस (एफए) के समान है: आईसीए मानता है कि मनाया यादृच्छिक चर स्वतंत्र घटकों / कारकों का एक रैखिक संयोजन है जो गैर-गाऊसी हैं जबकि शास्त्रीय एफए मॉडल मानता है कि यादृच्छिक यादृच्छिक चर। सहसंबद्ध, गाऊसी घटकों / कारकों का एक रैखिक संयोजन है।

क्या उपरोक्त सही है?

multivariate-analysis factor-analysis ica

— stats_student
स्रोत

एक अन्य प्रश्न का यह उत्तर ( PCA पुनरावृत्ति रूप से सबसे महान विचरण की दिशाओं का पता लगाता है; लेकिन सबसे बड़ी विचरण करने वाली संपूर्ण उपधारा को कैसे खोजें? ) देखने लायक है।

— पियोत्र मिग्डल

यहाँ छवि विवरण दर्ज करें

एफए, पीसीए, और आईसीए, सभी 'संबंधित' हैं, उनमें से तीनों में आधार वैक्टर हैं जो डेटा के खिलाफ अनुमानित हैं, जैसे कि आप यहां सम्मिलित मानदंड-अधिकतम करते हैं। बेस वैक्टरों के बारे में सोचें जैसे कि रैखिक संयोजन को समाप्‍त करना।

उदाहरण के लिए, आपके डेटा मैट्रिक्स को कहने की अनुमति देता है एक x मैट्रिक्स था, , आपके पास दो यादृच्छिक चर हैं, और उनमें से प्रत्येक का अवलोकन। फिर आपको यह बताने देता है कि आपने एक आधार वेक्टर पाया है । जब आप (पहला) संकेत निकालते हैं, (इसे वेक्टर ), तो यह ऐसा किया जाता है: $\mathbf Z$ $2$ $N$ $N$ $\mathbf w = \begin{bmatrix}0.1 \\-4 \end{bmatrix}$ $\mathbf y$

y = w^{T} Z

$\mathbf {y = w^{\mathrm T}Z}$

इसका मतलब है "अपने डेटा की पहली पंक्ति से 0.1 गुणा करें, और अपने डेटा की दूसरी पंक्ति को 4 गुना घटाएं"। फिर यह देता है , जो निश्चित रूप से x वेक्टर है, जिसमें वह संपत्ति है जिसे आपने अपने सम्मिलित-मापदंड-यहाँ अधिकतम किया है। $\mathbf y$ $1$ $N$

तो वे मापदंड क्या हैं?

दूसरा-आदेश मानदंड:

पीसीए में, आपको आधार वैक्टर मिल रहे हैं जो आपके डेटा के विचरण को 'सबसे अच्छी तरह से समझाते हैं'। पहला (यानी उच्चतम रैंक वाला) वेक्टर एक होने जा रहा है जो आपके डेटा से सभी प्रकारों को सबसे अच्छी तरह फिट करता है। दूसरे वाले के पास भी यह मानदंड है, लेकिन पहले के लिए ऑर्थोगोनल होना चाहिए, और इसी तरह और आगे। (पीसीए के लिए उन आधार वैक्टर को चालू करता है, आपके डेटा के सहसंयोजक मैट्रिक्स के आइजनवेक्टर के अलावा और कुछ नहीं है)।

एफए में, इसके और पीसीए के बीच अंतर है, क्योंकि एफए जेनरेटिव है, जबकि पीसीए नहीं है। मैंने एफए को 'पीसीए के साथ शोर' के रूप में वर्णित किया है, जहां 'शोर' को 'विशिष्ट कारक' कहा जाता है। सभी समान, समग्र निष्कर्ष यह है कि पीसीए और एफए दूसरे क्रम के आँकड़ों, (सहसंयोजक) पर आधारित हैं, और ऊपर कुछ भी नहीं।

उच्चतर आदेश मानदंड:

आईसीए में, आप फिर से आधार वैक्टर ढूंढ रहे हैं, लेकिन इस बार, आप आधार वैक्टर चाहते हैं जो एक परिणाम दे, जैसे कि यह परिणामी वेक्टर मूल डेटा के स्वतंत्र घटकों में से एक है। आप सामान्यीकृत कुर्तोसिस के निरपेक्ष मूल्य को अधिकतम करके कर सकते हैं - एक 4 के क्रम सांख्यिकीय। यही है, आप अपने डेटा को कुछ आधार वेक्टर पर प्रोजेक्ट करते हैं, और परिणाम के कर्टोसिस को मापते हैं। आप अपने आधार वेक्टर को थोड़ा बदल देते हैं, (आमतौर पर ग्रेडिएंट एसेंट के माध्यम से), और फिर कर्टोसिस को फिर से मापते हैं, आदि आदि। आखिरकार आप एक आधार वेक्टर के लिए होंगे जो आपको एक परिणाम देता है जिसमें उच्चतम संभव कर्टोसिस होता है, और यह आपका स्वतंत्र है घटक।

ऊपर दिए गए शीर्ष आरेख आपको इसकी कल्पना करने में मदद कर सकते हैं। आप स्पष्ट रूप से देख सकते हैं कि आईसीए वैक्टर डेटा की कुल्हाड़ियों से कैसे मेल खाते हैं, (एक-दूसरे से स्वतंत्र), जबकि पीसीए वैक्टर उन दिशाओं को खोजने की कोशिश करते हैं जहां विचरण अधिकतम होता है। (कुछ हद तक परिणामी)।

यदि शीर्ष आरेख में पीसीए वैक्टर दिखते हैं, तो वे लगभग आईसीए वैक्टर के अनुरूप हैं, जो कि केवल संयोग है। यहां विभिन्न डेटा और मिक्सिंग मैट्रिक्स पर एक और उदाहरण है जहां वे बहुत अलग हैं। ;-)

यहाँ छवि विवरण दर्ज करें

— स्पेसी
स्रोत

यह देखता है कि आप दोनों विधियों से परिचित हैं। एक सक्षम व्यक्ति के रूप में, क्या आप जवाब दे सकते हैं कि क्या वे तरीके स्वाभाविक रूप से इसका मतलब है कि आधार वैक्टर ऑर्थोगोनल हैं? प्राथमिक या स्वतंत्र घटकों की खोज कैसे की जा सकती है जिनके पास एक-दूसरे पर गैर-शून्य प्रक्षेपण हो, जैसे दो बिंदु बादल एक दूसरे से लगभग 45 डिग्री कोण पर उन्मुख होते हैं?

— mbaitoff

@mbaitoff आईसीए वैक्टर के एक ऑर्थोगोनल आधार सेट को पुनर्प्राप्त करेगा, हाँ। दूसरे, जब आपके पास जैसा आप पूछ रहे हैं, दो संकेत जो एक दूसरे पर गैर-शून्य प्रक्षेपण हैं - ठीक यही आईसीए पूर्ववत करने की कोशिश कर रहा है। यही कारण है कि आईसीए द्वारा पाए जाने वाले अंतिम आधार वैक्टर एक दूसरे के लिए ऑर्थोगोनल हैं। फिर जब आप उन दो नए वैक्टर पर अपना डेटा प्रोजेक्ट करते हैं, तो वे एक दूसरे के लिए रूढ़िवादी होने जा रहे हैं।

— स्पेसी

@ टारेंटयुला मैंने एक सवाल पूछा है कि मैं क्या बात कर रहा हूं: आंकड़े.स्टैकएक्सचेंज / क्वेश्चन / 6575 / … , आप इलस्ट्रेशन, i.stack.imgur.com/U6fWb.png देख सकते हैं । मैं नहीं समझ सकता कि एक ऑर्थोगोनल आधार उन दो बादलों का वर्णन कैसे करेगा। यह मेरे लिए स्पष्ट है कि प्रमुख दोलन दिशाओं का वर्णन करने वाले दो वैक्टर ओर्थोगोनल नहीं हैं।

— mbaitoff

@mbaitoff आपने अपने डेटा को दो सेंसर से लिया, और आप उन्हें एक-दूसरे के खिलाफ साजिश करते हैं, और आप उन दो मोडों को देखते हैं, इसलिए आपको पता है कि वे कम से कम सहसंबद्ध हैं। फिर सवाल यह बन जाता है कि आप अपने पास मौजूद सभी बिंदुओं को कैसे प्रोजेक्ट कर सकते हैं, जैसे कि वे स्वतंत्र हैं? (अर्थात, आईसीए को जो मिलता है, जैसे एक ऑर्थोगोनल आधार पर)। यही आईसीए आपके लिए खोजता है। मुझे समझ में नहीं आता कि आपके कहने का मतलब क्या है "मैं यह नहीं समझ सकता कि एक ऑर्थोगोनल आधार उन दो बादलों का वर्णन कैसे करेगा।" क्यों नहीं?

— स्पेसी

@ टारेंटयुला ओह, अब मैं देखता हूं कि इसका क्या मतलब है! मैंने सोचा कि यह 'मूल कथानक पर दो ऑर्थोगोनल वैक्टर को खोजने' जैसा है, जबकि वास्तव में इसका अर्थ है 'मूल कथानक पर दो वैक्टर को खोजना, जिस पर उन्हें ऑर्थोगोनल (स्वतंत्र) बना देगा।'

— mbaitoff

काफी नहीं। कारक विश्लेषण दूसरे क्षणों के साथ संचालित होता है, और वास्तव में उम्मीद करता है कि डेटा गाऊसी हैं ताकि संभावना अनुपात और उस तरह का सामान गैर-सामान्यता से प्रभावित न हो। दूसरी ओर, ICA इस विचार से प्रेरित होता है कि जब आप चीजों को जोड़ते हैं, तो आप CLT के कारण कुछ सामान्य हो जाते हैं, और वास्तव में आशा करते हैं कि डेटा गैर-सामान्य हैं, ताकि गैर-सामान्य घटकों को निकाला जा सके उन्हें। गैर-सामान्यता का फायदा उठाने के लिए, ICA इनपुट के रैखिक संयोजन के चौथे क्षण को अधिकतम करने की कोशिश करता है:

max_{a : ‖ a ‖ = 1} \frac{1}{n} \sum_{i} [a^{'} (x_{i} - \bar{x})]^{4}

$\max_{{\bf a}: \| {\bf a}\| =1} \frac1n \sum_i \bigl[ {\bf a}'({\bf x}_i-\bar {\bf x})\bigr]^4$

यदि कुछ भी हो, तो ICA की तुलना PCA से की जानी चाहिए, जो कि इनपुट के मानकीकृत संयोजन के दूसरे क्षण (विचरण) को अधिकतम करता है।

— StasK
स्रोत

अच्छा और खस्ता जवाब

— सुभाष सी। दावर

यहाँ 4 पल क्या है? PL.EXPLAIN।

— सुभाष सी। डावर

@ subhashc.davar 4 पल पल कर्टोसिस है - यानी वह डिग्री जिसके लिए डेटा सामान्य वितरण की तुलना में भारी या हल्का था। en.wikipedia.org/wiki/Kurtosis

— javadba