फैक्टर एनालिसिस सहसंयोजक को कैसे समझाता है जबकि पीसीए विचरण को स्पष्ट करता है?

यहाँ बिशप की "पैटर्न रिकॉग्निशन एंड मशीन लर्निंग" पुस्तक, खंड 12.2.4 "कारक विश्लेषण" से एक उद्धरण है:

यहाँ छवि विवरण दर्ज करें

हाइलाइट किए गए भाग के अनुसार, कारक विश्लेषण मैट्रिक्स में चर के बीच कोवरियन को पकड़ता है $W$ । मुझे आश्चर्य है कि कैसे ?

यहाँ मैं इसे कैसे समझ सकता हूँ। कहो मनाया जाता है , आयामी चर कारक लोड हो रहा है मैट्रिक्स है, और कारक स्कोर वेक्टर है। फिर हमारे पास जो कि और में प्रत्येक स्तंभ वेक्टर लोड करने वाला एक कारक है यहाँ जैसा कि मैंने लिखा, पास $x$ $p$ $W$ $z$

x = μ + W z + ϵ,

$x=\mu+Wz+\epsilon,$

\begin{aligned} (\begin{matrix} x_{1} \\ ⋮ \\ x_{p} \end{matrix}) = (\begin{matrix} μ_{1} \\ ⋮ \\ μ_{p} \end{matrix}) + (\begin{matrix} | & | \\ w_{1} & \dots & w_{m} \\ | & | \end{matrix}) (\begin{matrix} z_{1} \\ ⋮ \\ z_{m} \end{matrix}) + ϵ, \end{aligned}

$\begin{align*} \begin{pmatrix} x_1\\ \vdots\\ x_p \end{pmatrix} = \begin{pmatrix} \mu_1\\ \vdots\\ \mu_p \end{pmatrix} + \begin{pmatrix} \vert & & \vert\\ w_1 & \ldots & w_m\\ \vert & & \vert \end{pmatrix} \begin{pmatrix} z_1\\ \vdots\\ z_m \end{pmatrix} +\epsilon, \end{align*}$

W

$W$

w_{i} = (\begin{matrix} w_{i 1} \\ ⋮ \\ w_{i p} \end{matrix}) .

$w_i=\begin{pmatrix}w_{i1}\\ \vdots\\ w_{ip}\end{pmatrix}.$

W

$W$

m

$m$ कॉलम का अर्थ है कि विचार के तहत कारक हैं ।

m

$m$

अब यहाँ बिंदु है, हाइलाइट किए गए भाग के अनुसार, मुझे लगता है कि प्रत्येक कॉलम में लोडिंग द्वारा देखे गए डेटा में समझाते हैं, है ना? $w_i$

उदाहरण के लिए, आइए पहले लोडिंग वेक्टर पर एक नज़र , , यदि , और , तो मैं कहूंगा कि और अत्यधिक सहसंबद्ध हैं, जबकि उनसे असंबद्ध लगता है , क्या मैं सही हूं? $w_1$ $1\le i,j,k\le p$ $w_{1i}=10$ $w_{1j}=11$ $w_{1k}=0.1$ $x_i$ $x_j$ $x_k$

और अगर यह है कि कैसे कारक विश्लेषण मनाया सुविधाओं के बीच सहसंयोजक की व्याख्या करते हैं, तो मैं कहूंगा कि पीसीए भी सहसंयोजक को बताता है, है ना?

pca factor-analysis geometry

— एवोकाडो
स्रोत

जैसा कि @ ttnphns का प्लॉट विषय स्थान प्रतिनिधित्व को संदर्भित करता है , यहाँ चर स्पेस और विषय स्थान के बारे में एक ट्यूटोरियल है: BTW, मुझे पहले विषय स्पेस प्लॉट के बारे में नहीं पता था , अब मैं इसे समझता हूं और यहां इसके बारे में एक ट्यूटोरियल है: amstat.org/ प्रकाशनों / JSE / v10n1 / यू / biplot.html । ;-)

— एवोकैडो

मैं टिप्पणी करना चाहता हूं कि लोडिंग प्लॉट जो लोडिंग दिखाता है वास्तव में विषय स्थान है। एक में दोनों चर और विषय रिक्त स्थान दिखा रहा है। इसे प्रदर्शित करने वाली कुछ तस्वीरें आंकड़े .stackexchange.com/a/50610/3277 ।

— ttnphns

यहाँ एक सवाल है कि "सामान्य विचरण" और "साझा विचरण" को क्या कहा जाता है: term.icallyackexhange.com/q/208175/3277 ।

— 14

प्रिंसिपल कंपोनेंट एनालिसिस और फैक्टर एनालिसिस के बीच के अंतर को मल्टीवेरेट तकनीकों पर कई पाठ्यपुस्तकों और लेखों में चर्चा की जाती है। आपको इस साइट पर पूर्ण थ्रेड , और एक नया और विषम उत्तर मिल सकते हैं ।

मैं इसे विस्तृत करने नहीं जा रहा हूं। मैंने पहले ही एक संक्षिप्त जवाब और एक लंबा एक दिया है और अब इसे चित्रों की एक जोड़ी के साथ स्पष्ट करना चाहेंगे।

सचित्र प्रदर्शन

नीचे दी गई तस्वीर पीसीए की व्याख्या करती है । (यह यहाँ से उधार लिया गया था जहाँ PCA की तुलना रैखिक प्रतिगमन और Canonical सहसंबंधों के साथ की जाती है। चित्र विषय स्थान में चरों के सदिश निरूपण है ; यह समझने के लिए कि आप वहां दूसरा पैराग्राफ पढ़ना चाहते हैं।)

यहाँ छवि विवरण दर्ज करें

इस तस्वीर पर पीसीए विन्यास वर्णित किया गया था वहाँ । मैं ज्यादातर प्रमुख बातें दोहराऊंगा। मुख्य घटक और उसी स्थान पर स्थित हैं जो चर और , "विमान X" द्वारा फैलाया जाता है । चार वैक्टरों में से प्रत्येक की चौकोर लंबाई इसकी भिन्नता है। के बीच सहप्रसरण और है , जहां उनके वैक्टर बीच कोण की कोज्या के बराबर होती है। $P_1$ $P_2$ $X_1$ $X_2$ $X_1$ $X_2$ $cov_{12}= |X_1||X_2|r$ $r$

घटकों पर अनुमानों (निर्देशांक) चर का, 'है, चर पर घटकों के लोडिंग कर रहे हैं: लोडिंग मॉडलिंग के रैखिक संयोजन में प्रतिगमन गुणांक हैं मानकीकृत घटकों द्वारा चर । "मानकीकृत" - क्योंकि घटकों के परिवर्तन के बारे में जानकारी पहले से ही लोडिंग में अवशोषित हो जाती है (याद रखें, लोडिंग eigenvectors संबंधित eigenvalues के लिए सामान्यीकृत हैं)। और उसके कारण, और इस तथ्य से कि घटक असंबंधित हैं, लोडिंग चर और घटकों के बीच सहसंयोजक हैं। $a$

पीसीए का उपयोग / डेटा में कमी के उद्देश्य से हमें केवल को बनाए रखने और को शेष या त्रुटि के रूप में लिए मजबूर करता है । विचरण पर कब्जा कर लिया है (समझाया गया है) द्वारा । $P_1$ $P_2$ $a_{11}^2+a_{21}^2= |P_1|^2$ $P_1$

नीचे दी गई तस्वीर फैक्टर विश्लेषण को उसी चर और करती है जिसके साथ हमने ऊपर पीसीए किया था। (मैं सामान्य कारक मॉडल की बात करूंगा , क्योंकि वहां अन्य मौजूद हैं: अल्फा फैक्टर मॉडल, छवि कारक मॉडल।) स्माइली सूरज प्रकाश व्यवस्था के साथ मदद करता है। $X_1$ $X_2$

सामान्य कारक । यह वही है जो ऊपर मुख्य घटक का एनालॉग है । क्या आप इन दोनों में अंतर देख सकते हैं? हां, स्पष्ट रूप से: कारक चर अंतरिक्ष "विमान एक्स" में झूठ नहीं है । $F$ $P_1$

एक कारक के साथ उस कारक को कैसे प्राप्त करें, अर्थात कारक विश्लेषण करने के लिए? कोशिश करते हैं। पिछली तस्वीर पर, अपने नाखून टिप द्वारा तीर के अंत को हुक करें और "प्लेन X" से दूर खींचें, जबकि दो नए प्लेन दिखाई देते हैं, "प्लेन U1" और "प्लेन U2"; ये जोड़ने वाले वेक्टर और दो वैरिएबल वैक्टर को जोड़ते हैं। "प्लेन X" के ऊपर दो प्लेन एक हुड, X1 - F - X2 बनाते हैं। $P_1$

यहाँ छवि विवरण दर्ज करें

हुड पर विचार करते समय खींचना जारी रखें और जब "विमान U1" और "विमान U2" 90 डिग्री के बीच रुकें। तैयार, कारक विश्लेषण किया जाता है। खैर, हाँ, लेकिन अभी तक आशावादी नहीं है। इसे सही करने के लिए, जैसे कि पैकेज करते हैं, तीर को खींचने के पूरे अभ्यास को दोहराते हैं, अब खींचते समय अपनी उंगली के छोटे बाएं-दाएं जोड़ते हैं। ऐसा करने पर, तीर की स्थिति का पता लगाएं, जब उस पर दोनों चर के वर्ग अनुमानों का योग अधिकतम हो जाता है , जबकि आप उस 90 डिग्री के कोण को प्राप्त करते हैं। रूक जा। आपने कारक विश्लेषण किया, सामान्य कारक की स्थिति पाई । $F$

फिर से टिप्पणी करने के लिए, प्रमुख घटक विपरीत , कारक संबंध चर के स्थान "विमान X" से नहीं है। इसलिए यह चर का एक कार्य नहीं है (प्रमुख घटक है, और आप दो शीर्ष चित्रों से यह सुनिश्चित कर सकते हैं कि पीसीए मूल रूप से दो-दिशात्मक है: घटकों द्वारा चर की भविष्यवाणी करता है और इसके विपरीत)। फैक्टर विश्लेषण इस प्रकार एक विवरण / सरलीकरण विधि नहीं है, पीसीए की तरह, यह मॉडलिंग विधि है जिसके तहत अव्यक्त कारक स्टीयर चर, एक-दिशात्मक रूप से मनाया जाता है। $P_1$ $F$

लोडिंग चर पर कारक के के पीसीए में लोडिंग की तरह कर रहे हैं; वे सहसंयोजक हैं और वे (मानकीकृत) कारक द्वारा मॉडलिंग चर के गुणांक हैं। द्वारा लिया गया विचरण (समझाया गया) है । कारक को इस मात्रा को अधिकतम करने के लिए पाया गया था - जैसे कि एक प्रमुख घटक। हालाँकि, यह समझाया गया कि विचरण कोई अधिक चरों का स्थूल विचरण नहीं है, - इसके बजाय, यह उनका विचरण है जिसके द्वारा वे सह-भिन्न होते हैं (सहसंबंधित)। ऐसा क्यों? $a$ $a_{1}^2+a_{2}^2= |F|^2$ $F$

तस्वीर पर वापस जाएं। हमने दो आवश्यकताओं के तहत निकाला । एक स्क्वायर्ड लोडिंग का सिर्फ उल्लेखित अधिकतम योग था। अन्य दो लंबवत विमानों का निर्माण था, "विमान U1" जिसमें और , और "विमान U2" जिसमें और । इस तरह से एक्स चर में से प्रत्येक विघटित दिखाई दिया। को चर और , पारस्परिक रूप से ऑर्थोगोनल में विघटित किया गया था ; इसी तरह चर और में भी विघटित हो गया , वह भी ऑर्थोगोनल। और के लिए ओर्थोगोनल है । हम जानते हैं कि क्या है $F$ $F$ $X_1$ $F$ $X_2$ $X_1$ $F$ $U_1$ $X_2$ $F$ $U_2$ $U_1$ $U_2$ $F$ - सामान्य कारक । के अद्वितीय कारक कहलाते हैं । प्रत्येक चर का अपना विशिष्ट कारक होता है। अर्थ इस प्रकार है। पीछे और पीछे वे बल हैं जो और को सहसंबंधित करने में बाधा उत्पन्न । लेकिन - सामान्य कारक - दोनों और पीछे बल है जो उन्हें सहसंबंधित बनाता है। और जिस विचरण को समझाया जा रहा है, वह सामान्य कारक है। तो, यह शुद्ध संपार्श्विकता विचरण है। यह वह विचरण है जो बनाता है ; का वास्तविक मान $U$ $U_1$ $X_1$ $U_2$ $X_2$ $X_1$ $X_2$ $F$ $X_1$ $X_2$ $cov_{12}>0$ $cov_{12}$ कारक की ओर चरों के झुकाव द्वारा निर्धारित किया जा रहा है, 's द्वारा । $a$

एक परिवर्तनशील विचरण (वेक्टर की लंबाई चुकता) इस प्रकार दो योजक भिन्न होते हैं: विशिष्टता और साम्यता । दो चर के साथ, हमारे उदाहरण की तरह, हम सबसे आम कारक में से एक निकाल सकते हैं, इसलिए सांप्रदायिकता = एकल लोडिंग वर्ग। कई चर के साथ हम कई सामान्य कारकों को निकाल सकते हैं, और एक चर की सांप्रदायिकता इसके वर्ग भार का योग होगा। हमारी तस्वीर पर, सामान्य कारकों का स्थान एक-आयामी है (बस ही); जब m सामान्य कारक मौजूद होते हैं, तो वह स्थान m होता है $u^2$ $a^2$ $F$ -डिमैनेटिक, सांप्रदायिकता अंतरिक्ष पर चर के अनुमानों और लोडिंग चर होने के साथ-साथ उन अनुमानों के अनुमानों पर जो अंतरिक्ष को फैलाते हैं। कारक विश्लेषण में स्पष्ट रूप से बताया गया विचरण उस सामान्य कारक के भीतर का भिन्नता है, जो चर के स्थान से भिन्न होता है, जिसमें घटक विचरण की व्याख्या करते हैं। चर का स्थान संयुक्त स्थान के पेट में है: एम आम + पी अद्वितीय कारक।

कृपया वर्तमान तस्वीर को देखें। कई (जैसे, , , ) चर थे जिनके साथ कारक विश्लेषण किया गया था, जिसमें दो सामान्य कारक निकाले गए थे। कारकों और आम कारक अंतरिक्ष "कारक विमान" फैली होती हैं। विश्लेषण किए गए चर के गुच्छा में से केवल एक ( ) आकृति पर दिखाया गया है। विश्लेषण ने इसे दो ऑर्थोगोनल भागों में विभाजित किया, सांप्रदायिकता और अद्वितीय कारक । साम्यवाद "कारक विमान" में निहित है और कारकों पर इसके निर्देशांक वे लोडिंग हैं जिनके द्वारा सामान्य कारक लोड (= निर्देशांक $X_1$ $X_2$ $X_3$ $F_1$ $F_2$ $X_1$ $C_1$ $U_1$ $X_1$ $X_1$ खुद कारकों पर)। चित्र पर, अन्य दो चरों के communalities - के अनुमानों और की - भी प्रदर्शित होते हैं। यह कहना दिलचस्प होगा कि दो सामान्य कारक, एक तरह से, उन सभी सांप्रदायिकता "चर" के प्रमुख घटकों के रूप में देखे जा सकते हैं । जबकि सामान्य प्रिंसिपल घटक वरिष्ठता को चर के बहुभिन्नरूपी रूप से संक्षिप्त करते हैं, वहीं कारक उनके बहुभिन्नरूपी सामान्य विचरण को संक्षेप में प्रस्तुत करते हैं। $X_2$ $X_3$ $^1$

उस सभी क्रिया की आवश्यकता क्यों है? मैं सिर्फ इस दावे को साक्ष्य देना चाहता था कि जब आप सहसंबद्ध चर में से प्रत्येक को दो ऑर्थोगोनल अव्यक्त भागों में विघटित करते हैं, तो एक (ए) चर और अन्य भाग (बी) के बीच असंबद्धता (ऑर्थोगोनलिटी) का प्रतिनिधित्व करते हैं (बी) उनके सहसंबंध (संपुष्टि) का प्रतिनिधित्व करते हैं। और आप संयुक्त बी से कारकों को निकालते हैं, आप अपने आप को उन कारकों के लोडिंग द्वारा युग्मक सहसंयोजकों की व्याख्या करते हुए पाएंगे। हमारे कारक मॉडल में, - कारक पुनर्स्थापित करते हैं $cov_{12} \approx a_1a_2$ लोडिंग के माध्यम से अलग-अलग सहवास। पीसीए मॉडल में, ऐसा नहीं है क्योंकि पीसीए अघोषित, मिश्रित कोलीनियर + ऑर्थोगोनल देशी विचरण को स्पष्ट करता है। दोनों मजबूत घटक जिन्हें आप बरकरार रखते हैं और बाद में जिन्हें आप छोड़ते हैं वे (ए) और (बी) भागों के फ्यूजन हैं; इसलिए पीसीए अपने लोडिंग के द्वारा, केवल अंधों और स्थूल रूप से सहवास कर सकता है।

कंट्रास्ट सूची पीसीए बनाम एफए

पीसीए: चर के स्थान पर चल रही है। एफए: चर के स्थान को बदल देता है।
पीसीए: परिवर्तनशीलता लेता है जैसा कि है। एफए: खंड परिवर्तनशीलता को सामान्य और अद्वितीय भागों में।
पीसीए: गैर-विचाराधीन विचरण, अर्थात कोवरियन मैट्रिक्स का पता लगाता है। एफए: केवल आम विचरण की व्याख्या करता है, इसलिए मैट्रिक्स के ऑफ-विकर्ण तत्वों के संबंध (लोडिंग द्वारा पुनर्स्थापना) सहसंबंध / सहसंबंध, बताता है । (पीसीए ऑफ-डायग्नॉजिकल एलिमेंट्स को भी समझाता है - लेकिन गुजरने में, ऑफहैंड तरीके से - सिर्फ इसलिए कि वेरिएंस कोविरियंस के रूप में साझा किए जाते हैं।)
पीसीए: घटक सैद्धांतिक रूप से रैखिक कार्य हैं चर, चर घटक के सैद्धांतिक रूप से रैखिक कार्य हैं। एफए: चर केवल कारकों के सैद्धांतिक रूप से रैखिक कार्य हैं।
पीसीए: अनुभवजन्य संक्षेप विधि; यह एम घटकों को बरकरार रखता है । एफए: सैद्धांतिक मॉडलिंग विधि; यह डेटा के लिए निश्चित संख्या मीटर कारक फिट बैठता है ; एफए का परीक्षण किया जा सकता है (पुष्टि एफए)।
पीसीए: सरलतम मीट्रिक एमडीएस है , इसका उद्देश्य आयामीता को कम करना है, जबकि अप्रत्यक्ष रूप से यथासंभव डेटा बिंदुओं के बीच की दूरी को संरक्षित करना है। एफए: कारक चर के पीछे आवश्यक अव्यक्त लक्षण हैं जो उन्हें सहसंबंधित बनाते हैं; विश्लेषण का उद्देश्य केवल उन निबंधों के लिए डेटा को कम करना है।
पीसीए: घटकों की रोटेशन / व्याख्या - कभी - कभी (अव्यक्त-लक्षण मॉडल के रूप में पीसीए पर्याप्त यथार्थवादी नहीं है)। एफए: कारकों की रोटेशन / व्याख्या - नियमित रूप से।
पीसीए: डेटा घटाने की विधि। एफए: सुसंगत चर के समूहों को खोजने के लिए एक विधि भी है (यह इसलिए है क्योंकि चर एक कारक से परे सहसंबंधित नहीं हो सकते हैं)।
पीसीए: लोडिंग और स्कोर "निकाले गए" घटकों की संख्या मीटर से स्वतंत्र हैं । एफए: लोडिंग और स्कोर "निकाले गए" कारकों की संख्या मीटर पर निर्भर करते हैं ।
पीसीए: घटक स्कोर सटीक घटक मूल्य हैं। एफए: कारक स्कोर वास्तविक कारक मानों से जुड़े होते हैं, और कई कम्प्यूटेशनल तरीके मौजूद होते हैं। फैक्टर स्कोर चर की जगह में झूठ बोलते हैं (जैसे घटक करते हैं) जबकि सच्चे कारक (कारक लोडिंग द्वारा सन्निहित) नहीं करते हैं।
पीसीए: आमतौर पर कोई धारणा नहीं है। एफए: कमजोर आंशिक सहसंबंधों की धारणा ; कभी-कभी बहुभिन्नरूपी सामान्यता धारणा; कुछ डेटासेट तब तक विश्लेषण के लिए "खराब" हो सकते हैं जब तक कि रूपांतरित न हो।
पीसीए: नॉनटेरेटिव अल्गोरिथम; हमेशा सफल। एफए: पुनरावृत्ति एल्गोरिथ्म (आमतौर पर); कभी-कभी असंबद्धता की समस्या; विलक्षणता एक समस्या हो सकती है।

$^1$ लिए सावधानीपूर्वक । कोई यह पूछ सकता है कि चित्र पर और चर कहां हैं , उन्हें क्यों नहीं खींचा गया? इसका उत्तर यह है कि हम उन्हें, यहां तक कि सैद्धांतिक रूप से भी नहीं खींच सकते। चित्र पर स्थान 3 डी है ("कारक विमान" और अद्वितीय वेक्टर द्वारा परिभाषित ; उनके पारस्परिक पूरक, विमान छायांकित ग्रे पर झूठ बोल रहा है, यही वह है जो चित्र संख्या 2 पर "हुड" के एक ढलान से मेल खाता है), और इसलिए हमारे ग्राफिक संसाधन समाप्त हो गए हैं। तीन चर , , द्वारा तीन आयामी अंतरिक्ष एक साथ एक और स्थान है। न तो "कारक विमान" और न ही $X_2$ $X_3$ $U_1$ $X_1$ $X_1$ $X_2$ $X_3$ $U_1$ इसके उप-स्थान हैं। यह वही है जो पीसीए से अलग है: कारक चर के स्थान से संबंधित नहीं हैं। प्रत्येक चर अलग से "कारक विमान" के लिए अपने अलग ग्रे प्लेन ऑर्थोगोनल में निहित है - ठीक उसी तरह जैसे कि हमारी तस्वीर पर दिखाया गया है, और वह सब है: अगर हमें जोड़ने के लिए, कहना है, तो को प्लॉट में हमें 4 वें आयाम का आविष्कार करना चाहिए था। (बस याद रखें कि सभी को पारस्परिक रूप से रूढ़िवादी होना चाहिए; इसलिए, एक और को जोड़ने के लिए , आपको आयामीता का विस्तार करना होगा।) $X_1$ $X_2$ $U$ $U$

इसी तरह प्रतिगमन में गुणांक निर्देशांक, भविष्यवाणियों पर, आश्रित चर (ओं) और भविष्यवाणी (ओं) के दोनों पर हैं ( "कई प्रतिगमन के तहत तस्वीर देखें ", और यहां , भी, एफए में)लोडिंग निर्देशांक हैं, कारकों पर, देखे गए चर और उनके अव्यक्त भागों के दोनों - सांप्रदायिकता। और वास्तव में प्रतिगमन में है कि तथ्य निर्भर (एस) और भविष्यवक्ता एक-दूसरे के उप-स्थान नहीं बनते हैं, - एफए में समान तथ्य मनाया चर नहीं बनाते हैं और अव्यक्त कारक एक-दूसरे के उप-स्थान होते हैं। एक कारक चर के लिए "एलियन" एक काफी समान अर्थ में है, जैसा कि एक आश्रित प्रतिक्रिया के लिए एक भविष्यवक्ता "एलियन" है। लेकिन पीसीए में, यह दूसरा तरीका है: प्रमुख घटक मनाया चर से प्राप्त होते हैं और उनके स्थान तक सीमित होते हैं।

इसलिए, एक बार फिर से दोहराने के लिए: एफए के एम आम कारक पी इनपुट चर के एक उप-समूह नहीं हैं । इसके विपरीत: चर m + p ( m सामान्य कारक + p अद्वितीय कारक) संघ हाइपरस्पेस में एक उप-स्थान बनाते हैं। जब इस दृष्टिकोण से देखा जाता है (यानी अद्वितीय कारकों के साथ भी आकर्षित किया जाता है) तो यह स्पष्ट हो जाता है कि क्लासिक एफए क्लासिक पीसीए की तरह एक आयामी सिकुड़न तकनीक नहीं है , बल्कि एक आयामी विस्तार तकनीक है। फिर भी, हम हमारे ध्यान में केवल एक छोटा सा (को देने मीटर आयामी सामान्य) कि ब्लोट का हिस्सा है, के बाद से इस भाग में केवल सहसंबंध बताते हैं।

— ttnphns
स्रोत

धन्यवाद, और अच्छी साजिश। आपका उत्तर ( आंकड़े . stackexchange.com/a/94104/30540 ) बहुत मदद करता है।

— एवोकैडो

(+11) शानदार जवाब और अच्छे चित्र! (मुझे अर्पण करने से दो दिन पहले इंतजार करना होगा।)

— १४'१४ को १

@chl, मैं बहुत बढ़ गया हूँ।

— ttnphns

@ttnphns: "सब्जेक्ट स्पेस" (आपका प्लेन X) एक ऐसा स्पेस है जिसमें कई निर्देशांक होते हैं, जैसे डेटासेट में डेटा पॉइंट होते हैं, है ना? तो अगर एक डेटासेट (दो चर X1 और X2 के साथ) में 100 डेटा बिंदु हैं, तो आपका विमान X 100-आयामी है? लेकिन फिर कारक एफ इसके बाहर कैसे झूठ बोल सकता है? क्या सभी 100 डेटा बिंदुओं के कारक के साथ कुछ मूल्य नहीं होने चाहिए? और जैसा कि कोई अन्य डेटा बिंदु नहीं हैं, ऐसा लगता है कि कारक एफ को समान 100-आयामी "विषय स्थान" में झूठ बोलना पड़ता है, यानी विमान एक्स? मुझे किसकी याद आ रही है?

— अमीबा का कहना है कि मोनिका

@amoeba, आपका प्रश्न वैध है और हाँ, आपको एक चीज़ याद आ रही है। पहला पैराग्राफ देखें: आंकड़े . stackexchange.com/a/51471/3277 । निरर्थक आयाम गिरा दिए जाते हैं। विषय स्थान में उतने ही वास्तविक, गैर-निरर्थक आयाम होते हैं, जितने कि परिवर्तनशील स्थान होते हैं। तो "स्पेस एक्स" विमान है। यदि हम +1 आयाम (एफ को कवर करने के लिए) जोड़ते हैं, तो संपूर्ण कॉन्फ़िगरेशन एकवचन, अयोग्य होगा। F हमेशा वेरिएबल स्पेस से बाहर निकलता है।

— ttnphns

"विवेचनात्मक व्याख्या" बनाम विचरण को स्पष्ट करते हुए

बिशप वास्तव में एक बहुत ही साधारण बात है। कारक विश्लेषण मॉडल के तहत (eq। 12.64) सहसंयोजक मैट्रिक्स होने जा रहा है (eq। 12.65)यह अनिवार्य रूप से क्या कारक विश्लेषण है करता है : यह लोडिंग के एक मैट्रिक्स और uniquenesses ऐसी है कि वास्तव में मनाया सहप्रसरण मैट्रिक्स के एक विकर्ण मैट्रिक्स पाता के रूप में अच्छी तरह से संभव के रूप में इसका अनुमान है :ध्यान दें कि विकर्ण तत्व

p (x | z) = N (x | W z + μ, Ψ)

$p(\mathbf x|\mathbf z) = \mathcal N(\mathbf x | \mathbf W \mathbf z + \boldsymbol \mu, \boldsymbol \Psi)$

x

$\mathbf x$

C = W W^{⊤} + Ψ .

$\mathbf C = \mathbf W \mathbf W^\top + \boldsymbol \Psi.$

Σ

$\boldsymbol \Sigma$

C

$\mathbf C$

Σ \approx W W^{⊤} + Ψ .

$\boldsymbol \Sigma \approx \mathbf W \mathbf W^\top + \boldsymbol \Psi.$

C

$\mathbf C$ , के विकर्ण तत्वों के बराबर होगा क्योंकि हम हमेशा विकर्ण मैट्रिक्स चयन कर सकते हैं जैसे कि विकर्ण पर पुनर्निर्माण त्रुटि शून्य है। वास्तविक चुनौती तो लोडिंग को खोजने के लिए है जो अच्छी तरह से के ऑफ-विकर्ण भाग का ।

Σ

$\boldsymbol \Sigma$

Ψ

$\boldsymbol \Psi$

W

$\mathbf W$

Σ

$\boldsymbol \Sigma$

ऑफ-विकर्ण भाग में चर के बीच सहसंयोजक होते हैं; इसलिए बिशप का दावा है कि कारक लोडिंग कोवरियों पर कब्जा कर रहे हैं। यहाँ महत्वपूर्ण बिट यह है कि कारक लोडिंग अलग-अलग बारे में बिल्कुल भी ध्यान नहीं देते हैं ( ( विकर्ण )। $\boldsymbol \Sigma$ $\boldsymbol \Sigma$

इसके विपरीत, पीसीए लोडिंग मैट्रिक्स हैं, जो उनके हैं। यदि केवल प्रिंसिपल घटकों को चुना जाता है, तो जिसका अर्थ है कि PCA लोडिंग पूरे सहसंयोजक मैट्रिक्स को पुन: उत्पन्न करने का प्रयास करती है (और न केवल इसके ऑफ-विकर्ण भाग एफए के रूप में)। यह पीसीए और एफए के बीच मुख्य अंतर है। $\widetilde {\mathbf W}$ $\boldsymbol \Sigma$ $m<k$

Σ \approx \tilde{W} {\tilde{W}}^{⊤},

$\boldsymbol \Sigma \approx \widetilde{\mathbf W} \widetilde{\mathbf W}^\top,$

आगे की टिप्पणी

मुझे @ ttnphns'es उत्तर (+1) में चित्र पसंद हैं , लेकिन मैं यह कहना चाहूंगा कि वे दो चर की विशेष स्थिति से निपटते हैं। यदि विचाराधीन केवल दो चर हैं, तो सहसंयोजक मैट्रिक्स , इसमें केवल एक ऑफ-डायगोनल तत्व है और इसलिए एक कारक हमेशा इसे 100% पुन: पेश करने के लिए पर्याप्त है (जबकि पीसीए को दो घटकों की आवश्यकता होगी)। हालांकि सामान्य तौर पर, अगर कई चर (कहते हैं, एक दर्जन या अधिक) हैं, तो न तो पीसीए और न ही एफए की छोटी संख्या वाले घटक पूरी तरह से सहसंयोजक मैट्रिक्स को पुन: पेश करने में सक्षम होंगे; इसके अलावा, वे आम तौर पर (भले ही जरूरी नहीं!) समान परिणाम उत्पन्न करते हैं। इस दावे का समर्थन करने वाले कुछ सिमुलेशन और आगे के स्पष्टीकरण के लिए मेरा जवाब यहां देखें: $2 \times 2$

क्या ईएफए के बजाय पीसीए का उपयोग करने का कोई अच्छा कारण है? इसके अलावा, पीसीए कारक विश्लेषण का विकल्प हो सकता है?

इसलिए भले ही @ ttnphns के चित्र इस बात का आभास करा सकें कि पीसीए और एफए बहुत अलग हैं, मेरी राय है कि यह बहुत कम चरों या कुछ अन्य विशेष स्थितियों को छोड़कर, ऐसा नहीं है।

यह भी देखें:

आखिरकार:

उदाहरण के लिए, आइए पहले लोडिंग वेक्टर पर एक नज़र , , यदि , और , तो मैं कहूंगा कि और अत्यधिक सहसंबद्ध हैं, जबकि उनसे असंबद्ध लगता है, क्या मैं सही हूं? $w_1$ $1\le i,j,k\le p$ $w_{1i}=10$ $w_{1j}=11$ $w_{1k}=0.1$ $x_i$ $x_j$ $x_k$

यह जरूरी सही नहीं है। हां, इस उदाहरण में और परस्पर संबंध होने की संभावना है, लेकिन आप अन्य कारकों के बारे में भूल रहे हैं। शायद दूसरे कारक के लोडिंग वेक्टर में और लिए बड़े मूल्य हैं ; इसका मतलब यह होगा कि वे अच्छी तरह से सहसंबद्ध होने की संभावना है। ऐसे निष्कर्ष निकालने के लिए आपको सभी कारकों को ध्यान में रखना होगा। $x_i$ $x_j$ $w_2$ $x_i$ $x_k$

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

अपने बीजीय विशेषज्ञता को स्वीकार करते हुए और निश्चित रूप से आपके जवाब का अभिवादन करते हुए मैं इतना तेज नहीं होता जितना कि किसी के पिछले ज्यामितीय उत्तर (इस उदाहरण में मेरा) को "संभावित भ्रामक" के रूप में लेबल करना। शब्द so hugely differentतुम्हारे हैं, मेरे नहीं हैं। दूसरा, it is in fact not the case, except with very few variablesअपने आप में एक रहस्योद्घाटन है जिसे एक बार किए जाने की तुलना में आपको गहराई से जांचना होगा।

— ttnphns

हाय @ttnphns, टिप्पणी के लिए धन्यवाद। मेरे पास ज्यामितीय उत्तरों के खिलाफ बिल्कुल कुछ भी नहीं है, और वास्तव में जब संभव हो तो मैं उन्हें पसंद करता हूं ! मैं ईमानदारी से आपके उत्तर को बहुत पसंद करता हूं और इसमें मेरा +1 है। लेकिन मैं केवल दो चरों के साथ एक मामले पर विचार करता है कि पीसीए-बनाम-एफए मतभेद और मजबूत की तुलना में वे अन्यथा हैं दिखाई देते हैं कि इस लगता कि कर सकते हैं हो सकता है संभवतः (!) को गुमराह। हालाँकि, आप सही हैं कि मुझे अपने उत्तर में ऐसे शब्दों का इस्तेमाल नहीं करना चाहिए था। मैं माफी मांगता हूं, और मैंने इसे अभी संपादित किया है। बस पूरी तरह से स्पष्ट होने के लिए: किसी भी शत्रुता (यदि आपको कोई महसूस किया गया है!) विशुद्ध रूप से अनजाने में था।

— अमीबा का कहना है कि मोनिका

@amoeba कुछ लोग क्यों कहते हैं कि एफए सहसंयोजक को बचाता है और पीसीए प्रसरण को संरक्षित करता है। आपकी पोस्ट से, मैं समझता हूं कि वास्तव में एफए सहसंयोजक को संरक्षित करता है, लेकिन पीए विचरण और सहसंयोजक को संरक्षित करने की कोशिश करता है । यह कहते हुए कि PCA विचलन को संरक्षित करता है अपने उद्देश्य से आता है न कि आपकी पोस्ट में स्पष्टीकरण से?

— user_anon