क्या पीसीए अभी भी सहसंयोजक मैट्रिक्स के एगेंडेकम्पोजीशन के माध्यम से किया जाता है जब आयामीता टिप्पणियों की संख्या से बड़ी होती है?

मेरे पास एक $20\times100$ मैट्रिक्स $X$ , जिसमें -डायमेंशनल स्पेस में मेरे $N=20$ नमूने हैं। मैं अब मतलाब में अपने स्वयं के प्रमुख घटक विश्लेषण (पीसीए) को कोड करना चाहता हूं। मैं पहले को करता । $D=100$ $X$ $X_0$

मैं किसी के कोड से पढ़ता हूं कि ऐसे परिदृश्यों में जहां हमारे पास प्रेक्षणों से अधिक आयाम हैं, अब हम के सहसंयोजक मैट्रिक्स को । इसके बजाय, हम eigen-घुलना । क्यों सही है? $X_0$ $\frac{1}{N-1}X_0X_0^T$

सामान्य सहसंयोजक मैट्रिक्स के आकार का है , जिसका प्रत्येक तत्व हमें दो आयामों के बीच सहसंयोजक बताता है। मेरे लिए, $D\times D$ सही आयामों का भी नहीं है! यहमैट्रिक्स है, इसलिए यह हमें क्या बताएगा? दो टिप्पणियों के बीच सहसंयोजक ?! $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— Sibbs जुआ
स्रोत

आपके प्रश्न का उत्तर इस स्थिति में है कि - जैसा कि यह आपके कार्य को प्रस्तुत करने से होता है - आपको स्तंभों के सहसंयोजक मैट्रिक्स की आवश्यकता नहीं है। आप केवल इसे पीसी प्राप्त करने के लिए एक मार्ग के रूप में चाहते थे। सही? लेकिन एक ही पीसीए परिणाम के eigen X'Xऔर XX'(साथ ही svd Xऔर X') के माध्यम से प्राप्त किया जा सकता है । जिसे एक मामले में "लोडिंग" कहा जाता है, उसे दूसरे में "पीसी स्कोर" कहा जाएगा और इसके विपरीत। क्योंकि दोनों सिर्फ निर्देशांक हैं ( देखें, उदाहरण के लिए ) और अक्ष, "प्रमुख आयाम" समान हैं।

— ttnphns

(प्रतियोगिता।) यदि ऐसा है और आप यह चुनने के लिए स्वतंत्र हैं कि कौन सा विघटित होना है - तो यह विघटित करना बुद्धिमानी है जो कि अधिक तेजी से / अधिक कुशलता से करना है। जब छोटे आकार का होता है तो n<pरैम को कम और विघटित XX'होने में कम समय लगता है।

— ttnphns

@ttnphns महान व्याख्या। मुझे अब बात दिख रही है। हालाँकि, मैं अभी भी XX'पीसी के eigen से जा रही समस्याओं है । क्या आप मुझे बहुत संक्षेप में बता सकते हैं कि कैसे? यह देखते हुए कि पीसी सहप्रसरण मैट्रिक्स के सिर्फ eigenvectors हैं, मैं के eigen से स्थानांतरित करने का प्रयास किया XX'सहप्रसरण मैट्रिक्स के eigen के लिए X'X, लेकिन असफल रहे।

— सिब्ब्स जुआ

मुझे जाना है। शायद @amoeba (जो मेरे मुकाबले बीजगणित में बहुत अधिक चुस्त है) या कोई अन्य पाठक जल्द ही यहां दिखेगा और आपकी मदद करेगा। चीयर्स।

— ttnphns

@ttnphns: हो गया :)

— अमीबा

सहसंयोजक मैट्रिक्स आकार का है और द्वारा दिया गया $D\times D$

सी = \frac{1}{एन - 1} {एक्स}_{0}^{⊤} {एक्स}_{0}^{} ।

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

जिस मैट्रिक्स के बारे में आप बात कर रहे हैं, वह निश्चित रूप से कोविरेन्स मैट्रिक्स नहीं है; इसे ग्राम मैट्रिक्स कहा जाता है और यह आकार का है: $N\times N$

जी = \frac{1}{एन - 1} {एक्स}_{0}^{} {एक्स}_{0}^{⊤} ।

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

प्रिंसिपल कंपोनेंट एनालिसिस (पीसीए) को इन दोनों में से किसी भी मेट्रिसेस के इगेंडेकोम्पोजिशन के जरिए लागू किया जा सकता है। ये एक ही चीज़ की गणना करने के दो अलग-अलग तरीके हैं।

यह देखने का सबसे आसान और सबसे उपयोगी तरीका डेटा मैट्रिक्स के एकवचन मूल्य अपघटन का उपयोग करना है । और लिए अभिव्यक्तियों में इसे प्लग करना , हमें मिलता है: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} सी & = वी \frac{{एस}^{2}}{एन - 1} {वी}^{⊤} \\ जी & = यू \frac{{एस}^{2}}{एन - 1} {यू}^{⊤} । \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

$\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

$N<D$ $D$ $D$ $N<D$

यह भी देखें: eigenvectors के बीच संबंध $\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— एक सलि का जन्तु
स्रोत

बहुत बढ़िया जवाब! मुझे नहीं पता था कि इसका कोई नाम है! आपका बहुत बहुत धन्यवाद! मुझे अब अपनी गणना में तेजी लाने के लिए इसका उपयोग करने का विश्वास है।

— सिब्बल जुआ

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

यह उत्तर स्पष्ट है कि मैंने किताबों में बहुत सारे प्रदर्शन देखे हैं। धन्यवाद।

— us --r11852

विशुद्ध रूप से संदर्भ उद्देश्यों के लिए: मुझे लगता है कि IJ गुड का 1969 टेक्नोमेट्रिक्स का पेपर " एक मैट्रिक्स के एकवचन अपघटन के कुछ अनुप्रयोग " यह पूरी तरह से पहली से पहली संदर्भ में से एक है।

— us --r11852

@MattWenham सटीक।

— अमीबा