विषय (दोहरी) अंतरिक्ष में पीसीए की ज्यामितीय समझ

मैं विषय (दोहरी) अंतरिक्ष में प्रमुख घटक विश्लेषण (पीसीए) कैसे काम करता है , इसकी सहज जानकारी प्राप्त करने की कोशिश कर रहा हूं ।

दो चर, के साथ 2 डी डाटासेट पर विचार करें और , और डेटा बिंदुओं (डेटा मैट्रिक्स है और केंद्रित हो माना जाता है)। पीसीए की सामान्य प्रस्तुति यह है कि हम में बिंदुओं पर विचार करते हैं , नीचे covariance मैट्रिक्स लिखते हैं , और इसके eigenvectors & eigenvalues पाते हैं; पहला पीसी अधिकतम विचरण की दिशा से मेल खाता है, आदि यहाँ सहसंयोजक मैट्रिक्स साथ एक उदाहरण है । लाल रेखाएं संबंधित प्रतिजन के वर्गमूलों द्वारा मापे गए आइजनवेक्टर दिखाती हैं। $x_1$ $x_2$ $n$ $\mathbf X$ $n\times 2$ $n$ $\mathbb R^2$ $2\times 2$ $\mathbf C = \left(\begin{array}{cc}4&2\\2&2\end{array}\right)$

$\hskip 1in$

अब विचार करें कि विषय स्थान में क्या होता है (मैंने यह शब्द @ttnphns से सीखा), जिसे दोहरे स्थान (मशीन लर्निंग में प्रयुक्त शब्द ) के रूप में भी जाना जाता है । यह एक -डायमेंशनल स्पेस है जहां हमारे दो वेरिएबल्स ( दो कॉलम ) के नमूने दो वैक्टर और । प्रत्येक चर वेक्टर की चुकता लंबाई इसके विचरण के बराबर होती है, दो वैक्टर के बीच के कोण का कोसाइन उनके बीच सहसंबंध के बराबर होता है। यह प्रतिनिधित्व, वैसे, कई प्रतिगमन के उपचार में बहुत मानक है। मेरे उदाहरण में, विषय स्थान ऐसा दिखता है (मैं केवल दो चर वैक्टर द्वारा छठे 2D विमान को दिखाता हूं): $n$ $\mathbf X$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

प्रधान घटक, दो चर के रैखिक संयोजन होने के नाते, एक ही विमान में दो वैक्टर और । मेरा प्रश्न है: ऐसे भूखंड पर मूल चर वैक्टर का उपयोग करके मुख्य घटक चर वैक्टर बनाने के लिए ज्यामितीय समझ / अंतर्ज्ञान क्या है ? यह देखते हुए और , क्या ज्यामितीय प्रक्रिया प्राप्त होते हैं ? $\mathbf p_1$ $\mathbf p_2$ $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$

नीचे इसकी वर्तमान आंशिक समझ है।

सबसे पहले, मैं मानक विधि के माध्यम से प्रमुख घटकों / अक्षों की गणना कर सकता हूं और उन्हें एक ही आकृति पर साजिश कर सकता हूं:

$\hskip 1in$

इसके अलावा, हम ध्यान दें कि को इस तरह चुना जाता है कि (नीली वैक्टर) और पर उनके अनुमानों के बीच वर्ग दूरी का योग न्यूनतम हो; उन दूरियों में पुनर्निर्माण की त्रुटियां हैं और उन्हें काले धराशायी लाइनों के साथ दिखाया गया है। समान रूप से, दोनों अनुमानों की चुकता लंबाई के योग को अधिकतम करता है। यह पूरी तरह से निर्दिष्ट और निश्चित रूप से प्राथमिक अंतरिक्ष में समान विवरण के लिए पूरी तरह से अनुरूप है ( प्रमुख घटक विश्लेषण, eigenvectors और eigenvalues की समझ बनाने के लिए मेरे जवाब में एनीमेशन देखें )। @ Ttnphns'es जवाब का पहला भाग भी यहाँ देखें । $\mathbf p_1$ $\mathbf x_i$ $\mathbf p_1$ $\mathbf p_1$ $\mathbf p_1$

हालाँकि, यह पर्याप्त ज्यामितीय नहीं है! यह मुझे नहीं बताता कि ऐसे को कैसे खोजना है और इसकी लंबाई निर्दिष्ट नहीं है। $\mathbf p_1$

मेरा अनुमान है कि है , , , और एक अंडाकार पर सभी झूठ पर केन्द्रित के साथ और इसकी मुख्य कुल्हाड़ियों जा रहा है। यह मेरे उदाहरण में कैसा दिखता है: $\mathbf x_1$ $\mathbf x_2$ $\mathbf p_1$ $\mathbf p_2$ $0$ $\mathbf p_1$ $\mathbf p_2$

$\hskip 1in$

Q1: कैसे साबित करने के लिए? प्रत्यक्ष बीजीय प्रदर्शन बहुत थकाऊ लगता है; कैसे देखना है कि यह मामला होना चाहिए?

लेकिन पर केन्द्रित और और से होकर गुजरने वाले कई अलग-अलग : $0$ $\mathbf x_1$ $\mathbf x_2$

$\hskip 1in$

Q2: क्या "सही" दीर्घवृत्त निर्दिष्ट करता है? मेरा पहला अनुमान था कि यह दीर्घ संभव मुख्य अक्ष के साथ दीर्घवृत्त है; लेकिन यह गलत प्रतीत होता है (किसी भी लम्बाई के मुख्य अक्ष के साथ दीर्घवृत्त होते हैं)।

यदि Q1 और Q2 के उत्तर हैं, तो मैं यह भी जानना चाहूंगा कि क्या वे दो से अधिक चर के मामले को सामान्य करते हैं।

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

क्या यह सच है कि कई संभावित दीर्घवृत्त हैं जो मूल (जहां X1 और x2 प्रतिच्छेद) पर केंद्रित हैं, और X1 और x2 के दूर के छोरों के साथ संपर्क बनाते हैं? मैंने सोचा होगा कि केवल एक ही होगा। निश्चित रूप से कई हो सकते हैं यदि आप उन 3 मानदंडों (केंद्र, और 2 छोरों) में से 1 को आराम करते हैं।

— गंग -

दो वैक्टरों से गुजरने वाले मूल में बहुत सारे दीर्घवृत्त केंद्रित हैं। लेकिन गैर-कोलीनियर वैक्टर

और

लिए केवल एक ही है जो दोहरे आधार में यूनिट सर्कल है । यह

कहां है

(a, b)

$(a,b)$

(c, d)

$(c,d)$

x (a, b) + y (c, d)

$x(a,b)+y(c,d)$

{| {(\begin{matrix} a & c \\ b & d \end{matrix})}^{- 1} (\begin{matrix} x \\ y \end{matrix}) |}^{2} = 1.

$\left|\pmatrix{a&c\\b&d}^{-1}\pmatrix{x\\y}\right|^2=1.$ इसके प्रमुख अक्षों से बहुत कुछ सीखा जा सकता है।

— whuber

variable space (I borrowed this term from ttnphns)- @boeba, आपको गलत होना चाहिए। वैक्टर के रूप में वैरिएबल (मूल रूप से) एन-डायमेंशनल स्पेस को सब्जेक्ट स्पेस कहा जाता है (एन सब्जेक्ट्स ऐक्सिस "स्पेस" को पी वेरिएबल्स "स्पैन" कहते हैं)। वैरिएबल स्पेस , इसके विपरीत, रिवर्स - यानी सामान्य स्कैल्पप्लॉट है। यह है कि कैसे बहुभिन्नरूपी आँकड़ों में शब्दावली की स्थापना की जाती है। (यदि मशीन सीखने में यह अलग है - मुझे नहीं पता कि - तब सीखने वालों के लिए यह बहुत बुरा है।)

— ttnphns

ध्यान दें कि दोनों वेक्टर रिक्त स्थान हैं: वैक्टर (= अंक) वह है जो स्पैन, कुल्हाड़ियों है जो दिशाओं और भालू के माप को परिभाषित करते हैं। बोली भी ध्यान दें: दोनों "रिक्त स्थान" वास्तव में एक ही स्थान हैं (केवल एक वर्तमान उद्देश्य के लिए अलग तरह से तैयार किए गए)। यह देखा जाता है, उदाहरण के लिए, इस उत्तर में अंतिम तस्वीर पर । जब आप दो योगों को ओवरले करते हैं तो आपको द्विप्लव या दोहरी स्थान मिलता है।

— tnnphns

My guess is that x1, x2, p1, p2 all lie on one ellipseयहाँ दीर्घवृत्त से विधिपूर्वक सहायता क्या हो सकती है? मुझे शक है।

— ttnphns 2

प्रश्न में प्रदर्शित सभी सारांश केवल उसके दूसरे क्षणों पर निर्भर करते हैं; या, समतुल्य रूप, मैट्रिक्स पर । क्योंकि हम के बारे में सोच रहे हैं एक के रूप में बिंदु बादल --each बिंदु की एक पंक्ति है --we क्या इन बातों पर सरल संक्रियाओं के गुणों को बनाए रखने के लिए कह सकता है । $\mathbf X$ $\mathbf{X^\prime X}$ $\mathbf X$ $\mathbf X$ $\mathbf{X^\prime X}$

एक को एक मैट्रिक्स द्वारा बाएँ से गुणा करना है, जो एक और मैट्रिक्स उत्पादन करेगा । इसके लिए काम करना जरूरी है $\mathbf X$ $n\times n$ $\mathbf U$ $n\times 2$ $\mathbf{UX}$

X^{'} X = (U X)^{'} U X = X^{'} (U^{'} U) X .

$\mathbf{X^\prime X} = \mathbf{(UX)^\prime UX} = \mathbf{X^\prime (U^\prime U) X}.$

समानता की गारंटी है जब है पहचान मैट्रिक्स: अर्थात, जब है ओर्थोगोनल । $\mathbf{U^\prime U}$ $n\times n$ $\mathbf{U}$

यह अच्छी तरह से जाना जाता है (और प्रदर्शित करना आसान है) कि ऑर्थोगोनल मेट्रिक्स यूक्लिडियन प्रतिबिंब और घुमाव के उत्पाद हैं (वे में प्रतिबिंब समूह बनाते हैं )। बारी बारी से बुद्धिमानी से चुनने पर, हम नाटकीय रूप से सरल बना सकते हैं । एक विचार उन घुमावों पर ध्यान केंद्रित करना है जो एक समय में क्लाउड में केवल दो बिंदुओं को प्रभावित करते हैं। ये विशेष रूप से सरल हैं, क्योंकि हम उनकी कल्पना कर सकते हैं। $\mathbb{R}^n$ $\mathbf{X}$

विशेष रूप से, चलो और क्लाउड में दो अलग-अलग नॉनज़ेरो पॉइंट्स हो सकते हैं, जिससे पंक्तियाँ और हैं । केवल इन दो बिंदुओं को प्रभावित करने वाले कॉलम स्पेस का एक रोटेशन उन्हें परिवर्तित करता है $(x_i, y_i)$ $(x_j, y_j)$ $i$ $j$ $\mathbf{X}$ $\mathbb{R}^n$

{\begin{cases} (x_{i}^{'}, y_{i}^{'}) = (\cos (θ) x_{i} + \sin (θ) x_{j}, \cos (θ) y_{i} + \sin (θ) y_{j}) \\ (x_{j}^{'}, y_{j}^{'}) = (- \sin (θ) x_{i} + \cos (θ) x_{j}, - \sin (θ) y_{i} + \cos (θ) y_{j}) . \end{cases}

$\cases{(x_i^\prime, y_i^\prime) = (\cos(\theta)x_i + \sin(\theta)x_j, \cos(\theta)y_i + \sin(\theta)y_j) \\ (x_j^\prime, y_j^\prime) = (-\sin(\theta)x_i + \cos(\theta)x_j, -\sin(\theta)y_i + \cos(\theta)y_j).}$

क्या यह मात्रा विमान में वैक्टर और को खींच रही है और कोण द्वारा उन्हें । (ध्यान दें कि कैसे निर्देशांक यहां मिलाया जाता है! का एक-दूसरे के साथ जाना और का एक साथ जाना। इस प्रकार, में इस घुमाव का प्रभाव आमतौर पर वैक्टर रोटेशन की तरह नहीं दिखेगा और $(x_i, x_j)$ $(y_i, y_j)$ $\theta$ $x$ $y$ $\mathbb{R}^n$ $(x_i, y_i)$ $(x_j, y_j)$ जैसा कि में तैयार किया गया है $\mathbb{R}^2$ ।)

केवल सही कोण चुनने से, हम इन नए घटकों में से किसी एक को शून्य कर सकते हैं। ठोस होने के लिए, के चुनने दें ताकि $\theta$

{\begin{cases} \cos (θ) = \pm \frac{x_{i}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \\ \sin (θ) = \pm \frac{x_{j}}{\sqrt{x_{i}^{2} + x_{j}^{2}}} \end{cases} .

$\cases{\cos(\theta) = \pm \frac{x_i}{\sqrt{x_i^2 + x_j^2}} \\ \sin(\theta) = \pm \frac{x_j}{\sqrt{x_i^2 + x_j^2}}}.$

इस बनाता है । बनाने के लिए राशि चुनें । चलो इस ऑपरेशन है, जो अंक में परिवर्तन फोन और बादल द्वारा प्रतिनिधित्व में , । $x_j^\prime=0$ $y_j^\prime \ge 0$ $i$ $j$ $\mathbf X$ $\gamma(i,j)$

रिकर्सिवली लागू करने के लिए का पहला स्तंभ का कारण होगा केवल पहली पंक्ति में अशून्य किया जाना है। ज्यामितीय रूप से, हमने अक्ष पर क्लाउड में सभी लेकिन एक बिंदु को स्थानांतरित कर दिया है। अब हम एक भी रोटेशन, संभवतः निर्देशांक शामिल आवेदन कर सकते हैं में , उन निचोड़ करने के लिए $\gamma(1,2), \gamma(1,3), \ldots, \gamma(1,n)$ $\mathbf{X}$ $\mathbf{X}$ $y$ $2, 3, \ldots, n$ $\mathbb{R}^n$ अंक एक बिंदु पर नीचे। समान रूप से, को ब्लॉक रूप में घटा दिया गया है $n-1$ $X$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & z \end{matrix}),

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ \mathbf{0} & \mathbf{z}},$

के साथ और दोनों कॉलम वैक्टर निर्देशांक के साथ, इस तरह से $\mathbf{0}$ $\mathbf{z}$ $n-1$

X^{'} X = (\begin{matrix} {(x_{1}^{'})}^{2} & x_{1}^{'} y_{1}^{'} \\ x_{1}^{'} y_{1}^{'} & {(y_{1}^{'})}^{2} + | | z | |^{2} \end{matrix}) .

$\mathbf{X^\prime X} = \pmatrix{\left(x_1^\prime\right)^2 & x_1^\prime y_1^\prime \\ x_1^\prime y_1^\prime & \left(y_1^\prime\right)^2 + ||\mathbf{z}||^2}.$

$\mathbf{X}$

X = (\begin{matrix} x_{1}^{'} & y_{1}^{'} \\ 0 & | | z | | \\ 0 & 0 \\ ⋮ & ⋮ \\ 0 & 0 \end{matrix}) .

$\mathbf{X} = \pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}|| \\ 0 & 0 \\ \vdots & \vdots \\ 0 & 0}.$

$\mathbf{X}$ $2\times 2$ $\pmatrix{x_1^\prime & y_1^\prime \\ 0 & ||\mathbf{z}||}$

समझाने के लिए, मैंने एक द्विभाजित सामान्य वितरण से चार आईआईडी बिंदुओं को आकर्षित किया और उनके मूल्यों को गोल किया

X = (\begin{matrix} 0.09 & 0.12 \\ - 0.31 & - 0.63 \\ 0.74 & - 0.23 \\ - 1.8 & - 0.39 \end{matrix})

$\mathbf{X} = \pmatrix{ 0.09 & 0.12 \\ -0.31 & -0.63 \\ 0.74 & -0.23 \\ -1.8 & -0.39}$

यह प्रारंभिक बिंदु बादल ठोस काले डॉट्स का उपयोग करते हुए अगले आंकड़े के बाईं ओर दिखाया गया है, जिसमें रंगीन तीर मूल से प्रत्येक बिंदु की ओर इशारा करते हैं (हमें वैक्टर के रूप में उन्हें कल्पना करने में मदद करने के लिए )।

$\gamma(1,2), \gamma(1,3),$ $\gamma(1,4)$ $y$ $\mathbf X$ $||\mathbf{z}||$ $(x_1^\prime, y_1^\prime)$

$\mathbf X$

\begin{matrix} (1) & θ \to (\cos (θ) x_{1}^{'}, \cos (θ) y_{1}^{'} + \sin (θ) | | z | |) \end{matrix}

$\theta\ \to\ (\cos(\theta)x_1^\prime, \cos(\theta) y_1^\prime + \sin(\theta)||\mathbf{z}||)\tag{1}$

जबकि दूसरा सदिश उसी मार्ग को बताता है

\begin{matrix} (2) & θ \to (- \sin (θ) x_{1}^{'}, - \sin (θ) y_{1}^{'} + \cos (θ) | | z | |) . \end{matrix}

$\theta\ \to\ (-\sin(\theta)x_1^\prime, -\sin(\theta) y_1^\prime + \cos(\theta)||\mathbf{z}||).\tag{2}$

We may avoid tedious algebra by noting that because this curve is the image of the set of points $\{(\cos(\theta), \sin(\theta))\,:\, 0 \le \theta\lt 2\pi\}$ under the linear transformation determined by

(1, 0) \to (x_{1}^{'}, 0); (0, 1) \to (y_{1}^{'}, | | z | |),

$(1,0)\ \to\ (x_1^\prime, 0);\quad (0,1)\ \to\ (y_1^\prime, ||\mathbf{z}||),$

it must be an ellipse. (Question 2 has now been fully answered.) Thus there will be four critical values of $\theta$ in the parameterization $(1)$ , of which two correspond to the ends of the major axis and two correspond to the ends of the minor axis; and it immediately follows that simultaneously $(2)$ gives the ends of the minor axis and major axis, respectively. If we choose such a $\theta$ , the corresponding points in the point cloud will be located at the ends of the principal axes, like this:

Because these are orthogonal and are directed along the axes of the ellipse, they correctly depict the principal axes: the PCA solution. That answers Question 1.

The analysis given here complements that of my answer at Bottom to top explanation of the Mahalanobis distance. There, by examining rotations and rescalings in $\mathbb{R}^2$ , I explained how any point cloud in $p=2$ dimensions geometrically determines a natural coordinate system for $\mathbb{R}^2$ . Here, I have shown how it geometrically determines an ellipse which is the image of a circle under a linear transformation. This ellipse is, of course, an isocontour of constant Mahalanobis distance.

Another thing accomplished by this analysis is to display an intimate connection between QR decomposition (of a rectangular matrix) and the Singular Value Decomposition, or SVD. The $\gamma(i,j)$ are known as Givens rotations. Their composition constitutes the orthogonal, or " $Q$ ", part of the QR decomposition. What remained--the reduced form of $\mathbf{X}$ --is the upper triangular, or " $R$ " part of the QR decomposition. At the same time, the rotation and rescalings (described as relabelings of the coordinates in the other post) constitute the $\mathbf{D}\cdot \mathbf{V}^\prime$ part of the SVD, $\mathbf{X} = \mathbf{U\, D\, V^\prime}$ . The rows of $\mathbf{U}$ , incidentally, form the point cloud displayed in the last figure of that post.

Finally, the analysis presented here generalizes in obvious ways to the cases $p\ne 2$ : that is, when there are just one or more than two principal components.

— whuber
स्रोत

Though your answer may be exemplary on it own it is unclear - to me - how it relates to the question. You are speaking throughout about the data cloud X (and vectors you rotate are data points, rows of X). But the question was about the reduced subject space. In other words, we don't have any data X, we have only 2x2 covariance or scatter matrix X'X.

— ttnphns

(cont.) We represent the 2 variables summarized by it as 2 vectors with lengths = sqrt(diagonal elements) and angle = their correlation. Then the OP askes how can we purely geometrically solve for the principal components. In other words, OP wants to explain geometrically eigendecomposition (eigenvalues & eigenvectors or, better, loadings) of 2x2 symmetric covariance matrix.

— ttnphns

(cont.) Please look on the second picture there. What the OP of the current question seeks for is to find geometric (trigonometric etc) tools or tricks to draw the vectors P1 and P2 on that pic, having only vectors X and Y as given.

— ttnphns

@ttnphns. It doesn't matter what the starting point is: the first half of this answer shows that you can reduce any point cloud

X

$\mathbf{X}$ to a pair of points which contain all the information about $\mathbf{X^\prime X}$ . The second half demonstrates that pair of points is not unique, but nevertheless each lies on the same ellipse. It gives an explicit construction of that ellipse beginning with any two-point representation of

X^{'} X

$\mathbf{X^\prime X}$ (such as the pair of blue vectors shown in the question). Its major and minor axes yield the PCA solution (the red vectors).

— whuber

Thanks, I'm beginning to understand your thought. (I wish you added subtitles / synopsis right in your answer about the two "halves" of it, just to structure it for a reader.)

— ttnphns