जब नमूना आकार चरों की संख्या से कम होता है तो एक नमूना सहसंयोजक मैट्रिक्स विलक्षण क्यों होता है?

Question

चलो कहते हैं कि मैं एक है आयामी मल्टीवेरिएट गाऊसी वितरण। और मैं इस वितरण से अवलोकन (उनमें से प्रत्येक एक ट्रैक्टर) लेता हूं और नमूना सहसंयोजक मैट्रिक्स गणना करता हूं । इस पत्र में , लेखक बताते हैं कि साथ गणना की गई नमूना सहसंयोजक मैट्रिक्स विलक्षण है।एन पी $p$$n$$p$$S$$p > n$

• यह कैसे सच या व्युत्पन्न है?
• कोई स्पष्टीकरण?

Comments

ध्यान दें कि यह अंतर्निहित वितरण से स्वतंत्र है: इसे गाऊसी होने की आवश्यकता नहीं है।

— अमीबा का कहना है कि मोनिका

Answer 1

मैट्रिक्स रैंक के बारे में कुछ तथ्य, बिना प्रमाण के प्रस्तुत किए गए (लेकिन सभी या लगभग सभी के प्रमाण या तो मानक रैखिक बीजगणित ग्रंथों में दिए जाने चाहिए, या कुछ मामलों में ऐसा करने में सक्षम होने के लिए पर्याप्त जानकारी देने के बाद अभ्यास के रूप में सेट किया गया है):

यदि और B दो अभिप्रेरित मैट्रिक्स हैं, तो:$A$$B$

(i) के स्तंभ रैंक = की पंक्ति रैंक $A$$A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) यदि पूर्ण रैंक का वर्ग मैट्रिक्स है, तो रैंक ( A B ) = रैंक ( A $B$$\text{rank}(AB) = \text{rank}(A)$

नमूना डेटा के मैट्रिक्स पर विचार करें , y । ऊपर से, y की रैंक सबसे अधिक न्यूनतम ( n , p ) पर है ।$n\times p$$y$$y$$\min(n,p)$

इसके अलावा, ऊपर से स्पष्ट रूप से की रैंक y की रैंक से बड़ी नहीं होगी ( मैट्रिक्स के रूप में S की गणना पर विचार करके , शायद कुछ सरलीकरण के साथ)।$S$$y$$S$

यदि तब रैंक ( y ) < p जिस स्थिति में रैंक ( S ) < p है ।$n<p$$\text{rank}(y)<p$$\text{rank}(S)<p$

Comments

अच्छा जवाब! हालांकि यह पूरी तरह से स्पष्ट नहीं है कि ए और बी से y और S कैसे संबंधित हैं?

— मतिफौ

S की गणना y से की जाती है; (मूल पद में "x")। आप y और इस पर किए गए हेरफेर के तथ्यों का उपयोग कर सकते हैं (उपरोक्त नियमों के माध्यम से) एस के रैंक पर एक बाध्य होने के लिए ए और बी द्वारा निभाई गई भूमिकाएं चरण-दर-चरण बदलती हैं।

— Glen_b -Reinstate मोनिका

Answer 2

अपने प्रश्न का संक्षिप्त उत्तर है कि रैंक है । इसलिए यदि p > n , तो S एकवचन है।$(S) \le n - 1$$p > n$$S$

अधिक विस्तृत उत्तर के लिए, याद रखें कि (निष्पक्ष) नमूना सहसंयोजक मैट्रिक्स के रूप में लिखा जा सकता है

$$S = \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})(x_i - \bar{x})^T.$$

प्रभावी ढंग से, हम संक्षेप रहे हैं मैट्रिक्स, प्रत्येक 1. टिप्पणियों मान लिया जाये की एक रैंक रैखिक स्वतंत्र हैं, कुछ अर्थों में प्रत्येक अवलोकन x मैं पद के लिए 1 योगदान देता है ( एस ) , और एक 1 (यदि पद से घटाया जाता है पी > n ) क्योंकि हम प्रत्येक अवलोकन को । x द्वारा केन्द्रित करते हैं । हालाँकि, यदि बहुकोशिकीय टिप्पणियों में मौजूद है, तो रैंक ( एस ) को कम किया जा सकता है, जो बताता है कि रैंक n - 1 से कम क्यों हो सकती है ।$n$$x_i$$(S)$$p > n$$\bar{x}$$(S)$$n - 1$

इस समस्या का अध्ययन करने के लिए बड़ी मात्रा में काम किया गया है। उदाहरण के लिए, मेरा और मैं एक साथी ने लिखा एक कागज इस एक ही विषय है, जहाँ हम आगे बढ़ने के लिए कैसे करता है, तो निर्धारित करने में रुचि रखते थे पर जब करने के लिए लागू विलक्षण है विभेदक विश्लेषण रैखिक में पी » n सेटिंग।$S$$p \gg n$

Comments

क्या आप कृपया विस्तार से बता सकते हैं कि 1 को घटाया$\bar x$ क्यों जाता है क्योंकि हम प्रत्येक अवलोकन को ate x द्वारा केन्द्रित करते हैं ?

— एवोकैडो

@loganecolss: See Why is the rank of covariance matrix at most $n−1$? for an answer to your question.

— amoeba says Reinstate Monica

Nice answer! Maybe could just add an explanation/link for the fact the statement we are summing 𝑛 matrices, each having a rank of 1? Thanks!

— Matifou

Answer 3

When you look at the situation the right way, the conclusion is intuitively obvious and immediate.

This post offers two demonstrations. The first, immediately below, is in words. It is equivalent to a simple drawing, appearing at the very end. In between is an explanation of what the words and the drawing mean.

---

The covariance matrix for $n$ $p$-variate observations is a $p\times p$ matrix computed by left-multiplying a matrix $\mathbb{X}_{np}$ (the recentered data) by its transpose $\mathbb{X}_{pn}^\prime$. This product of matrices sends vectors through a pipeline of vector spaces in which the dimensions are $p$ and $n$. Consequently the covariance matrix, qua linear transformation, will send $\mathbb{R}^n$ into a subspace whose dimension is at most $\min(p,n)$. It is immediate that the rank of the covariance matrix is no greater than $\min(p,n)$. Consequently, if $p\gt n$ then the rank is at most $n$, which--being strictly less than $p$--means the covariance matrix is singular.

All this terminology is fully explained in the remainder of this post.

(As Amoeba kindly pointed out in a now-deleted comment, and shows in an answer to a related question, the image of $\mathbb X$ actually lies in a codimension-one subspace of $\mathbb{R}^n$ (consisting of vectors whose components sum to zero) because its columns have all been recentered at zero. Therefore the rank of the sample covariance matrix $\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$ cannot exceed $n-1$.)

---

Linear algebra is all about tracking dimensions of vector spaces. You only need to appreciate a few fundamental concepts to have a deep intuition for assertions about rank and singularity:

1. Matrix multiplication represents linear transformations of vectors. An $m\times n$ matrix $\mathbb{M}$ represents a linear transformation from an $n$-dimensional space $V^n$ to an $m$-dimensional space $V^m$. Specifically, it sends any $x\in V^n$ to $\mathbb{M}x = y \in V^m$. That this is a linear transformation follows immediately from the definition of linear transformation and basic arithmetical properties of matrix multiplication.

2. Linear transformations can never increase dimensions. This means that the image of the entire vector space $V^n$ under the transformation $\mathbb M$ (which is a sub-vector space of $V^m$) can have a dimension no greater than $n$. This is an (easy) theorem that follows from the definition of dimension.

3. The dimension of any sub-vector space cannot exceed that of the space in which it lies. This is a theorem, but again it is obvious and easy to prove.

4. The rank of a linear transformation is the dimension of its image. The rank of a matrix is the rank of the linear transformation it represents. These are definitions.

5. A singular matrix $\mathbb{M}_{mn}$ has rank strictly less than $n$ (the dimension of its domain). In other words, its image has a smaller dimension. This is a definition.

To develop intuition, it helps to see the dimensions. I will therefore write the dimensions of all vectors and matrices immediately after them, as in $\mathbb{M}_{mn}$ and $x_n$. Thus the generic formula

$$y_m = \mathbb{M}_{mn} x_n$$

$m\times n$$\mathbb M$$n$$x$$m$$y$

$y_a$$a$$\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$ and $\mathbb{A}_{ab}$ to the $n$-vector $x_n$ coming from the space $V^n$. This takes the vector $x_n$ successively through a set of vector spaces of dimensions $m, l, \ldots, c, b,$ and finally $a$.

Look for the bottleneck: because dimensions cannot increase (point 2) and subspaces cannot have dimensions larger than the spaces in which they lie (point 3), it follows that the dimension of the image of $V^n$ cannot exceed the smallest dimension $\min(a,b,c,\ldots,l,m,n)$ encountered in the pipeline.

---

This diagram of the pipeline, then, fully proves the result when it is applied to the product $\mathbb{X}^\prime \mathbb{X}$: