क्यों का पता लगाने

Question

मॉडल , हम सामान्य समीकरण का उपयोग करके का अनुमान लगा सकते हैं${y} = X \beta + \epsilon$$\beta$

$$\hat{\beta} = (X'X)^{-1}X'y,$$ और हम $$\hat{y} = X \hat{\beta}.$$

अवशिष्ट के सदिश द्वारा अनुमान लगाया जाता है

$$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$$

जहाँ

$$Q = I - X (X'X)^{-1} X'.$$

मेरा प्रश्न यह है कि का निष्कर्ष कैसे निकाला जाए

$$\textrm{tr}(Q) = n - p.$$

Answer 1

निष्कर्ष केवल वेक्टर रिक्त स्थान के आयामों को गिनाता है। हालांकि, यह आम तौर पर सच नहीं है।

मैट्रिक्स गुणन के सबसे मूल गुण यह दर्शाते हैं कि मैट्रिक्स द्वारा दर्शाए गए रेखीय परिवर्तन संतुष्ट करते हैं$\mathbb{H}=X(X^\prime X)^{-}X^\prime$

$$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$$

इसे एक प्रक्षेपण संचालक के रूप में प्रदर्शित करना । इसलिए इसका पूरक है

$$\mathbb{Q} = 1 - \mathbb{H}$$

(जैसा कि प्रश्न में दिया गया है) एक प्रक्षेपण ऑपरेटर भी है। का ट्रेस इसकी रैंक (नीचे देखें) है, जहां के ट्रेस को बराबर किया जाता है ।$\mathbb{H}$$h$$\mathbb{Q}$$n-h$

इसके बहुत सूत्र से यह स्पष्ट होता है कि दो रेखीय परिवर्तनों की संरचना से जुड़ा मैट्रिक्स है और स्वयं। पहला ( ) -vector को -vector में रूपांतरित करता है । दूसरा ( ) से एक परिवर्तन है करने के लिए द्वारा दिए गए । इसकी रैंक उन दो आयामों से अधिक नहीं हो सकती है, जो कम से कम वर्गों में सेटिंग हमेशा (लेकिन से कम हो सकती है$\mathbb{H}$

$$\mathbb{J}=(X^\prime X)^{-}X^\prime$$ $X$$\mathbb{J}$$n$$y$$p$$\hat\beta$$X$$\mathbb{R}^p$$\mathbb{R}^n$$\hat y = X\hat \beta$$p$$p$, जब भी पूरी रैंक का नहीं होता)। नतीजतन रचना की रैंक के रैंक से अधिक नहीं हो सकती । सही निष्कर्ष , तब है$\mathbb{J}$$\mathbb{H}=X\mathbb{J}$$X$

$\text{tr} (\mathbb{Q}) = n-p$ अगर और केवल if पूर्ण रैंक का है; और सामान्य रूप से । पूर्व मामले में मॉडल को "पहचान योग्य" ( के गुणांक के लिए ) कहा जाता है।$\mathbb{J}$$n \ge \text{tr} (\mathbb{Q}) \ge n-p$$\beta$

$\mathbb{J}$ पूर्ण रैंक का होगा यदि और केवल अगर Prime उल्टा है।$X^\prime X$

---

ज्यामितीय व्याख्या

$\mathbb{H}$ कॉलम ("स्वतंत्र चर" या "सहसंयोजक") का प्रतिनिधित्व करने वाले स्थान पर -ctors ( or "प्रतिक्रिया" या "निर्भर चर" का प्रतिनिधित्व करते हुए से ऑर्थोगोनल प्रक्षेपण का प्रतिनिधित्व करता है । अंतर दिखाता है कि किसी भी -vector को वैक्टर योग में कैसे विघटित किया जाता है कहां पहला से "पूर्वानुमानित" हो सकता है और दूसरा इसके लिए लंबवत है। जब के कॉलम एक -डायमेंशनल स्पेस उत्पन्न करते हैं (जो कि कोलियर नहीं हैं),$n$$y$$X$$\mathbb{Q}=1-\mathbb{H}$$n$$y$

$$y = \mathbb{H}(y) + \mathbb{Q}(y),$$ $X$$p$$X$$p$$\mathbb{H}$ is $p$ and the rank of $\mathbb{Q}$ is $n-p$, reflecting the $n-p$ additional dimensions of variation in the response that are not represented within the independent variables. The trace gives an algebraic formula for these dimensions.

---

Linear Algebra Background

A projection operator on a vector space $V$ (such as $\mathbb{R}^n$) is a linear transformation $\mathbb{P}:V\to V$ (that is, an endomorphism of $V$) such that $\mathbb{P}^2=\mathbb{P}$. This makes its complement $\mathbb{Q}=1-\mathbb{P}$ a projection operator, too, because

$$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$$

All projections fix every element of their images, for whenever $v\in \text{Im}(\mathbb{P})$ we may write $v = \mathbb{P}(w)$ for some $w\in V$, whence

$$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$$

Associated with any endomorphism $\mathbb{P}$ of $V$ are two subspaces: its kernel

$$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$$ and its image $$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$$ Every vector $v\in V$ can be written in the form $$v = w+u$$ where $w\in \text{Im}(\mathbb{P})$ and $u\in \text{Ker}(\mathbb{P})$. We may therefore construct a basis $E \cup F$ for $V$ for which $E \subset \text{Ker}(\mathbb{P})$ and $F \subset \text{Im}(\mathbb{P})$. When $V$ is finite-dimensional, the matrix of $\mathbb{P}$ in this basis will therefore be in block-diagonal form, with one block (corresponding to the action of $\mathbb{P}$ on $E$) all zeros and the other (corresponding to the action of $\mathbb{P}$ on $F$) equal to the $f$ by $f$ identity matrix, where the dimension of $F$ is $f$. The trace of $\mathbb{P}$ is the sum of the values on the diagonal and therefore must equal $f\times 1 = f$. This number is the rank of $\mathbb{P}$: the dimension of its image.

The trace of $1-\mathbb{P}$ equals the trace of $1$ (equal to $n$, the dimension of $V$) minus the trace of $\mathbb{P}$.

These results may be summarized with the assertion that the trace of a projection equals its rank.

Comments

Thanks very much. I learned a lot extended knowledge from your answer.

— zhushun0008

Answer 2

@Dougal has already given an answer, but here is another one, a bit simpler.

First, let's use the fact that $\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$. So, we get:

$$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$$ Now $I$ is an $n \times n$ identity matrix, so $\tr(I) = n$. Now let's use the fact that $\tr(AB) = \tr(BA)$, that is, the trace is invariant under cyclic permutations. So, we have: $$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$$ When we multiply $(X'X)^{-1}$ with $(X'X)$, we get a $p \times p$ identity matrix, whose trace is $p$. So, we get: $$\tr(Q) = n - p.$$

Answer 3

$\newcommand\R{\mathbb R}$Assume that $n \le p$ and that $X$ is full-rank.

Consider the compact singular value decomposition $X = U \Sigma V^T$, where $\Sigma \in \R^{p \times p}$ is diagonal and $U \in \R^{n \times p}, V \in \R^{p \times p}$ have $U^T U = V^T V = V V^T = I_p$ (but note $U U^T$ is rank at most $p$ so it cannot be $I_n$). Then

$$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$$

Now, there exists a matrix $U_2 \in \R^{n \times n-p}$ such that $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$ is unitary. We can write

$$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$$ This form shows that $Q$ is positive semidefinite, and since it is a valid svd and the singular values are the square of the eigenvalues for a square symmetric matrix, also tells us that $Q$ has eigenvalues 1 (of multiplicity $n-p$) and 0 (of multiplicity $p$). Thus the trace of $Q$ is $n-p$.