RSS को chi square times np क्यों वितरित किया जाता है?

मैं यह समझना चाहूंगा कि क्यों, OLS मॉडल के तहत, RSS (वर्गों का अवशिष्ट योग) वितरित किया जाता है ( मॉडल में मापदंडों की संख्या होने के नाते, टिप्पणियों की संख्या)।

χ^{2} \cdot (n - p)

$\chi^2\cdot (n-p)$

p

$p$

n

$n$

मैं इस तरह के एक बुनियादी सवाल पूछने के लिए माफी चाहता हूं, लेकिन मुझे लगता है कि इसका जवाब ऑनलाइन (या मेरे लिए, अधिक एप्लिकेशन उन्मुख, पाठ्यपुस्तकों) में नहीं मिल रहा है।

regression distributions least-squares

— ताल गलिली
स्रोत

ध्यान दें कि उत्तर प्रदर्शित करना काफी सही नहीं है: RSS का वितरण is ( ) बार a वितरण जहां त्रुटियों का सही रूपांतर है।

σ^{2}

$\sigma^2$

n - p

$n-p$

χ^{2} (n - p)

$\chi^2(n-p)$

σ^{2}

$\sigma^2$

— whuber

जवाबों:

मैं निम्नलिखित रैखिक मॉडल पर विचार करता हूं: । ${y} = X \beta + \epsilon$

अवशिष्ट के सदिश द्वारा अनुमान लगाया जाता है

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon$

जहाँ । $Q = I - X (X'X)^{-1} X'$

उस (चक्रीय क्रमचय के तहत ट्रेस अपरिवर्तनीय है निरीक्षण करें और वह । eigenvalues इसलिए और (नीचे कुछ विवरण) हैं। इसलिए, एक एकात्मक मैट्रिक्स मौजूद है जैसे कि ( यदि वे सामान्य हैं तो केवल एकतरफा मेट्रिसेस द्वारा मैट्रिक्स विकर्ण होते हैं। ) $\textrm{tr}(Q) = n - p$ $Q'=Q=Q^2$ $Q$ $0$ $1$ $V$

V^{'} Q V = Δ = diag (\underset{n - p times}{\underset{⏟}{1, \dots, 1}}, \underset{p times}{\underset{⏟}{0, \dots, 0}})

$V'QV = \Delta = \textrm{diag}(\underbrace{1, \ldots, 1}_{n-p \textrm{ times}}, \underbrace{0, \ldots, 0}_{p \textrm{ times}})$

अब, । $K = V' \hat{\epsilon}$

चूंकि , हमारे पास और इसलिए । इस प्रकार $\hat{\epsilon} \sim N(0, \sigma^2 Q)$ $K \sim N(0, \sigma^2 \Delta)$ $K_{n-p+1}=\ldots=K_n=0$

\frac{‖ K ‖^{2}}{σ^{2}} = \frac{‖ K^{⋆} ‖^{2}}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\|K\|^2}{\sigma^2} = \frac{\|K^{\star}\|^2}{\sigma^2} \sim \chi^2_{n-p}$

साथ । $K^{\star} = (K_1, \ldots, K_{n-p})'$

इसके अलावा, एक एकात्मक मैट्रिक्स है, हमारे पास भी है $V$

‖ \hat{ϵ} ‖^{2} = ‖ K ‖^{2} = ‖ K^{⋆} ‖^{2}

$\|\hat{\epsilon}\|^2 = \|K\|^2=\|K^{\star}\|^2$

इस प्रकार

\frac{RSS}{σ^{2}} \sim χ_{n - p}^{2}

$\frac{\textrm{RSS}}{\sigma^2} \sim \chi^2_{n-p}$

अंत में, देखें कि इस परिणाम का अर्थ है कि

E (\frac{RSS}{n - p}) = σ^{2}

$E\left(\frac{\textrm{RSS}}{n-p}\right) = \sigma^2$

चूंकि , कम से कम बहुपद की बहुपद बांटता । तो, के eigenvalues और बीच हैं । चूँकि उनकी गुणन द्वारा गुणा किए गए प्रतिजन योगों का योग भी है, इसलिए हमारे पास आवश्यक है कि गुणन साथ एक eigenvalue है और गुणन साथ शून्य एक eigenvalue है । $Q^2 - Q =0$ $Q$ $z^2 - z$ $Q$ $0$ $1$ $\textrm{tr}(Q) = n-p$ $1$ $n-p$ $p$

— ocram
स्रोत

(+1) अच्छा जवाब। एक एकात्मक, के बजाय, ओर्थोगोनल पर ध्यान सीमित कर सकते हैं के बाद से वास्तविक और सममित है। इसके अलावा, क्या है ? मैं इसे परिभाषित नहीं देखता हूं। तर्क को थोड़ा रिजेक्ट करने से, व्यक्ति सामान्य रूप से पतित होने के इस्तेमाल से भी बच सकता है, अगर ऐसा न हो तो इससे कुछ लोग परेशान होते हैं।

V

$V$

Q

$Q$

S C R

$\mathrm{SCR}$

— कार्डिनल

@Cardinal। अच्छी बात। SCR ('Somme des Carrés Résiduels' फ्रेंच में) RSS होना चाहिए था।

— ओकराम

विस्तृत उत्तर के लिए धन्यवाद Ocram! कुछ चरणों के लिए मुझे और अधिक देखने की आवश्यकता होगी, लेकिन मेरे पास अब सोचने के लिए एक रूपरेखा है - धन्यवाद!

— ताल गलिली

@ गलेन_ बी: ओह, मैंने एससीआर को एसआरआर में बदलने के लिए कुछ दिनों पहले एक एडिट किया था। मुझे याद नहीं आया कि मेरी टिप्पणी में एससीआर का उल्लेख है। गलतफहमी के लिए खेद है।

— ओकराम

@ गलेन_ बी: इसका मतलब आरएसएस से था: -एस एडिटेड। Thx

— ओकराम

IMHO, मैट्रिकियल नोटेशन चीजों को जटिल करता है। शुद्ध वेक्टर अंतरिक्ष भाषा क्लीनर है। मॉडल को लिखा जा सकता है जहां का मानक सामान्य डिस्ट्रीब्यूशन on और को माना जाता है कि यह एक वेक्टर उप-वर्ग उप- । $Y=X\beta+\epsilon$ $\boxed{Y=\mu + \sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W \subset \mathbb{R}^n$

अब प्राथमिक ज्यामिति की भाषा चलन में आ गई है। कम से कम वर्गों आकलनकर्ता की के अलावा कुछ नहीं है : नमूदार के orthogonal प्रक्षेपण स्थान पर जो करने के लिए माना जाता है संबंध रखते हैं। अवशिष्टों का सदिश : ऑर्थोगोनल पूरक of में प्रक्षेपण । का आयाम । $\hat\mu$ $\mu$ $P_WY$ $Y$ $W$ $\mu$ $P^\perp_WY$ $W^\perp$ $W$ $\mathbb{R^n}$ $W^\perp$ $\dim(W^\perp)=n-\dim(W)$

अंत में, और का पर मानक सामान्य वितरण है , इसलिए इसके चुकता मानदंड हैं। के साथ वितरण स्वतंत्रता की डिग्री।

P_{W}^{⊥} Y = P_{W}^{⊥} (μ + σ G) = 0 + σ P_{W}^{⊥} G,

$P^\perp_WY = P^\perp_W(\mu + \sigma G) = 0 + \sigma P^\perp_WG,$

P_{W}^{⊥} G

$P^\perp_WG$

W^{⊥}

$W^\perp$

χ^{2}

$\chi^2$

\dim (W^{⊥})

$\dim(W^\perp)$

यह प्रदर्शन केवल एक प्रमेय का उपयोग करता है, वास्तव में एक परिभाषा-प्रमेय:

परिभाषा और प्रमेय । में एक यादृच्छिक वेक्टर एक वेक्टर अंतरिक्ष पर मानक सामान्य वितरण है अगर यह में इसके मान लेता है और इसके निर्देशांक एक ( सभी में) में आधारभूत है के स्वतंत्र एक आयामी मानक सामान्य वितरण कर रहे हैं $\mathbb{R}^n$ $U \subset \mathbb{R}^n$ $U$ $\iff$ $U$

(इस परिभाषा-प्रमेय से, कोचरन की प्रमेय इतनी स्पष्ट है कि यह इसके लायक नहीं है)

— स्टीफन लॉरेंट
स्रोत