रैखिक प्रतिगमन के लिए टी-टेस्ट को समझना

17

मैं एक लीनियर रिग्रेशन पर कुछ परिकल्पना परीक्षण करने के लिए काम करने की कोशिश कर रहा हूं (अशक्त परिकल्पना कोई संबंध नहीं है)। मैं जिस विषय पर चलता हूं, उस पर हर गाइड और पेज टी-टेस्ट का उपयोग करता हुआ प्रतीत होता है। लेकिन मुझे समझ में नहीं आता है कि रेखीय प्रतिगमन के लिए टी-टेस्ट वास्तव में क्या मतलब है। एक टी-टेस्ट, जब तक कि मेरे पास पूरी तरह से गलत समझ या मानसिक मॉडल नहीं है, का उपयोग दो आबादी की तुलना करने के लिए किया जाता है। लेकिन प्रतिगामी और प्रतिगामी समान आबादी के नमूने नहीं हैं, और शायद एक ही इकाई के भी नहीं हो सकते हैं, इसलिए उनकी तुलना करने का कोई मतलब नहीं है।

तो, एक रैखिक प्रतिगमन पर एक टी-टेस्ट का उपयोग करते समय, यह क्या है जो हम वास्तव में कर रहे हैं?

regression t-test

— jaymmer - मोनिका को बहाल करें
स्रोत

37

आप शायद दो सैंपल $t$ टेस्ट के बारे में सोच रहे हैं, क्योंकि अक्सर $t$ वितरण सबसे पहले स्थान पर आता है। लेकिन वास्तव में सभी $t$ टेस्ट का मतलब है कि टेस्ट स्टेटिस्टिक के लिए रेफरेंस डिस्ट्रीब्यूशन एक $t$ डिस्ट्रीब्यूशन है। अगर $Z \sim \mathcal N(0,1)$ और $S^2 \sim \chi^2_d$ के साथ $Z$ और $S^2$ स्वतंत्र, तो

\frac{Z}{\sqrt{S^{2} / d}} \sim t_{d}

$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$ परिभाषा के द्वारा। मैं इस बात पर जोर देने के लिए लिख रहा हूं कि

t

$t$ वितरण सिर्फ एक नाम है जो इस अनुपात के वितरण को दिया गया था क्योंकि यह बहुत ऊपर आता है, और इस फॉर्म के कुछ भी

t

$t$ वितरण होगा। दो नमूना टी परीक्षण के लिए, इस अनुपात में प्रकट होता है क्योंकि अशक्त तहत साधन में अंतर एक शून्य मतलब गाऊसी और स्वतंत्र Gaussians के लिए विचरण अनुमान एक स्वतंत्र है

χ^{2}

$\chi^2$ (स्वतंत्रता के माध्यम से दिखाया जा सकता हैबसु की प्रमेय जो इस तथ्य का उपयोग करता है कि गाऊसी नमूने में मानक भिन्नता का अनुमान जनसंख्या के अर्थ के लिए सहायक है, जबकि नमूना का मतलब पूर्ण और उसी मात्रा के लिए पर्याप्त है)।

रैखिक प्रतिगमन के साथ हम मूल रूप से एक ही चीज प्राप्त करते हैं। वेक्टर रूप $\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$ । चलो $S^2_j = (X^T X)^{-1}_{jj}$ और भविष्यवक्ताओं मान $X$ गैर यादृच्छिक कर रहे हैं। अगर हम जानते थे कि $\sigma^2$ हम होगा

\frac{{\hat{β}}_{j} - 0}{σ S_{j}} \sim N (0, 1)

$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$ अशक्त के तहत

H_{0} : β_{j} = 0

$H_0 : \beta_j = 0$ तो हम वास्तव में एक जेड परीक्षण होगा। लेकिन एक बार हम अनुमान

σ^{2}

$\sigma^2$ हम एक साथ अंत

χ^{2}

$\chi^2$ यादृच्छिक चर कि, हमारे सामान्य मान्यताओं के तहत, पता चला है हमारे आंकड़े के स्वतंत्र होने के लिए

और फिर हम एक मिल

वितरण।

{\hat{β}}_{j}

$\hat \beta_j$

t

$t$

यहाँ इस बात का विवरण दिया गया है: मान । दे होना टोपी मैट्रिक्स हमारे पास बेकार है इसलिए हमारे पास वास्तव में अच्छा परिणाम है $y \sim \mathcal N(X\beta, \sigma^2 I)$ $H = X(X^TX)^{-1}X^T$

‖ e ‖^{2} = ‖ (I - H) y ‖^{2} = y^{T} (I - H) y .

$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$

H

$H$

के साथ गैर केन्द्रीयता पैरामीटर

है, तो वास्तव में यह एक महत्वपूर्ण है

के साथ

y^{T} (I - H) y / σ^{2} \sim χ_{n - p}^{2} (δ)

$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$

δ = β^{T} X^{T} (I - H) X β = β^{T} (X^{T} X - X^{T} X) β = 0

$\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$

χ^{2}

$\chi^2$

n - p

$n-p$ स्वतंत्रता की डिग्री (यह कोचरन के प्रमेय का एक विशेष मामला है )। मैं

के कॉलम की संख्या को दर्शाने के लिए

का उपयोग कर रहा हूं , इसलिए यदि

का एक कॉलम इंटरसेप्ट देता है तो हमारे पास

नॉन-इंटरसेप्ट प्रेडिक्टर होगा। कुछ लेखक

का उपयोग गैर-अवरोधक भविष्यवाणियों की संख्या के रूप में करते हैं, इसलिए कभी-कभी आप वहां स्वतंत्रता की डिग्री में

जैसा कुछ देख सकते हैं , लेकिन यह सब एक ही बात है।

p

$p$

X

$X$

X

$X$

p - 1

$p-1$

p

$p$

n - p - 1

$n-p-1$

इसी का परिणाम है कि , तो $E(e^Te / \sigma^2) = n-p$ काम करता है की एक आकलनकर्ता के रूप में महान। $\hat \sigma^2 := \frac{1}{n-p} e^T e$ $\sigma^2$

इसका मतलब है कि एक मानक गाऊसी का अनुपात है, जो अपनी स्वतंत्रता की डिग्री से विभाजित ची वर्ग के लिए है। इसे समाप्त करने के लिए, हमें स्वतंत्रता दिखाने की आवश्यकता है और हम निम्नलिखित परिणाम का उपयोग कर सकते हैं:

\frac{{\hat{β}}_{j}}{\hat{σ} S_{j}} = \frac{{\hat{β}}_{j}}{S_{j} \sqrt{e^{T} e / (n - p)}} = \frac{{\hat{β}}_{j}}{σ S_{j} \sqrt{\frac{e^{T} e}{σ^{2} (n - p)}}}

$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$

परिणाम: के लिए और matrices और में $Z \sim \mathcal N_k(\mu, \Sigma)$ $A$ $B$ और क्रमश:औरहैं स्वतंत्र यदि और केवल यदि(इस अभ्यास है 58 (जून)जून शाओ के गणितीय सांख्यिकी केअध्याय 1 में। $\mathbb R^{l\times k}$ $\mathbb R^{m\times k}$ $AZ$ $BZ$ $A\Sigma B^T = 0$

हम और जहां । इस का मतलब है $\hat \beta = (X^TX)^{-1}X^T y$ $e = (I-H)y$ $y \sim \mathcal N(X\beta, \sigma^2 I)$ तो, और इसलिए।

(X^{T} X)^{- 1} X^{T} \cdot σ^{2} I \cdot (I - H)^{T} = σ^{2} ((X^{T} X)^{- 1} X^{T} - (X^{T} X)^{- 1} X^{T} X (X^{T} X)^{- 1} X^{T}) = 0

$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$

\hat{β} ⊥ e

$\hat \beta \perp e$

\hat{β} ⊥ e^{T} e

$\hat \beta \perp e^T e$

नतीजा यह है अब हम जानते हैं है वांछित के रूप में (ऊपर मान्यताओं के सभी के तहत)।

\frac{{\hat{β}}_{j}}{\hat{σ} S_{j}} \sim t_{n - p}

$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$

यहाँ उस परिणाम का प्रमाण है। चलो होमैट्रिक्स stacking द्वारा गठितकी चोटी पर। फिर $C = {A \choose B}$ $(l+m)\times k$ $A$ $B$ जहां

C Z = (\binom{A Z}{B Z}) \sim N ((\binom{A μ}{B μ}), C Σ C^{T})

$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$

बहुविविध गाऊसी है और यह एक अच्छी तरह से ज्ञात नतीजा यह है कि एक मल्टीवेरिएट गाऊसी के दो घटक स्वतंत्र हैं तभी अगर वे uncorrelated हैं, तो हालत

पता चला है कि वास्तव में घटकों के बराबर होने का

और

C Σ C^{T} = (\binom{A}{B}) Σ (\begin{array}{cc} A^{T} & B^{T} \end{array}) = (\begin{array}{cc} A Σ A^{T} & A Σ B^{T} \\ B Σ A^{T} & B Σ B^{T} \end{array}) .

$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$

C Z

$CZ$

A Σ B^{T} = 0

$A\Sigma B^T = 0$

A Z

$AZ$

B Z

$BZ$

C Z

$CZ$

$\square$

— जेएलडी
स्रोत

3

+1 हमेशा अपने उत्तर को पढ़ने का आनंद लें।

— Haitao Du

9

@ चाकोने का जवाब बहुत अच्छा है। लेकिन यहाँ एक बहुत ही कम nonmathematical संस्करण है!

चूंकि लक्ष्य एक पी मूल्य की गणना करना है, इसलिए आपको सबसे पहले एक शून्य परिकल्पना को परिभाषित करने की आवश्यकता है। लगभग हमेशा, यह है कि ढलान वास्तव में क्षैतिज है इसलिए ढलान (बीटा) के लिए संख्यात्मक मान 0.0 है।

आपके डेटा से ढलान फिट नहीं है 0.0। क्या यह विसंगति यादृच्छिक संयोग के कारण है या अशक्त परिकल्पना गलत होने के कारण है? आप कभी भी इसका उत्तर नहीं दे सकते, लेकिन निश्चित रूप से, P मान एक तरह से एक उत्तर पाने का एक तरीका है।

प्रतिगमन कार्यक्रम ढलान के एक मानक त्रुटि की रिपोर्ट करता है। टी अनुपात की गणना अपने मानक त्रुटि से विभाजित ढलान के रूप में करें। दरअसल, यह मानक त्रुटि से विभाजित (ढलान माइनस नल हाइपोथिसिस ढलान) है, लेकिन शून्य परिकल्पना ढलान लगभग हमेशा शून्य है।

अब आपके पास अनुपात है। स्वतंत्रता की डिग्री की संख्या (df) डेटा बिंदुओं की संख्या को प्रतिगमन (रेखीय प्रतिगमन के लिए दो) द्वारा फिट किए गए मापदंडों की संख्या के बराबर होती है।

उन मूल्यों (टी और डीएफ) के साथ आप एक ऑनलाइन कैलकुलेटर या टेबल के साथ पी मान निर्धारित कर सकते हैं।

यह अनिवार्य रूप से एक नमूना-परीक्षण है, एक काल्पनिक मूल्य (शून्य परिकल्पना) के साथ एक मनाया गणना मूल्य (ढलान) की तुलना करता है।

— हार्वे मोटुलस्की
स्रोत

4

असली सवाल यह है कि यह "अनिवार्य रूप से एक-नमूना-टी-टेस्ट" क्यों है, और मैं यह नहीं देखता कि यह आपके उत्तर से कैसे स्पष्ट हो सकता है ...

— अमीबा का कहना है कि मोनिका