रैखिक प्रतिगमन में टी-परीक्षण और एनोवा के बीच अंतर

मुझे आश्चर्य है कि रैखिक प्रतिगमन में टी-टेस्ट और एनोवा के बीच क्या अंतर हैं?

परीक्षण करने के लिए एक टी-टेस्ट है कि ढलान और अवरोधन में से किसी का मतलब शून्य है, जबकि एनोवा का परीक्षण करने के लिए कि क्या सभी ढलान का मतलब शून्य है? क्या उनके बीच केवल यही अंतर है?
सरल रेखीय प्रतिगमन में अर्थात जहां केवल एक पूर्वसूचक चर है, अनुमान लगाने के लिए केवल एक ढलान है। तो टी-टेस्ट और एनोवा समान हैं, और यदि हाँ, तो कैसे, यह देखते हुए कि वे अलग-अलग आँकड़ों का उपयोग कर रहे हैं (टी-टेस्ट टी-स्टेटिस्टिक का उपयोग कर रहा है और एनोवा एफ-स्टैटिस्टिक का उपयोग कर रहा है)?

regression anova t-test

— टिम
स्रोत

विज्ञापन 1) रैखिक प्रतिगमन में, मैं आमतौर पर एनोवा को मॉडल के फिट होने की माप के रूप में समझता हूं, अर्थात यह तय करने के लिए कि क्या मॉडल (प्रतिगमन लाइन) कुल परिवर्तनशीलता का पर्याप्त हिस्सा बताता है। सवाल, क्या यह सभी ढलानों के शून्य होने के बराबर है, वास्तव में बहुत दिलचस्प है। विज्ञापन 2) ऐसा लगता है कि मैं इस मामले में टी-परीक्षण और प्रतिगमन एनोवा के लिए लगभग समान पी-मान प्राप्त कर रहा हूं। वास्तव में दिलचस्प प्रमेय!

— जिज्ञासु

जवाबों:

सामान्य रैखिक मॉडल हमें प्रतिगमन मॉडल के रूप में एनोवा मॉडल लिखने देता है। चलो मान लेते हैं हम दो टिप्पणियों से प्रत्येक के साथ दो समूहों, यानी, एक वेक्टर में चार टिप्पणियों है । फिर मूल, overparametrized मॉडल है , जहां भविष्यवक्ताओं की मैट्रिक्स, यानी, डमी कोडित सूचक चर है: $y$ $E(y) = X^{\star} \beta^{\star}$ $X^{\star}$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{ccc} 1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{array}) (\begin{matrix} β_{0}^{⋆} \\ β_{1}^{⋆} \\ β_{2}^{⋆} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{ccc}1 & 1 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \\ 1 & 0 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0}^{\star} \\ \beta_{1}^{\star} \\ \beta_{2}^{\star}\end{array}\right)$

मापदंडों की पहचान नहीं की जाती है क्योंकि में रैंक है 2 ( इन्वर्टिबल नहीं है)। इसे बदलने के लिए, हम बाधा (उपचार विरोधाभासी) का परिचय देते हैं , जो हमें नया मॉडल : $((X^{\star})' X^{\star})^{-1} (X^{\star})' E(y)$ $X^{\star}$ $(X^{\star})'X^{\star}$ $\beta_{1}^{\star} = 0$ $E(y) = X \beta$

(\begin{matrix} μ_{1} \\ μ_{1} \\ μ_{2} \\ μ_{2} \end{matrix}) = (\begin{array}{cc} 1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1 \end{array}) (\begin{matrix} β_{0} \\ β_{2} \end{matrix})

$\left(\begin{array}{c}\mu_{1} \\ \mu_{1} \\ \mu_{2} \\ \mu_{2}\end{array}\right) = \left(\begin{array}{cc}1 & 0 \\ 1 & 0 \\ 1 & 1 \\ 1 & 1\end{array}\right) \left(\begin{array}{c}\beta_{0} \\ \beta_{2}\end{array}\right)$

इसलिए , यानी, हमारे संदर्भ श्रेणी (समूह 1) से अपेक्षित मूल्य का अर्थ लेता है। , यानी, को संदर्भ श्रेणी के अंतर के अर्थ पर ले जाता है । चूंकि दो समूहों के साथ, समूह प्रभाव से जुड़ा सिर्फ एक पैरामीटर है, एनोवा एनओएल परिकल्पना (सभी समूह प्रभाव पैरामीटर 0 हैं) प्रतिगमन वजन शून्य परिकल्पना (ढलान पैरामीटर 0 है) के समान है। $\mu_{1} = \beta_{0}$ $\beta_{0}$ $\mu_{2} = \beta_{0} + \beta_{2}$ $\beta_{2}$ $\mu_{2} - \mu_{1}$

सामान्य लीनियर मॉडल में एक एक परिकल्पित मूल्य के खिलाफ मापदंडों के एक लीनियर कॉम्बिनेशन का परीक्षण करता है। चयन , हम इस प्रकार परिकल्पना का परीक्षण कर सकते हैं कि (ढलान पैरामीटर के लिए सामान्य परीक्षण), यानी यहाँ, । अनुमानक , जहां हैं मापदंडों के लिए ओएलएस का अनुमान है। ऐसे लिए सामान्य परीक्षण आँकड़ा है: $t$ $\psi = \sum c_{j} \beta_{j}$ $\psi_{0}$ $c = (0, 1)'$ $\beta_{2} = 0$ $\mu_{2} - \mu_{1} = 0$ $\hat{\psi} = \sum c_{j} \hat{\beta}_{j}$ $\hat{\beta} = (X'X)^{-1} X' y$ $\psi$

t = \frac{\hat{ψ} - ψ_{0}}{\hat{σ} \sqrt{c^{'} (X^{'} X)^{- 1} c}}

$t = \frac{\hat{\psi} - \psi_{0}}{\hat{\sigma} \sqrt{c' (X'X)^{-1} c}}$

$\hat{\sigma}^{2} = \|e\|^{2} / (n-\mathrm{Rank}(X))$ त्रुटि विचरण के लिए एक निष्पक्ष अनुमानक है, जहां चुकता अवशिष्टों का योग है। दो समूहों , , और अनुमान इस प्रकार और । साथ हमारे मामले में 1 जा रहा है, परीक्षण आंकड़ा हो जाता है: $\|e\|^{2}$ $\mathrm{Rank}(X) = 2$ $(X'X)^{-1} X' = \left(\begin{smallmatrix}.5 & .5 & 0 & 0 \\-.5 & -.5 & .5 & .5\end{smallmatrix}\right)$ $\hat{\beta}_{0} = 0.5 y_{1} + 0.5 y_{2} = M_{1}$ $\hat{\beta}_{2} = -0.5 y_{1} - 0.5 y_{2} + 0.5 y_{3} + 0.5 y_{4} = M_{2} - M_{1}$ $c' (X'X)^{-1} c$

t = \frac{M_{2} - M_{1} - 0}{\hat{σ}} = \frac{M_{2} - M_{1}}{\sqrt{‖ e ‖^{2} / (n - 2)}}

$t = \frac{M_{2} - M_{1} - 0}{\hat{\sigma}} = \frac{M_{2} - M_{1}}{\sqrt{\|e\|^{2} / (n-2)}}$

$t$ है -distributed साथ df (यहाँ )। जब आप चौकोर करते , तो आपको , दो समूहों के लिए ANOVA -est से परीक्षण आँकड़ा (समूहों के बीच , बीच में लिए) जो एक अनुसरण करता है - 1 और df के साथ वितरण । $t$ $n - \mathrm{Rank}(X)$ $n-2$ $t$ $\frac{(M_{2} - M_{1})^{2} / 1}{\|e\|^{2} / (n-2)} = \frac{SS_{b} / df_{b}}{SS_{w} / df_{w}} = F$ $F$ $b$ $w$ $F$ $n - \mathrm{Rank}(X)$

दो से अधिक समूहों के साथ, परिकल्पना (सभी एक साथ 0, ) एक से अधिक मापदंडों को संदर्भित करता है और एक रैखिक संयोजन रूप में व्यक्त नहीं किया जा सकता है , इसलिए तब परीक्षण समकक्ष नहीं हैं । $\beta_{j}$ $1 \leq j$ $\psi$

— कैरकल
स्रोत

1 में, एनोवा आमतौर पर कारक चर का परीक्षण करेगा और समूह विचरण के बीच महत्वपूर्ण है या नहीं। आपको स्पष्ट रूप से अंतर दिखाई देगा यदि आपका सॉफ़्टवेयर एक प्रतिगमन में संकेतक चर की अनुमति देता है: प्रत्येक डमी के लिए आपको एपी मूल्य मिलेगा जो कह रहा है कि क्या यह समूह 0 से अलग है, और परिणामस्वरूप संदर्भ समूह या संदर्भ मूल्य से काफी भिन्न है। । आमतौर पर, आप यह नहीं देखेंगे कि जब तक आप एनोवा परीक्षण नहीं करते हैं, तब तक संकेतक स्वयं किस डिग्री तक महत्वपूर्ण है।

एक एफ-टेस्ट एक चुकता टी-टेस्ट है। इसलिए, 2 में, यह समान है।

— श्रम
स्रोत

धन्यवाद! (१) संकेतक चर का यहाँ क्या अर्थ है? (2) आम तौर पर, एक टी-टेस्ट केवल एनोवा के बराबर होता है जब केवल दो समूह होते हैं। लेकिन सरल रेखीय प्रतिगमन में दो से अधिक समूह हो सकते हैं, जहां समूहों की संख्या उन मानों की संख्या है जो डेटा सेट में पूर्वानुमानकर्ता चर लेता है।

— टिम

(१) संकेतक या श्रेणीबद्ध या कारक चर ... सभी समान। (२) वास्तव में, लेकिन आप जानना चाह सकते हैं कि एएनओवीए से डमी / श्रेणियों का कितना अच्छा स्कोर है।

— लेबर

धन्यवाद! (२) इसलिए सरल रेखीय प्रतिगमन में, एनोवा के बराबर टी-टेस्ट कैसे होता है, यह देखते हुए कि दो से अधिक समूह हैं? "कितनी अच्छी तरह डमी / श्रेणियों का एक सेट एनोवा से" का मतलब है, और मैं इसे क्यों जानना चाहता हूं?

— टिम

OLS प्रतिगमन में, R² (समझाया विचरण) ANOVA से eta MS या MSS / TSS के बराबर होगा, चाहे आप कितने समूहों को परिभाषित करें। इसके बाद, आप यह कहना चाह सकते हैं कि डमीज़ (यानी एक इंडिकेटर वैरिएबल) के सेट का योगदान क्या है, यह कहने के लिए कि क्या सेट खुद प्रासंगिक है और किस हद तक, जो संदर्भ श्रेणी के साथ एक एकल श्रेणी के बीच अंतर के महत्व से अलग है ।

— लेबर