क्या प्रतिगमन गुणांक के अनुमान असंबंधित हैं?

Question

एक साधारण प्रतिगमन पर विचार करें (सामान्यता ग्रहण नहीं की गई): जहां मीन और मानक विचलन । की कम से कम स्क्वायर अनुमान कर रहे हैं और असहसंबद्ध?

$$Y_i = a + b X_i + e_i,$$ $e_i$$0$$\sigma$$a$$b$

Comments

तुम क्या सोचते हो? en.wikipedia.org/wiki/Ordinary_least_squares , अनुभाग "परिमित नमूना गुण"। इस साइट पर इस सवाल का कई बार जवाब दिया गया था।

— mpiktas

Answer 1

यह प्रयोगों को डिजाइन करने में एक महत्वपूर्ण विचार है, जहां अनुमानों के बीच कोई (या बहुत कम) सहसंबंध होना वांछनीय हो सकता है $\hat a$ तथा $\hat b$। इस तरह के सहसंबंध की कमी के मूल्यों को नियंत्रित करके प्राप्त किया जा सकता है$X_i$।

---

के प्रभावों का विश्लेषण करने के लिए $X_i$ अनुमानों, मूल्यों पर $(1,X_i)$ (जो लंबाई के पंक्ति वाले वैक्टर हैं $2$) एक मैट्रिक्स में लंबवत रूप से इकट्ठे होते हैं $X$, डिज़ाइन मैट्रिक्स, जिसमें डेटा के रूप में कई पंक्तियाँ हैं और (स्पष्ट रूप से) दो कॉलम हैं। अनुरूप$Y_i$ एक लंबे (स्तंभ) वेक्टर में इकट्ठे होते हैं $y$। इन शब्दों में, लेखन$\beta = (a,b)^\prime$ इकट्ठे गुणांक के लिए, मॉडल है

$$\mathbb{E}(Y) = X \cdot \beta$$

$Y_i$ (आमतौर पर) को स्वतंत्र यादृच्छिक चर माना जाता है, जिनके संस्करण एक स्थिर हैं $\sigma^2$ कुछ अज्ञात के लिए $\sigma \gt 0$। आश्रित प्रेक्षण$y$ वेक्टर-वैल्यू रैंडम वेरिएबल का एक साकार होने के लिए लिया जाता है $Y$।

OLS समाधान है

$$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$$

यह मैट्रिक्स व्युत्क्रम मौजूद है। इस प्रकार, मैट्रिक्स गुणन और सहसंयोजी के बुनियादी गुणों का उपयोग करते हुए,

$$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$$

साँचा $\left(X^\prime X\right)^{-1}$ मॉडल मापदंडों के अनुरूप सिर्फ दो पंक्तियाँ और दो स्तंभ हैं $(a,b)$। का सहसंबंध$\hat a$ साथ में $\hat b$ के विकर्ण तत्वों के लिए आनुपातिक है $(X^\prime X)^{-1},$जो क्रैमर के नियम के अनुसार दो कॉलम के डॉट उत्पाद के आनुपातिक हैं$X$। चूंकि सभी स्तंभों में से एक है$1$s, जिसका डॉट उत्पाद दूसरे कॉलम के साथ है (से मिलकर) $X_i$) उनकी राशि है, हम पाते हैं

$\hat a$ तथा $\hat b$ यदि और केवल (या समतुल्य माध्य) का असंबद्ध है $X_i$ शून्य है।

अक्सर यह पुनरावृत्ति द्वारा प्राप्त की जाती है$X_i$(प्रत्येक से उनके माध्य को घटाकर)। हालांकि यह अनुमानित ढलान में बदलाव नहीं करेगा$\hat b$, यह अनुमानित अवरोधन को बदल देता है $\hat a$। यह महत्वपूर्ण है या नहीं यह आवेदन पर निर्भर करता है।

---

Tthis विश्लेषण कई प्रतिगमन पर लागू होता है: डिज़ाइन मैट्रिक्स में होगा $p+1$ के लिए कॉलम $p$ स्वतंत्र चर एक अतिरिक्त स्तंभ के होते हैं $1$रेत $\beta$ लंबाई का एक वेक्टर होगा $p+1$, लेकिन अन्यथा सब कुछ पहले जैसा हो जाता है।

पारंपरिक भाषा में, के दो कॉलम $X$जब उनके डॉट उत्पाद शून्य होते हैं तो उन्हें ऑर्थोगोनल कहा जाता है। जब एक कॉलम$X$ (स्तंभ कहते हैं $i$) अन्य सभी स्तंभों के लिए ऑर्थोगोनल है, यह एक आसानी से प्रदर्शित बीजीय तथ्य है जो पंक्ति में सभी ऑफ-डायग्नॉजिकल प्रविष्टियाँ हैं $i$ और कॉलम $i$ का $(X^\prime X)^{-1}$ शून्य हैं (जो है, $ij$ तथा $ji$ सभी के लिए घटक $j\ne i$शून्य हैं)। इसके फलस्वरूप,

दो एकाधिक प्रतिगमन गुणांक अनुमान $\hat\beta_i$ तथा $\hat\beta_j$ जब भी या तो (या दोनों) डिज़ाइन मैट्रिक्स के संगत कॉलमों के अन्य सभी स्तंभों के लिए ऑर्थोगोनल होते हैं, तो वे असंबंधित होते हैं।

कई मानक प्रयोगात्मक डिजाइनों में स्तंभों को पारस्परिक रूप से बनाने के लिए स्वतंत्र चर के मूल्यों को चुनना शामिल है। यह परिणामी अनुमानों को "अलग" कर देता है - इससे पहले कि कोई भी डेटा एकत्र किया जाए! - अनुमान अनुमानित नहीं होंगे। (जब प्रतिक्रियाओं का सामान्य वितरण होता है, तो इसका मतलब है कि अनुमान स्वतंत्र होंगे, जो उनकी व्याख्या को सरल बनाता है।)

Comments

उत्तर कहता है "[...] ऑफ-डायगोनल तत्व, जो एक्स के दो कॉलम के सिर्फ डॉट उत्पाद हैं।" यह सच है$X'X$, नहीं $(X'X)^{-1}$तथापि?

— हेइज़ेनबर्ग

@ हाइजेनबर्ग यह एक अच्छा बिंदु है। मैं इस बारे में स्पष्ट नहीं था। दो कॉलम के मामले में कोई अस्पष्टता नहीं है, लेकिन मुझे यह सोचने की ज़रूरत है कि अधिक कॉलम के मामले के लिए प्रस्तुति को कैसे बेहतर बनाया जाए।

— whuber

@ हाइजेनबर्ग मैं आपके अवधारणात्मक अवलोकन के लिए आभारी हूं: इसने मुझे कई प्रतिगमन मामले की चर्चा में पर्याप्त त्रुटि को ठीक करने में सक्षम बनाया।

— whuber