अवशिष्ट कैसे अंतर्निहित गड़बड़ी से संबंधित हैं?

Question

कम से कम वर्गों की विधि में हम मॉडल में अज्ञात मापदंडों का अनुमान लगाना चाहते हैं:

$$Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n)$$

एक बार जब हम ऐसा कर लेते हैं (कुछ देखे गए मूल्यों के लिए), तो हमें फिट होने वाली प्रतिगमन लाइन मिल जाती है:

$$Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n)$$

अब स्पष्ट रूप से हम कुछ भूखंडों की जांच करना चाहते हैं ताकि यह सुनिश्चित किया जा सके कि मान्यताओं को पूरा किया गया है। मान लीजिए कि आप समरूपता के लिए जाँच करना चाहते हैं, हालाँकि, ऐसा करने के लिए हम वास्तव में अवशिष्टों की जाँच कर रहे हैं । मान लें कि आप अवशिष्ट बनाम अनुमानित मूल्यों की साजिश की जांच करते हैं, अगर यह हमें दिखाता है कि विषमता स्पष्ट है, तो यह गड़बड़ी शब्द से कैसे संबंधित है ? क्या अवशिष्ट में विषमलैंगिकता अशांति की दृष्टि से विषमता का अर्थ है? $e_j$$\varepsilon_j$

Answer 1

इसके बारे में सोचने का सबसे सरल तरीका है कि आपके कच्चे अवशेष ($e_j = y_j-\hat y_j$) इसी गड़बड़ी का अनुमान है ($\hat\varepsilon_j = e_j$)। हालांकि, कुछ अतिरिक्त जटिलताएं हैं। उदाहरण के लिए, हालांकि हम मानक ओएलएस मॉडल में मान रहे हैं कि त्रुटियां / गड़बड़ी स्वतंत्र हैं, अवशिष्ट सभी नहीं हो सकते। सामान्य तौर पर, केवल$N-p-1$ अवशिष्ट स्वतंत्र हो सकते हैं क्योंकि आपने उपयोग किया है $p-1$ माध्य मॉडल और अवशिष्टों का आकलन करने में स्वतंत्रता की डिग्री विवश हैं $0$। इसके अलावा, कच्चे अवशेषों का मानक विचलन वास्तव में स्थिर नहीं है। सामान्य तौर पर, प्रतिगमन रेखा को इस तरह से फिट किया जाता है कि यह अधिक से अधिक उत्तोलन के साथ उन बिंदुओं के औसत के करीब होगा। परिणामस्वरूप, उन बिंदुओं के लिए अवशिष्टों का मानक विचलन कम उत्तोलन बिंदुओं की तुलना में छोटा होता है। (इस पर और अधिक जानकारी के लिए, यह यहां दिए गए उत्तरों को पढ़ने में मदद कर सकता है: प्लॉट की व्याख्या करना। lm () , और / या यहां: बाइनरी / द्विस्वभाव स्वतंत्र रैखिक भविष्यवाणियों के लिए अवशिष्ट विश्लेषण कैसे करें? )

Comments

स्पष्ट करने के लिए, अधिकांश Np-1 अवशिष्ट स्वतंत्र हो सकते हैं, लेकिन आमतौर पर वे सभी सहसंबद्ध होते हैं; इसके बजाय, उनके रैखिक परिवर्तन हैं जिनमें एनपी -1 स्वतंत्र घटक हो सकते हैं।

— Glen_b -Reinstate मोनिका

@ गलेन_ बी, अच्छी बात है।

— गंग -

Answer 2

बीच के रिश्ते $\hat{\varepsilon}$ तथा $\varepsilon$ है:

$$\hat{\varepsilon} = (I-H) \varepsilon$$

कहाँ पे $H$टोपी मैट्रिक्स, है $X(X^TX)^{-1}X^T$।

जो कहना है $\hat{\varepsilon}_i$ सभी त्रुटियों का एक रैखिक संयोजन है, लेकिन आम तौर पर अधिकांश भार इस पर पड़ता है $i$-तब एक।

यहाँ एक उदाहरण है, carsR में सेट किए गए डेटा का उपयोग करके बैंगनी में चिह्नित बिंदु पर विचार करें:

चलो इसे बिंदु कहते हैं $i$। अवशिष्ट,$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$, जहां $w_j$ अन्य त्रुटियों के लिए -0.02 के क्षेत्र में हैं:

हम इसे फिर से लिख सकते हैं:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

या अधिक आम तौर पर

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

कहाँ पे $h_{ii}$ है $i$-तथा विकर्ण तत्व $H$। इसी तरह,$w_j$ऊपर हैं $h_{ij}$।

यदि त्रुटियां आईआईडी हैं $N(0,\sigma^2)$ तब इस उदाहरण में, उन अन्य त्रुटियों की भारित राशि में लगभग 1/7 वें के अनुरूप एक मानक विचलन होगा, जिसमें त्रुटि की त्रुटि $i$इसके अवशिष्ट पर वें अवलोकन।

जो कहना है, अच्छी तरह से व्यवहार किए गए रजिस्टरों में, अवशिष्टों को ज्यादातर त्रुटि शब्द के अप्रमाणित शोर अनुमान के समान माना जा सकता है। जैसा कि हम केंद्र से आगे बिंदुओं पर विचार करते हैं, चीजें कुछ हद तक कम काम करती हैं (अवशिष्ट त्रुटि पर कम भारित हो जाता है और अन्य त्रुटियों पर भार भी कम हो जाता है)।

कई मापदंडों के साथ, या साथ $X$इतनी अच्छी तरह से वितरित नहीं है, अवशिष्ट त्रुटियों की तरह बहुत कम हो सकते हैं। आप कुछ उदाहरणों को आज़माना पसंद कर सकते हैं।

Comments

यह सही तरीका है। इसके अतिरिक्त जो चाहिए वह एक तर्क है जिसके विकर्ण तत्व हैं$H$आम तौर पर "छोटे" होते हैं। यह दिखाते हुए बनाया गया है कि ट्रेस स्वतंत्र चर की संख्या के बराबर है (अवरोधन, यदि कोई हो तो) - जो इस तथ्य से तत्काल है कि यह एक प्रक्षेपण मैट्रिक्स है। ध्यान दें कि यह परिणाम व्यक्ति पर किसी भी वितरण मान्यताओं से स्वतंत्र है$\varepsilon_i$: उन्हें नॉर्मल होने की जरूरत नहीं है। यह किसी भी वास्तविक सूत्र के लिए स्वतंत्र है$H$; यह आयामों की गिनती का परिणाम है।

— whuber

एक और परिस्थिति नहीं होगी जिसमें अवशिष्ट बहुत कम हो सकते हैं जैसे कि त्रुटियों की संख्या $n$छोटा है? आमतौर पर जैसा कि @whuber इस तथ्य को बताता है कि का निशान$H$ स्वतंत्र चर की संख्या के बराबर है इसका अर्थ है कि इसके विकर्ण तत्व छोटे हैं, लेकिन यह जरूरी नहीं कि संख्या इतनी ही हो $n$उन तत्वों में स्वयं छोटा है।

— एडम बैली

@AdamBailey ज़रूर ऐसा होता है जब $n$ छोटा है ... लेकिन ऐसा इसलिए है $p/n$ भले ही अपेक्षाकृत बड़ा है $p$केवल 1 या 2. है

— Glen_b -Reinstate Monica