रैखिक प्रतिगमन में गुणांक के विचरण-कोविरियन मैट्रिक्स कैसे प्राप्त करें


36

मैं रेखीय प्रतिगमन पर एक किताब पढ़ रहा हूं और के विचरण-सहसंयोजक मैट्रिक्स को समझने में कुछ परेशानी हो रही है :b

यहाँ छवि विवरण दर्ज करें

विकर्ण आइटम काफी आसान होते हैं, लेकिन ऑफ-विकर्ण कुछ अधिक कठिन होते हैं, जो पहेलियाँ मेरे लिए है वह

σ(b0,b1)=E(b0b1)E(b0)E(b1)=E(b0b1)β0β1

लेकिन यहाँ और का कोई निशान नहीं है।β 1β0β1


3
संबंधित प्रश्न: आंकड़े.stackexchange.com/questions/44838/…
ocram

2
कौन सी किताब है?
कॉन्सटेंटिनो

नेटर एट अल।, एप्लाइड रैखिक प्रतिगमन मॉडल, 1983, पृष्ठ 216। आप एप्लाइड रैखिक सांख्यिकीय मॉडल, 5 वें संस्करण, पृष्ठ 207 में एक ही सामग्री पा सकते हैं।
akavalar

जवाबों:


53

यह वास्तव में एक अच्छा सवाल है जो एक प्रतिगमन की आपकी बुनियादी समझ को चुनौती देता है।

पहले संकेतन के बारे में कोई प्रारंभिक भ्रम निकालें। हम प्रतिगमन देख रहे हैं:

y=b0+b1x+u^

जहाँ और सही और , और प्रतिगमन के अवशेष हैं। ध्यान दें कि अंतर्निहित सत्य और असंबद्ध प्रतिगमन को इस प्रकार दर्शाया गया है:b0b1β0β1यूu^

y=β0+β1x+u

और विचरण की अपेक्षा के साथ । कुछ पुस्तकें को रूप में दर्शाती हैं और हम यहां इस सम्मेलन को अनुकूलित करते हैं। हम मैट्रिक्स नोटेशन का भी उपयोग करते हैं, जहां b 2x1 वेक्टर है जो कि , अर्थात् । (इसके अलावा स्पष्टता के लिए मैं X को निम्न गणनाओं में तय करता हूं।)E[u]=0E[u2]=σ2bβ^β=[β0,β1]b=[b0,b1]

अब आपके सवाल पर। सहसंयोजक के लिए आपका सूत्र वास्तव में सही है, जो है:

σ(b0,b1)=E(b0b1)E(b0)E(b1)=E(b0b1)β0β1

मुझे लगता है कि आप यह जानना चाहते हैं कि इस फॉर्मूले में हमारे पास असली unobserved गुणांक कैसे हैं? यदि हम सूत्र का विस्तार करके इसे एक कदम आगे बढ़ाते हैं तो वे वास्तव में रद्द हो जाते हैं । यह देखने के लिए, ध्यान दें कि अनुमानक का जनसंख्या विचरण निम्न द्वारा दिया गया है:β0,β1

Var(β^)=σ2(XX)1

यह मैट्रिक्स विकर्ण तत्वों में भिन्नता और ऑफ-विकर्ण तत्वों में सहसंयोजन रखता है।

उपरोक्त सूत्र तक पहुंचने के लिए, आइए मैट्रिक्स नोटेशन का उपयोग करके अपने दावे को सामान्य करें। इसलिए हम और साथ अपेक्षा का ।Var[]E[]

Var[b]=E[b2]E[b]E[b]

अनिवार्य रूप से हमारे पास सामान्य विचरण सूत्र है, बस मैट्रिक्स नोटेशन का उपयोग करना। अनुमानक लिए मानक अभिव्यक्ति में प्रतिस्थापन करते समय समीकरण हल होता है । यह भी मान लें एक निष्पक्ष आकलनकर्ता जा रहा है। इसलिए, हम प्राप्त करते हैं:b=(XX)1XyE[b]=β

E[((XX)1Xy)2]β22×2

ध्यान दें कि हमारे पास दाहिने हाथ की ओर - 2x2 मैट्रिक्स, अर्थात् , लेकिन आप इस बिंदु पर पहले ही अनुमान लगा सकते हैं कि शीघ्र ही इस शब्द के साथ क्या होगा।β2bb

ऊपर की सही अंतर्निहित डेटा जनरेटिंग प्रक्रिया के लिए हमारी अभिव्यक्ति के साथ जगह , हमारे पास है:y

E[((XX)1Xy)2]β2=E[((XX)1X(Xβ+u))2]β2=E[((XX)1XX=Iβ+(XX)1Xu)2]β2=E[(β+(XX)1Xu)2]β2=β2+E[(XX)1Xu)2]β2

चूंकि । इसके अलावा, द्विआधारी प्रत्याशित के रूप में रद्द कर देता है।E[u]=0β2

इस प्रकार हमारे पास है:

Var[b]=((XX)1X)2E[u2]

उम्मीदों की रैखिकता द्वारा। ध्यान दें कि और चूँकि एक मैट्रिक्स है और इस प्रकार इसका स्थानान्तरण समान है। अंत में हम पहुंचते हैंE[u2]=σ2((XX)1X)2=(XX)1XX(XX)1=(XX)1XXK×K

Var[b]=σ2(XX)1

अब जब हमने सभी शर्तों से छुटकारा पा लिया है । सहज रूप से, अनुमानक का विचरण सच अंतर्निहित गुणांक के मूल्य से स्वतंत्र है, क्योंकि यह एक यादृच्छिक चर से अलग नहीं है। परिणाम मैट्रिक्स में सभी व्यक्तिगत तत्वों के लिए मान्य है, जैसा कि पुस्तक में दिखाया गया है, साथ ही साथ विकर्ण तत्वों के लिए भी मान्य है और क्रमशः रद्द करने के लिए साथ । एकमात्र समस्या यह थी कि आपने विचरण के लिए सामान्य सूत्र लागू किया था जो पहले इस रद्द करने को प्रतिबिंबित नहीं करता है।ββ0β1

अंत में, गुणांकों का विचलन और स्वतंत्र हो जाता है । लेकिन इसका क्या मतलब है? (मेरा मानना ​​है कि आपने सामान्य सहसंयोजक मैट्रिक्स की अधिक सामान्य समझ के लिए भी पूछा है)σ2(XX)1β

पुस्तक में सूत्र को देखें। यह केवल इस बात पर जोर देता है कि जब सही अंतर्निहित त्रुटि शब्द अधिक शोर ( बढ़ता है) के लिए अनुमानक का विचरण बढ़ता है, लेकिन जब X का प्रसार बढ़ता है तो घट जाता है। क्योंकि होने अधिक टिप्पणियों सही मूल्य चारों ओर फैले हुए, एक आकलनकर्ता यह सच के करीब अधिक सटीक है और इस तरह सामान्य निर्माण में आप की सुविधा देता है । दूसरी ओर, ऑफ-विकर्ण पर सहसंयोजक शब्द संयुक्त रूप से परिकल्पना परीक्षण में व्यावहारिक रूप से प्रासंगिक हो जाते हैं जैसे कि । इसके अलावा वे वास्तव में एक ठगना का एक सा है। आशा है कि यह सभी प्रश्नों को स्पष्ट करेगा।σ2βb0=b1=0


और जब प्रसार को स्थिर रखते हैं और x को कम करते हैं, तो इंटरसेप्ट की मानक त्रुटि छोटी हो जाती है, जो समझ में आता है।
थीटा

मैं वर्ग के विस्तार का पालन नहीं करता। को सरल क्यों नहीं किया जाता है ? ((XX)1X)2=((XX)1X)((XX)1X)=X2
डेविड

2

आपके मामले में हमारे पास है

XX=[nXiXiXi2]

इस मैट्रिक्स को उल्टा करें और आपको वांछित परिणाम मिलेगा।


1

β0β1E(b0)=β0E(b1)=β1


β 1β0 और आमतौर पर अज्ञात होते हैं, वे किस पर स्विच कर सकते हैं? β1
QED

मुझे लगता है कि मैं भ्रम की स्थिति को समझते हैं, और मुझे लगता है कि वे शायद लिखा जाना चाहिए था बजाय । यहां एक और पोस्ट है जो गणना के माध्यम से जाती है: लिंक β 0β0β0
ड्रयू 75

2
@qed: अज्ञात मात्रा का अनुमान लगाने के लिए।
Glen_b
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.