एकाधिक रैखिक प्रतिगमन के लिए कम से कम वर्ग अनुमानक कैसे प्राप्त करें?

Question

साधारण रैखिक प्रतिगमन मामले में , आप कम से कम वर्ग अनुमानक ऐसा है कि आपको का अनुमान लगाने के लिएβ 1 = Σ ( एक्स मैं - ˉ एक्स ) ( y मैं - ˉ y$y=\beta_0+\beta_1x$β 0 β$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$$\hat\beta_0$$\hat\beta_1$

मान लीजिए कि मेरे पास , तो मैं का आकलन किए बिना कैसे प्राप्त ? या यह संभव नहीं है?β 1 β$y=\beta_1x_1+\beta_2x_2$$\hat\beta_1$$\hat\beta_2$

Comments

आप चर में से एक को छोड़ सकते हैं और फिर भी स्वतंत्र होने पर दूसरे का निष्पक्ष अनुमान प्राप्त कर सकते हैं।

— david25272

Answer 1

मैट्रिक्स संकेतन में व्युत्पत्ति

से शुरू करना , जो वास्तव में बस के रूप में ही है$y= Xb +\epsilon$

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

यह सब कम से कम करने के लिए आता है :$e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

इसलिए कम से कम हमें देता है:$e'e'$

ई ' ई = ( y - एक्स ख ) ' ( y - एक्स ख $min_{b}$ $e'e = (y-Xb)'(y-Xb)$

ई ' ई = y ' y - 2 ख ' एक्स ' y + ख ' एक्स ' एक्स $min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

एक अंतिम गणितीय चीज़, न्यूनतम के लिए दूसरी ऑर्डर की स्थिति के लिए आवश्यक है कि मैट्रिक्स सकारात्मक निश्चित हो। यह आवश्यकता उस स्थिति में पूरी होती है जब की पूरी रैंक हो।$X'X$$X$

अधिक सटीक व्युत्पत्ति जो अधिक चरणों में सभी गर्त में जाती है, http://economictheoryblog.com/2015/02/19/ols_estimator/ के तहत पाई जा सकती है

Comments

यह व्युत्पत्ति ठीक वही है जो मैं खोज रहा था। कोई SKIPPED STEPS। हैरानी की बात यह है कि इसे ढूंढना कितना मुश्किल है।

— जावदबा

मैट्रिक्स समीकरण में, दूसरा नहीं होना चाहिए *एक हो +? इसके अलावा, नहीं यह होना चाहिए के बजाय आकार-प्रकार के प्राप्त करने के लिए? बी $b_K$$b_N$

— एलेक्सिस ओल्सन

एलेक्सिस ओल्सन, आप सही हैं! मैंने अपना उत्तर संपादित किया।

— एंड्रियास डिबियासी

Answer 2

दूसरों के अनुमान के बिना एक एकाधिक प्रतिगमन में सिर्फ एक गुणांक का अनुमान लगाना संभव है।

अन्य से के प्रभावों को और फिर के अवशिष्टों के विरुद्ध के को पुनः प्राप्त करके का अनुमान प्राप्त किया जाता है । यह समझाया और चित्रित किया गया है कि वास्तव में अन्य चर के लिए एक नियंत्रण कैसे होता है? और कैसे (ए) प्रतिगमन गुणांक को सामान्य करने के लिए? । इस दृष्टिकोण की सुंदरता यह है कि इसके लिए कोई कैलकुलस की आवश्यकता नहीं है, कोई रेखीय बीजगणित नहीं है, बस दो आयामी ज्यामिति का उपयोग करके कल्पना की जा सकती है, संख्यात्मक रूप से स्थिर है, और कई प्रतिगमन के सिर्फ एक मौलिक विचार का शोषण करता है: जो बाहर निकालना (या उसे नियंत्रित करना) ) एकल चर का प्रभाव।एक्स 2 y एक्स $\beta_1$$x_2$$y$$x_1$

---

वर्तमान मामले में तीन सामान्य प्रतिगमन चरणों का उपयोग करके एकाधिक प्रतिगमन किया जा सकता है:

1. वापसी पर (एक निरंतर अवधि के बिना!)। फिट होने दें । अनुमान इसलिए अवशिष्ट ज्यामितीय, क्या बची हुई है है के बाद पर अपने प्रक्षेपण घटाया जाता है।x 2 y = अल्फा y , 2 एक्स 2 + δ अल्फा y , 2 = Σ मैं y मैं एक्स 2 $y$$x_2$$y = \alpha_{y,2}x_2 + \delta$δ=y-αy,2एक्स2। δyx

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. X_2 पर को (स्थिर अवधि के बिना)। फिट होने दें । अनुमानअवशिष्टज्यामितीय, क्या बची हुई है है के बाद पर अपने प्रक्षेपण घटाया जाता है।$x_1$$x_2$$x_1 = \alpha_{1,2}x_2 + \gamma$

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. Regress on Gamma (स्थिर अवधि के बिना)। अनुमानफिट होगा । ज्यामितीय, का घटक है (जो का प्रतिनिधित्व करता है के साथ में बाहर ले जाया) दिशा (जो का प्रतिनिधित्व करता है साथ बाहर ले जाया)।$\delta$$\gamma$

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$$\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

ध्यान दें कि का अनुमान नहीं लगाया गया है। $\beta_2$ यह आसानी से प्राप्त किया जा सकता है जो अब तक प्राप्त किया गया है ( साधारण प्रतिगमन मामले में सिर्फ में ढलान अनुमान से आसानी से प्राप्त होता है )। की द्विचर प्रतिगमन के लिए बच रहे हैं पर और ।$\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$

साधारण प्रतिगमन के साथ समानांतर मजबूत है: चरण (1) और (2) सामान्य सूत्र में साधनों को घटाने के एनालॉग हैं। यदि आप को किसी का वेक्टर हैं, तो आप वास्तव में सामान्य सूत्र को पुनर्प्राप्त करेंगे।$x_2$

यह दो से अधिक चर के साथ प्रतिगमन करने के लिए स्पष्ट तरीके से सामान्यीकरण करता है: का अनुमान लगाने के लिए , सभी अन्य चर के खिलाफ अलग से और फिर से प्राप्त करें, फिर एक दूसरे के खिलाफ अपने अवशेषों को फिर से प्राप्त करें। उस बिंदु पर के एकाधिक प्रतिगमन में अन्य गुणांक में से कोई भी अभी तक अनुमानित नहीं किया गया है।$\hat\beta_1$$y$$x_1$$y$

Comments

शानदार उत्तर, यहाँ एक सामान्य प्रमेय है en.wikipedia.org/wiki/…

— JohnK

Answer 3

का सामान्य न्यूनतम वर्ग अनुमान प्रतिक्रिया चर का एक रैखिक कार्य है$\beta$ । सीधे शब्दों में, गुणांक के ओएलएस अनुमान, का केवल आश्रित चर ( ') और स्वतंत्र चर ( ' s) का उपयोग करके लिखा जा सकता है ।$\beta$$Y_i$$X_{ki}$

एक सामान्य प्रतिगमन मॉडल के लिए इस तथ्य को समझाने के लिए, आपको थोड़ा रैखिक बीजगणित समझने की आवश्यकता है। मान लीजिए कि आप गुणांक का कई प्रतिगमन मॉडल में ,$(\beta_0, \beta_1, ...,\beta_k)$

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

जहाँ लिए । डिज़ाइन मैट्रिक्स एक मैट्रिक्स है जहाँ प्रत्येक कॉलम में निर्भर चर के अवलोकन । आप अनुमानित गुणांक गणना करने के लिए उपयोग किए जाने वाले सूत्र के कई स्पष्टीकरण और व्युत्पन्न पा सकते हैं । , जो हैमैं = 1 , । । । , n X n × k n k t h X $\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$$i=1,...,n$$\mathbf{X}$$n\times k$$n$$k^{th}$$X_k$$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

यह मानते हुए कि व्युत्क्रम मौजूद है। अनुमानित गुणांक डेटा के कार्य हैं, अन्य अनुमानित गुणांक के नहीं।$(\mathbf{X}^\prime \mathbf{X})^{-1}$

Comments

मेरे पास एक अनुवर्ती प्रश्न है, साधारण प्रतिगमन मामले पर, आप तब का एक मैट्रिक्स बन जाता है और , फिर माध्यम से अनुसरण करें । मुझे अपने मामले में समीकरण को कैसे लिखना चाहिए? $y_i=\beta_0+\beta_1\bar x+\beta_1(x_i-\bar x)+e_i$$X$$(1,...,1)$$(x_1-\bar x,...,x_n-\bar x)$$\hat\beta=(X'X)^(-1)X'Y$

— कृपाण CN

और 1 और सवाल, क्या यह उन मामलों पर लागू होता है जहां और रैखिक नहीं हैं, लेकिन मॉडल अभी भी रैखिक है? उदाहरण के लिए क्षय वक्र , क्या मैं घातांक और साथ स्थानापन्न कर सकता हूं, तो यह मेरा मूल प्रश्न बन जाता है? $x_1$$x_2$$y=\beta_1 e^{x_1t}+\beta_2 e^{x_2t}$$x_1'$$x_2'$

— कृपाण CN

अपनी पहली टिप्पणी में, आप चर को केन्द्रित कर सकते हैं (इसके माध्य को इसके से घटा सकते हैं) और उपयोग करें कि आपका स्वतंत्र चर है। "मानकीकृत प्रतिगमन" के लिए खोजें। मैट्रिसेस के संदर्भ में आपने जो फॉर्मूला लिखा है, वह सही नहीं है। आपके दूसरे प्रश्न के लिए, हाँ आप ऐसा कर सकते हैं, एक रेखीय मॉडल एक में रेखीय है वह यह है कि , इसलिए जब तक की एक रैखिक संयोजन के बराबर 'एस तुम ठीक हो। $\beta$$y$$\beta$

— कैबर्क्यू

(+1)। लेकिन यह नहीं होना चाहिए " मैट्रिक्स" के बजाय ? $n \times k$$k \times n$

— मिउरा

Answer 4

सिद्धांत बनाम व्यवहार पर एक छोटा सा लघु नोट। गणितीय रूप से का अनुमान निम्न सूत्र से लगाया जा सकता है:$\beta_0, \beta_1, \beta_2 ... \beta_n$

$$\hat{\beta} = (X'X)^{-1} X'Y$$

जहाँ मूल इनपुट डेटा है और वह चर है जिसका हम अनुमान लगाना चाहते हैं। यह त्रुटि को कम करने से होता है। मैं एक छोटा सा व्यावहारिक बिंदु बनाने से पहले इसे आगे बढ़ाऊंगा।$X$$Y$

बता दें कि त्रुटि है जो रैखिक प्रतिगमन बिंदु पर बनाता है । फिर:$e_i$$i$

$$e_i = y_i - \hat{y_i}$$

कुल चुकता त्रुटि अब हम करते हैं:

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

क्योंकि हमारे पास एक रैखिक मॉडल है जिसे हम जानते हैं कि:

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

जिसे मैट्रिक्स नोटेशन में फिर से लिखा जा सकता है:

$$\hat{Y} = X\beta$$

हम जानते हैं कि

$$\sum_{i=1}^n e_i^2 = E'E$$

हम कुल वर्ग त्रुटि को कम करना चाहते हैं, जैसे कि निम्नलिखित अभिव्यक्ति यथासंभव छोटी होनी चाहिए

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

यह बराबर है:

$$E'E = (Y-X\beta)' (Y-X\beta)$$

पुनर्लेखन भ्रामक लग सकता है लेकिन यह रैखिक बीजगणित से आता है। ध्यान दें कि जब हम कुछ संदर्भों में उन्हें गुणा कर रहे होते हैं, तो वे चर के समान व्यवहार करते हैं।

हम इस तरह के रूप में छोटा है कि इस तरह के के मूल्यों को खोजने के लिए चाहते हैं। हमें व्युत्पन्न को शून्य के बराबर अंतर करने और सेट करने की आवश्यकता होगी। हम यहां चेन नियम का उपयोग करते हैं।$\beta$

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

यह देता है:

$$X'X\beta = X'Y$$

ऐसा अंत में:

$$\beta = (X'X)^{-1} X'Y$$

इसलिए गणितीय रूप से हमें लगता है कि एक समाधान मिल गया है। हालांकि एक समस्या है, और वह यह है कि की गणना करना बहुत कठिन है यदि मैट्रिक्स बहुत बड़ा है। यह संख्यात्मक सटीकता के मुद्दे दे सकता है। इस स्थिति में लिए इष्टतम मानों को खोजने का एक और तरीका एक ढाल मूल विधि का उपयोग करना है। जिस फ़ंक्शन को हम ऑप्टिमाइज़ करना चाहते हैं वह अनबाउंड और उत्तल है, इसलिए यदि आवश्यक हो तो हम अभ्यास में एक ढाल विधि का भी उपयोग करेंगे। $(X'X)^{-1}$$X$$\beta$

Comments

सिवाय इसके कि आपको वास्तव में गणना करने की आवश्यकता नहीं है ...$(X'X)^{-1}$

— user603

वैध बिंदु। कोई भी ग्राम schmidt प्रक्रिया का उपयोग कर सकता है, लेकिन मैं सिर्फ टिप्पणी करना चाहता था कि the वेक्टर के लिए इष्टतम मानों को भी उत्क्रमणीयता के कारण संख्यात्मक रूप से किया जा सकता है। $\beta$

— विंसेंट वार्मडैम

Answer 5

एक साधारण व्युत्पत्ति सिर्फ LR की ज्यामितीय व्याख्या का उपयोग करके की जा सकती है।

रेखीय प्रतिगमन को स्तंभ स्थान पर के प्रक्षेपण के रूप में व्याख्या किया जा सकता है । इस प्रकार, त्रुटि, के स्तंभ स्थान के लिए । $Y$$X$$\hat{\epsilon}$$X$

इसलिए, और त्रुटि के बीच आंतरिक उत्पाद 0 होना चाहिए, अर्थात $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

जिसका तात्पर्य है,

$(X'X)^{-1}X'y = \hat{\beta}$ ।

अब वही किया जा सकता है:

(1) को पर प्रोजेक्ट (त्रुटि ), ,$Y$$X_2$$\delta = Y-X_2 \hat{D}$$\hat{D} = (X_2'X_2)^{-1}X_2'y$

(2) प्रोजेक्ट करना पर (त्रुटि ), ,$X_1$$X_2$$\gamma = X_1 - X_2 \hat{G}$$\hat{G} = (X_1'X_1)^{-1}X_1X_2$

और अंत में,

(3) प्रोजेक्ट करना पर ,$\delta$$\gamma$$\hat{\beta}_1$