प्रतिगमन गुणांक के लिए यह पूर्वाग्रह-भिन्नता व्यापार क्या है और इसे कैसे प्राप्त किया जाए?

9

में इस पत्र , ( विचरण अवयव के लिए बायेसियन निष्कर्ष केवल का उपयोग करते हुए विरोधाभासों में त्रुटि , Harville, 1974), लेखक का दावा है एक "प्रसिद्ध" बनने के लिए संबंध ", एक रैखिक प्रतिगमन जहां

(y - X β)^{'} H^{- 1} (y - X β) = (y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

y = X β + ϵ,

$y=X\beta+\epsilon,$

ϵ \sim N (0, H) .

$\epsilon\sim\mathcal{N}(0, H).$

यह सर्वविदित कैसे है? इसे साबित करने का सबसे सरल तरीका क्या है?

— Sibbs जुआ
स्रोत

1

यह विकिपीडिया पर है , वहां 'व्युत्पत्ति' देखें।

— user603

@ user603 क्या आप लिंक को स्पष्ट करने का मन रखते हैं? धन्यवाद!

— सिलबस जुआ

@ user603 क्षमा करें मैं वास्तव में यह नहीं देख सकता कि लिंक समस्या का समाधान कैसे करता है। मेरे लिए, मेरे मामले में, समीकरण वार (y) = पूर्वाग्रह + है ... क्या आप विस्तृत कर सकते हैं?

— सिब्बल जुआना

4

@ SibbsGambling ध्यान दें कि आपके समीकरण में भारित रैखिक प्रतिगमन के इस सूत्रीकरण में दो प्रसरण-संबंधित शब्द हैं । बाईं ओर का शब्द सच्चे मॉडल (सटीक मैट्रिक्स द्वारा भारित) के आसपास विचरण से संबंधित है । दाईं ओर पहला शब्द फिटेड मॉडल के आसपास विचरण से संबंधित है। दाईं ओर का दूसरा शब्द पूर्वाग्रह के वर्ग से संबंधित है । यह विचरण-पूर्वाग्रह व्यापार है।

H^{- 1}

$H^{-1}$

— ईडीएम

6

समीकरण में अंतिम शब्द के रूप में लिखा जा सकता है

(एक्स β - एक्स \hat{β})^{'} {एच}^{- 1} (एक्स β - एक्स \hat{β}) ।

$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$

इस रूप में समीकरण कुछ दिलचस्प कह रहा है। यह मानते हुए $H$ सकारात्मक निश्चित और सममित है, इसलिए इसका उलटा है। इसलिए, हम एक आंतरिक उत्पाद को परिभाषित कर सकते हैं $<x, y>_{H^{-1}} = x'H^{-1}y$ , हमें ज्यामिति दे रहा है। फिर उपरोक्त समानता अनिवार्य रूप से कह रही है कि,

(एक्स β - एक्स \hat{β}) ⊥ (y - एक्स \hat{β}) ।

$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$

मैं आपको यह अंतर्ज्ञान देना चाहता था क्योंकि एक टिप्पणीकार ने पहले ही व्युत्पत्ति की एक कड़ी छोड़ दी है।

संपादित करें: पश्चाताप के लिए

एलएचएस:

\begin{array}{rcl} (y - एक्स β)^{'} {एच}^{- 1} (y - एक्स β) & = & y^{'} {एच}^{- 1} y & - & 2 y^{'} {एच}^{- 1} एक्स β & + & β^{'} {एक्स}^{'} {एच}^{- 1} एक्स β \\ = & (ए) & - & (बी) & + & (सी) \end{array}

$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$

आरएचएस:

(y - एक्स \hat{β})^{'} {एच}^{- 1} (y - एक्स \hat{β}) + (β - \hat{β})^{'} ({एक्स}^{'} {एच}^{- 1} एक्स) (β - \hat{β})

$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

\begin{array}{rcl} = & y^{'} {एच}^{- 1} y & - 2 y^{'} {एच}^{- 1} एक्स \hat{β} & + {\hat{β}}^{'} {एक्स}^{'} {एच}^{- 1} एक्स \hat{β} & + β {एक्स}^{'} {एच}^{- 1} एक्स β & - 2 \hat{β} {एक्स}^{'} {एच}^{- 1} एक्स β & + {\hat{β}}^{'} {एक्स}^{'} {एच}^{- 1} एक्स \hat{β} \\ = & (ए) & - (डी) & + (इ) & + (सी) & - (एफ) & + (इ) \end{array}

$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$

रिश्ता:

\hat{β} = ({एक्स}^{'} {एच}^{- 1} एक्स)^{- 1} {एक्स}^{'} {एच}^{- 1} y

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

संबंध में प्लग करके आप यह दिखा सकते हैं कि (B) = (F), और वह 2 (E) = (D)। सब कुछ कर दिया।

— jlimahaverford
स्रोत

क्षमा करें, मैं वास्तव में नहीं देख सकता कि लिंक समस्या को कैसे हल करता है। मेरे लिए, मेरे मामले में, समीकरण वार (y) = पूर्वाग्रह + है ... क्या आप विस्तृत कर सकते हैं?

— सिब्बल जुआना

@SibbsGambling edited my answer including derivation.

— jlimahaverford

@jlimahaverford आप भूल नहीं रहे हैं

y

$y$ सूत्र के अंत में

\hat{β}

$\hat{\beta}$ ?

— ग्यूमो

7

वे इस पहचान को एक तकनीक द्वारा पूरा करते हैं जिसे स्क्वायर पूरा करना कहा जाता है। बाएं हाथ की तरफ एक द्विघात रूप में है, इसलिए इसे बाहर गुणा करके शुरू करें

(y - एक्स β)^{'} {एच}^{- 1} (y - एक्स β) = y^{'} {एच}^{- 1} y - 2 y^{'} {एच}^{- 1} एक्स β + β^{'} {एक्स}^{'} {एच}^{- 1} एक्स β

$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$

जारी रखें और फिर के संदर्भ में फिर से लिखें $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$ । बीजगणित एक प्रकार का लंबा है, लेकिन बायेसियन प्रतिगमन में वर्ग को पूरा करने वाला गुग्लिंग है और आप बहुत सारे संकेत पा सकते हैं। उदाहरण के लिए, बायसायन रेखीय प्रतिगमन पर विकिपीडिया देखें , और स्क्वायर को पूरा करने के बारे में अन्य क्रॉसवैलिड उत्तर यहां की तरह ।

— bill_e
स्रोत

2

यदि आप अपने मैट्रिक्स बीजगणित को जानते हैं, तो यह सब कुछ को गुणा करके और यह सत्यापित करते हुए होना चाहिए कि आपके पास वास्तव में दोनों तरफ समान हैं। यह वही है जो जलीमहाफोर्ड ने प्रदर्शित किया है।

ऐसा करने में सक्षम होने के लिए आपको अनुमान के लिए सूत्र की आवश्यकता है $\hat{\beta}$ । जब हम असम्बद्ध त्रुटि शब्द रखते हैं, तो हम सूत्र को उसी तरह से प्राप्त कर सकते हैं जैसे कि रैखिक प्रतिगमन के लिए। चाल को मानकीकृत करना है।

यहाँ एक आरवी को मानकीकृत करने के बारे में कुछ जानकारी दी गई है जो एक बहुभिन्नरूपी सामान्य वितरण से आती है। मान लेते हैं कि आपके पास है

एक्स ~ एन (μ, Σ) ।

$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$

Σ

$\Sigma$ सकारात्मक निश्चित है, इसलिए आप इसे कारक बना सकते हैं

Σ = P P^{T}

$\Sigma = PP^T$ । अब यादृच्छिक चर

Y = {पी}^{- 1} (एक्स - μ)

$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$ वितरण से आता है

N (0, I)

$\mathcal{N}(0,I)$ । अब हम इस ट्रिक का उपयोग अपनी समस्या को खोजने के लिए कर सकते हैं

\hat{β}

$\hat{\beta}$ । चलो फ़ैक्टर करते हैं

H = P P^{T}

$H=PP^T$ । हमारे पास है

\begin{aligned} y & = एक्स β + ε \\ {पी}^{- 1} y & = {पी}^{- 1} एक्स β + {पी}^{- 1} ε \end{aligned}

$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$ अभी

ϵ

$\epsilon$ मानकीकृत किया गया है, ऐसे

cov (P^{- 1} ϵ) = I

$\text{cov}(P^{-1}\epsilon)=I$ , तो हम अब इसे एक सरल एकाधिक रैखिक प्रतिगमन मॉडल के रूप में मान सकते हैं:

\tilde{एक्स} = {पी}^{- 1} एक्स, \tilde{y} = {पी}^{- 1} y तथा \tilde{ε} = {पी}^{- 1} ε ।

$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$ इसलिए हमें प्रतिगमन समस्या है:

\tilde{y} = \tilde{एक्स} β + \tilde{ε}

$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$ के लिए सूत्र

\hat{β}

$\hat{\beta}$ है

\begin{aligned} \hat{β} & = ({\tilde{एक्स}}^{टी} \tilde{एक्स})^{- 1} {\tilde{एक्स}}^{टी} \tilde{y} \\ = (({पी}^{- 1} एक्स)^{टी} {पी}^{- 1} एक्स)^{- 1} ({पी}^{- 1} एक्स)^{टी} {पी}^{- 1} y \\ = ({एक्स}^{टी} (पी {पी}^{टी})^{- 1} एक्स)^{- 1} एक्स (पी {पी}^{टी})^{- 1} y \\ = ({एक्स}^{टी} {एच}^{- 1} एक्स)^{- 1} एक्स {एच}^{- 1} y \end{aligned}

$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$ यह ऐसा करने के लिए महत्वपूर्ण है, बाकी है, बीजगणित हेरफेर जलिमाहावरफोर्ड द्वारा समाधान में दिखाया गया है।

— Gumeo
स्रोत