बहुभिन्नरूपी रेखीय प्रतिगमन बनाम कई अविभाज्य प्रतिगमन मॉडल

यूनीवेट रिग्रेशन सेटिंग्स में, हम मॉडल करने की कोशिश करते हैं

y = X β + n o i s e

$y = X\beta +noise$

जहाँ वेक्टर का वेक्टर और भविष्यवक्ताओं के साथ डिजाइन मैट्रिक्स । समाधान । $y \in \mathbb{R}^n$ $n$ $X \in \mathbb{R}^{n \times m}$ $m$ $\beta_0 = (X^TX)^{-1}Xy$

बहुभिन्नरूपी प्रतिगमन सेटिंग्स में, हम मॉडल करने की कोशिश करते हैं

Y = X β + n o i s e

$Y = X\beta +noise$

जहाँ अवलोकनों का मैट्रिक्स है और विभिन्न अव्यक्त चर। समाधान । $y \in \mathbb{R}^{n \times p}$ $n$ $p$ $\beta_0 = (X^TX)^{-1}XY$

मेरा सवाल यह है कि अलग-अलग यूनीवेट लीनियर रिग्रेशन करने से अलग कैसे है ? मैंने यहां पढ़ा कि बाद के मामले में हम निर्भर चर के बीच सहसंबंध को ध्यान में रखते हैं, लेकिन मैं इसे गणित से नहीं देखता हूं। $p$

regression multivariate-analysis multivariate-regression

— रॉय
स्रोत

फ्रिसन-वॉ-लवेलल प्रमेय देखें।

— rsm

@amorfati: इसलिए अगर मैं सही ढंग से समझूं, तो वे एक ही हैं। लोग उन्हें अलग तरह से क्यों मानते हैं?

— रॉय

शास्त्रीय बहुभिन्नरूपी रैखिक प्रतिगमन की सेटिंग में, हमारे पास मॉडल है:

Y = X β + ϵ

$Y = X \beta + \epsilon$

जहां स्वतंत्र चर का प्रतिनिधित्व करता है, कई प्रतिक्रिया चर का प्रतिनिधित्व करता है, और एक आईड गॉसियन शोर शब्द है। शोर का शून्य मतलब है, और प्रतिक्रिया चर में सहसंबद्ध किया जा सकता है। भार के लिए अधिकतम संभावना समाधान न्यूनतम वर्ग समाधान (शोर सहसंबंधों की परवाह किए बिना) के बराबर है [1] [२] २: $X$ $Y$ $\epsilon$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat{\beta} = (X^T X)^{-1} X^T Y$

यह प्रत्येक प्रतिक्रिया चर के लिए एक अलग प्रतिगमन समस्या को स्वतंत्र रूप से हल करने के बराबर है। यह तथ्य यह है कि से देखा जा सकता का वें स्तंभ (के लिए वजन युक्त वें उत्पादन चर) गुणा करके प्राप्त किया जा सकता है द्वारा वें के स्तंभ (के मूल्यों से युक्त वें प्रतिक्रिया चर)। $i$ $\hat{\beta}$ $i$ $(X^T X)^{-1} X^T$ $i$ $Y$ $i$

हालांकि, बहुभिन्नरूपी रेखीय प्रतिगमन अलग-अलग प्रतिगमन समस्याओं को हल करने से अलग होता है क्योंकि सांख्यिकीय निष्कर्ष प्रक्रियाएं कई प्रतिक्रिया चर (जैसे [2], [3], [4] देखें) के बीच सहसंबंधों के लिए होती हैं। उदाहरण के लिए, शोर सहसंयोजक मैट्रिक्स नमूना वितरण, परीक्षण आंकड़ों और अंतराल अनुमानों में दिखाई देता है।

यदि हम प्रत्येक प्रतिक्रिया चर को सहसंयोजकों के अपने समूह के लिए अनुमति देते हैं तो एक और अंतर सामने आता है:

Y_{i} = X_{i} β_{i} + ϵ_{i}

$Y_i = X_i \beta_i + \epsilon_i$

$Y_i$ $i$ $X_i$ $\epsilon_i$

संदर्भ

जेलर (1962) । एकत्रीकरण पूर्वाग्रह के लिए प्रतीत होता है असंबंधित रजिस्टरों और परीक्षणों का आकलन करने का एक कुशल तरीका।
हेलविग (2017) । बहुभिन्नरूपी रैखिक प्रतिगमन [स्लाइड]
फॉक्स एंड वीज़बर्ग (2011) । R में बहुभिन्नरूपी रैखिक मॉडल [परिशिष्ट: एप्लाइड प्रतिगमन के लिए एक आर साथी]
मैत्रा (2013) । बहुभिन्नरूपी रैखिक प्रतिगमन मॉडल। [स्लाइड]

— user20160
स्रोत

धन्यवाद, यह अभी स्पष्ट है। क्या आपके पास इस सूत्रीकरण का संदर्भ है? मैंने केवल कम से कम चौकोर रूप का सामना किया है। इसके अलावा, क्या आपको पता है कि पायथन पैकेज लागू करता है?

— रॉय

दूसरा संदर्भ अनुरोध। क्या कोई परिणाम के सहसंयोजक होने के लिए सहसंबंध लेता है, या कोई सशर्त सहसंयोजक सीखता है?

— जेनेरिक_युसर

मुझे 100% यकीन नहीं है कि @ user20160 इनका जिक्र कर रहा था, लेकिन मुझे लगता है कि उनके मन में जो था वह समीकरणों / सामान्यीकृत समीकरणों का अनुमान लगा रहा था। ईओ / जीईई संगत हैं जब सहसंयोजक संरचना गलत होती है और आप अपेक्षित कोवरियन संरचना भी निर्धारित कर सकते हैं। हालाँकि, ये मॉडल एक बंद रूप के साथ OLS के विपरीत चलने का अनुमान है। आपको पायथन में जीईई / ईई का अनुमान लगाने में सक्षम होना चाहिए लेकिन मुझे पैकेज की जानकारी नहीं है।

— इकोबस

@ मैंने उत्तर को फिर से लिखा और संदर्भ जोड़े। मेरा मूल पद उस मामले को मान रहा था जो अब संशोधित पद का अंतिम पैराग्राफ है। मैं बाद में और अधिक विवरण जोड़ने की कोशिश करूंगा।

— user20160