साधारण प्रतिगमन और कई प्रतिगमन के के बीच संबंध

Question

OLS प्रतिगमन के के विषय में एक बहुत ही मूल प्रश्न$R^2$

1. ओएलएस प्रतिगमन y ~ X1 चलाएं, हमारे पास , 0.3 कहें$R^2$
2. ओएलएस प्रतिगमन y ~ x2 चलाएं, हमारे पास एक और , 0.4 कहें$R^2$
3. अब हम एक प्रतिगमन y ~ X1 + x2 चलाते हैं, इस प्रतिगमन के R चुकता का क्या मूल्य हो सकता है?

मुझे लगता है कि यह स्पष्ट है कि कई प्रतिगमन के लिए 0.4 से कम नहीं होना चाहिए, लेकिन क्या यह 0.7 से अधिक होना संभव है?$R^2$

Comments

संकेत: यह 1.0 के रूप में उच्च हो सकता है। क्यों? (ज्यामितीय रूप से सोचें। या, विशेष रूप से, यूनिट सर्कल के बारे में भी।)

— कार्डिनल

stats.stackexchange.com/questions/351200/...

— StubbornAtom

Answer 1

दूसरा रजिस्ट्रार केवल उस चीज के लिए बना सकता है, जिसने पहले को वैरिएबल वेरिएबल में समझाने का प्रबंधन नहीं किया था। यहाँ एक संख्यात्मक उदाहरण दिया गया है:

x1सामान्य मानक प्रतिगमन, नमूना आकार 20 के रूप में उत्पन्न करें । व्यापकता के नुकसान के बिना, ले$y_i=0.5x_{1i}+u_i$, कहाँ पे $u_i$ है $N(0,1)$, भी। अब, दूसरे प्रतिगामी x2को केवल आश्रित चर और पहले प्रतिवर्ती के बीच अंतर के रूप में लें।

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

Comments

धन्यवाद! मुझे r चुकता की गलत समझ थी। मैंने सोचा कि अगर x1 + x2 = yतब summary(lm(y~x1))$r.squared + summary(lm(y~x2))$r.squaredकोई १ से कम नहीं होना चाहिए, लेकिन स्पष्ट रूप से मैं गलत हूं ..

— ओलिवियर मा

Answer 2

निचले बाउंड के अलावा, जो या तो 0.3 या 0.4 है, जिसके आधार पर चर पहले मॉडल में प्रवेश करता है, वहां बहुत कुछ नहीं है जो आप कह सकते हैं। कितना$R^2$उगता काफी हद तक उस जानकारी पर निर्भर करता है जो दूसरा चर मॉडल में लाता है। जानकारी से, हम निश्चित रूप से प्रतिक्रिया में समझाया भिन्नता का मतलब है।

एक अवधारणा है जो उस संबंध में महत्वपूर्ण है और यह भविष्यवाणियों के बीच संबंध है । यदि सहसंबंध बड़ा है, तो नया चर न केवल मॉडल के लिए कुछ भी नहीं लाएगा, बल्कि यह आपके मौजूदा चर के लिए अनुमान भी जटिल करेगा, क्योंकि अनुमान अभेद्य हो जाएंगे (बहुस्तरीयता)। यही कारण है कि हम आदर्श रूप से नए चर को दूसरों के लिए रूढ़िवादी होना पसंद करेंगे । अवलोकन अध्ययनों में ऐसा होने की संभावना बहुत कम है, लेकिन इसे नियंत्रित सेटिंग्स में पूरा किया जा सकता है, जैसे कि जब आप अपना खुद का प्रयोग कर रहे हों।

लेकिन आप नई जानकारी को कैसे परिमाणित करते हैं एक चर मॉडल में लाएगा? व्यापक तौर पर इस्तेमाल उपाय है कि इन सभी को ध्यान में रखता है आंशिक $R^2$। यदि आप रैखिक मॉडल के एनोवा से परिचित हैं, तो यह वर्गों के त्रुटि योग में आनुपातिक कमी से अधिक कुछ नहीं है जिसे आप इस चर को अपने मॉडल में शामिल करके पूरा करेंगे। उच्च प्रतिशत वांछनीय हैं जबकि कम लोग शायद आपको यह सोचेंगे कि क्या यह कार्रवाई का सही कोर्स है।

जैसा कि @कार्डिनल ने टिप्पणियों में बताया है, आपके नए निर्धारण का गुणांक 1. जितना अधिक हो सकता है, यह 0.400001 जितना कम भी हो सकता है। अतिरिक्त जानकारी के बिना बताने का कोई तरीका नहीं है।

Comments

@ जॉन, क्या आप आगे बताएंगे कि 0.4 से बड़े होने की आवश्यकता क्यों है? क्या प्रतिगमन की ज्यामितीय व्याख्या यहां मदद करेगी?

— दनाईल

@Dnaiel मॉडल में चर की संख्या के संबंध में दृढ़ संकल्प का गुणांक है।

— जॉन 39

Answer 3

कई रैखिक प्रतिगमन में निर्धारण का गुणांक: कई रैखिक प्रतिगमन में गुणांक-का-निर्धारण द्विघात रूपांकनों का उपयोग करते हुए चर के लिए जोड़ीदार सहसंबंधों के संदर्भ में लिखा जा सकता है:

$$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$$

कहाँ पे $\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$ प्रतिक्रिया वेक्टर और व्याख्यात्मक वैक्टर में से प्रत्येक के बीच सहसंबंधों का वेक्टर है, और $\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$व्याख्यात्मक वैक्टर के बीच सहसंबंधों का मैट्रिक्स है (इस पर अधिक जानकारी के लिए, यह संबंधित प्रश्न देखें )। एक बीवरिएट रिग्रेशन के मामले में:

$$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$$

आपने अपने प्रश्न में अविभाज्य सहसंबंधों के निर्देशों को निर्दिष्ट नहीं किया है, इसलिए सामान्यता की हानि के बिना, हम निरूपित करेंगे $D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$। अपने मूल्यों को प्रतिस्थापित करना$r_{Y,X_1}^2 = 0.3$ तथा $r_{Y,X_2}^2 = 0.4$ पैदावार:

$$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$$

यह संभव है $R^2 > 0.7$, क्योंकि यह दो चर से संयुक्त जानकारी के लिए अपने भागों के योग से अधिक होना संभव है। इस दिलचस्प घटना को 'एन्हांसमेंट' (उदाहरण के लिए, लुईस और एस्कोबार 1986 ) कहा जाता है।