रेखीय प्रतिगमन में, हमें क्यों द्विघात शब्दों को शामिल करना चाहिए जब हम केवल बातचीत के संदर्भ में रुचि रखते हैं?

मान लीजिए कि मैं एक रेखीय प्रतिगमन मॉडल में रुचि रखता हूं, के लिए

Y_{i} = β_{0} + β_{1} x_{1} + β_{2} x_{2} + β_{3} x_{1} x_{2}

$Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2$ , क्योंकि मैं यह देखना चाहूंगा कि क्या दोनों कोवरियों के बीच बातचीत का Y पर कोई प्रभाव पड़ता है।

प्रोफेसरों के कोर्स नोट्स (जिनके साथ मेरा संपर्क नहीं है) में कहा गया है: जब बातचीत की शर्तों को शामिल किया जाता है, तो आपको उनकी डिग्री की शर्तों को शामिल करना चाहिए। अर्थात

Y_{i} = β_{0} + β_{1} x_{1} + β_{2} x_{2} + β_{3} x_{1} x_{2} + β_{4} x_{1}^{2} + β_{5} x_{2}^{2}

$Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2 +\beta_4x_1^2 + \beta_5x_2^2$ प्रतिगमन में शामिल किया जाना चाहिए।

जब हम केवल इंटरैक्शन में रुचि रखते हैं तो दूसरे डिग्री की शर्तों को क्यों शामिल किया जाना चाहिए?

— fool126
स्रोत

अगर मॉडल है

x_{1} x_{2}

$x_1x_2$ , इसमें शामिल होना चाहिए

x_{1}

$x_1$ तथा

x_{2}

$x_2$ । परंतु

x_{1}^{2}

$x_1^2$ तथा

x_{2}^{2}

$x_2^2$ वैकल्पिक हैं।

— user158565

आपके प्रोफेसर की राय असामान्य प्रतीत होती है। यह एक विशेष पृष्ठभूमि या अनुभवों के सेट से स्टेम हो सकता है, क्योंकि "चाहिए" निश्चित रूप से एक सार्वभौमिक आवश्यकता नहीं है। आपको कुछ रुचिकर होने के लिए आँकड़ें .stackexchange.com/questions/11009 मिल सकते हैं ।

— whuber

@ user158565 हाय! मैं पूछ सकता हूं कि हमें भी क्यों शामिल होना चाहिए

x_{1}

$x_1$ तथा

x_{2}

$x_2$ ? मैंने मूल रूप से ऐसा नहीं सोचा था, लेकिन अब जब आपने इसका उल्लेख किया है ..!

— मूर्ख 126

@ शुभंकर हाय! लिंक के लिए धन्यवाद! मुझे लगता है कि मुख्य प्रभाव सहित समझ में आता है, लेकिन मुझे यह समझने में परेशानी होती है कि दूसरे आदेश की शर्तों को शामिल करना। // user158565 मुझे लगता है कि ऊपर दिए गए लिंक ने उत्तर दिया कि, धन्यवाद!

— 23:126 पर मूर्ख 126

क्या आप कृपया डेटा का लिंक पोस्ट करेंगे?

— जेम्स फिलिप्स 0

जवाबों:

यह अनुमान के लक्ष्य पर निर्भर करता है। यदि आप इस बात का अनुमान लगाना चाहते हैं कि क्या कोई अंतर्क्रिया मौजूद है, उदाहरण के लिए, एक कारण के संदर्भ में (या, आमतौर पर, यदि आप सहभागिता गुणांक की व्याख्या करना चाहते हैं), तो आपके प्रोफेसर की यह सिफारिश समझ में नहीं आती है, और यह आता है। तथ्य यह है कि कार्यात्मक रूप के गलत निर्धारण से बातचीत के बारे में गलत अनुमान लग सकते हैं ।

यहां एक सरल उदाहरण है जहां बीच में कोई बातचीत शब्द नहीं है $x_1$ तथा $x_2$ के संरचनात्मक समीकरण में $y$ , फिर भी, यदि आप द्विघात शब्द को शामिल नहीं करते हैं $x_1$ , आप गलत तरीके से निष्कर्ष निकालेंगे $x_1$ के साथ बातचीत करता है $x_2$ जब वास्तव में यह नहीं है।

set.seed(10)
n <- 1e3
x1 <- rnorm(n)
x2 <- x1 + rnorm(n)
y <- x1 + x2 + x1^2 + rnorm(n)
summary(lm(y ~ x1 + x2 + x1:x2))

Call:
lm(formula = y ~ x1 + x2 + x1:x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.7781 -0.8326 -0.0806  0.7598  7.7929 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.30116    0.04813   6.257 5.81e-10 ***
x1           1.03142    0.05888  17.519  < 2e-16 ***
x2           1.01806    0.03971  25.638  < 2e-16 ***
x1:x2        0.63939    0.02390  26.757  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.308 on 996 degrees of freedom
Multiple R-squared:  0.7935,    Adjusted R-squared:  0.7929 
F-statistic:  1276 on 3 and 996 DF,  p-value: < 2.2e-16

इसे केवल छोड़े गए परिवर्तनीय पूर्वाग्रह के मामले के रूप में व्याख्या की जा सकती है, और यहां $x_1^2$ छोड़ा गया चर है। यदि आप वापस जाते हैं और अपने प्रतिगमन में चुकता शब्द शामिल करते हैं, तो स्पष्ट बातचीत गायब हो जाती है।

summary(lm(y ~ x1 + x2 + x1:x2 + I(x1^2)))   

Call:
lm(formula = y ~ x1 + x2 + x1:x2 + I(x1^2))

Residuals:
    Min      1Q  Median      3Q     Max 
-3.4574 -0.7073  0.0228  0.6723  3.7135 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0419958  0.0398423  -1.054    0.292    
x1           1.0296642  0.0458586  22.453   <2e-16 ***
x2           1.0017625  0.0309367  32.381   <2e-16 ***
I(x1^2)      1.0196002  0.0400940  25.430   <2e-16 ***
x1:x2       -0.0006889  0.0313045  -0.022    0.982    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.019 on 995 degrees of freedom
Multiple R-squared:  0.8748,    Adjusted R-squared:  0.8743 
F-statistic:  1739 on 4 and 995 DF,  p-value: < 2.2e-16

बेशक, यह तर्क न केवल द्विघात शब्दों पर लागू होता है, बल्कि सामान्य रूप में कार्यात्मक रूप का गलत निर्धारण है। यहाँ लक्ष्य सशर्त अपेक्षा समारोह को उचित रूप से बातचीत का आकलन करने के लिए तैयार करना है। यदि आप अपने आप को रैखिक प्रतिगमन के साथ मॉडलिंग में सीमित कर रहे हैं, तो आपको इन गैर-शर्तों को मैन्युअल रूप से शामिल करना होगा। लेकिन एक विकल्प अधिक लचीला प्रतिगमन मॉडलिंग का उपयोग करना है, जैसे कि कर्नेल रिज प्रतिगमन उदाहरण के लिए।

— कार्लोस सिनेली
स्रोत

धन्यवाद @CarlosCinelli, निष्कर्ष में, क्या आप कह रहे हैं कि हमें एक ही डिग्री की शर्तों को शामिल करना चाहिए - कार्यात्मक रूप के संभावित गलत निर्धारण के लिए - और प्रतिगमन निर्धारित करने के लिए कि कौन सी शर्तें महत्वपूर्ण हैं?

— मूर्ख १२

@KevinC यहाँ मुख्य प्रश्न है: क्या आप इंटरैक्शन शब्द की व्याख्या करना चाहते हैं? यदि आप करते हैं, तो कार्यात्मक रूप का गलत निर्धारण एक वास्तविक मुद्दा है। द्विघात शब्दों को जोड़ना गैर-रैखिकता पर कब्जा करने का सिर्फ एक सरल तरीका है, लेकिन सामान्य मुद्दा सशर्त अपेक्षा समारोह को उचित रूप से मॉडलिंग कर रहा है।

— कार्लोस सिनेली

कृपया rm(list=ls())यहां पोस्ट किए गए कोड को शामिल न करें! अगर लोग सिर्फ कोड को कॉपी और पेस्ट करते हैं और कोड चलाते हैं, तो उन्हें आश्चर्य हो सकता है ... मैंने इसे अभी के लिए हटा दिया है।

— kjetil b halvorsen

आपके जवाब में जिन दो मॉडलों को आपने सूचीबद्ध किया है, उन्हें यह स्पष्ट करने के लिए फिर से व्यक्त किया जा सकता है कि इसका प्रभाव कैसा है $X_1$ पर निर्भर करने के लिए पोस्ट किया गया है $X_2$ (या दूसरे तरीके से) प्रत्येक मॉडल में।

पहला मॉडल इस तरह से फिर से व्यक्त किया जा सकता है:

Y = β_{0} + (β_{1} + β_{3} X_{2}) X_{1} + β_{2} X_{2} + ϵ,

$Y = \beta_0 + (\beta_1 + \beta_3X_2)X_1 + \beta_2X_2+ \epsilon,$

जो दिखाता है, इस मॉडल में, $X1$ माना जाता है कि इसका रैखिक प्रभाव है $Y$ (के प्रभाव के लिए नियंत्रण $X_2$ ) लेकिन इस रैखिक प्रभाव की भयावहता - ढलान गुणांक द्वारा कब्जा कर लिया $X_1$ - के एक समारोह के रूप में रैखिक परिवर्तन $X_2$ । उदाहरण के लिए, का प्रभाव $X_1$ पर $Y$ के मान के रूप में परिमाण में वृद्धि हो सकती है $X_2$ बढ़ना।

दूसरा मॉडल इस तरह से फिर से व्यक्त किया जा सकता है:

Y = β_{0} + (β_{1} + β_{3} X_{2}) X_{1} + β_{4} X_{1}^{2} + β_{2} X_{2} + β_{5} X_{2}^{2} + ϵ,

$Y = \beta_0 + (\beta_1 + \beta_3X_2)X_1 + \beta_4 X_1^2 + \beta_2X_2 +\beta_5X_2^2 + \epsilon,$

जो दिखाता है, इस मॉडल में, का प्रभाव $X_1$ पर $Y$ (के प्रभाव के लिए नियंत्रण $X_2$ ) को रैखिक के बजाय द्विघात माना जाता है। दोनों को मिलाकर इस द्विघात प्रभाव को पकड़ लिया जाता है $X_1$ तथा $X_1^2$ मॉडल में। जबकि गुणांक $X_1^2$ से स्वतंत्र माना जाता है $X_2$ , के गुणांक $X_1$ माना जाता है कि रैखिक पर निर्भर है $X_2$ ।

या तो मॉडल का उपयोग करने का मतलब है कि आप प्रभाव के स्वरूप के बारे में पूरी तरह से अलग धारणा बना रहे हैं $X_1$ पर $Y$ (के प्रभाव के लिए नियंत्रण $X_2$ )।

आमतौर पर, लोग पहले मॉडल को फिट करते हैं। इसके बाद वे उस मॉडल के अवशेषों के खिलाफ साजिश रच सकते हैं $X_1$ तथा $X_2$ बारी - बारी। यदि अवशिष्टों के एक समारोह के रूप में अवशिष्ट में एक द्विघात पैटर्न प्रकट होता है $X_1$ और / या $X_2$ , मॉडल को तदनुसार बढ़ाया जा सकता है ताकि इसमें शामिल हो $X_1^2$ और / या $X_2^2$ (और संभवतः उनकी बातचीत)।

ध्यान दें कि मैंने आपके द्वारा संगति के लिए उपयोग किए गए नोटिफिकेशन को सरल बनाया और दोनों मॉडलों में थेरेपी की अवधि को स्पष्ट किया।

— इसाबेला घीम
स्रोत

Hi @IsabellaGhement , thank you for your explanation. In summary, there are really no "rules" in that we should add quadratic terms if we include interaction terms. At the end of the day, it comes back to the assumptions we are making about our model, and the results of our analysis (ie. residual plots). Is this correct? Thanks again :)!

— fool126

यह सही है, केविन! कोई "नियम" नहीं हैं, क्योंकि प्रत्येक डेटा सेट अलग है और विभिन्न प्रश्नों के उत्तर देने के लिए भी है। इसीलिए हमारे लिए यह जानना महत्वपूर्ण है कि हम उस डेटा सेट के लिए फिट होने वाले प्रत्येक मॉडल का अर्थ अलग-अलग धारणाएँ मानते हैं, जिन्हें मॉडल परिणामों पर भरोसा करने के लिए डेटा द्वारा हमें समर्थन की आवश्यकता होती है। मॉडल डायग्नोस्टिक प्लॉट्स (उदाहरण के लिए, अवशिष्ट बनाम फिट मूल्यों की साजिश) हमें यह सत्यापित करने में मदद करते हैं कि क्या - यदि कोई हो - डेटा मॉडल मान्यताओं का समर्थन करता है।

— इसाबेला घीमे

@ केविनसी: बढ़िया! आपको भी हैप्पी, केविन! Ella

— इसाबेला घीमे