प्रतिगमन गुणांक को सामान्य करने के बारे में प्रश्न

Question

यकीन नहीं है कि अगर सामान्य शब्द यहां उपयोग करने के लिए सही शब्द है, लेकिन मैं जो कुछ भी पूछने की कोशिश कर रहा हूं, उसे स्पष्ट करने की पूरी कोशिश करूंगा। यहां इस्तेमाल किया जाने वाला अनुमानक कम से कम वर्ग है।

मान लें कि आपके पास , तो आप इसका अर्थ जहाँ और , से लगा सकते हैं उस अब अनुमान लगाने पर कोई प्रभाव नहीं है ।$y=\beta_0+\beta_1x_1$$y=\beta_0'+\beta_1x_1'$$\beta_0'=\beta_0+\beta_1\bar x_1$$x_1'=x-\bar x$$\beta_0'$$\beta_1$

इस मैं मतलब द्वारा $\hat\beta_1$ में $y=\beta_1x_1'$ के बराबर है $\hat\beta_1$ में $y=\beta_0+\beta_1x_1$ । हमने आसान वर्ग गणना के लिए समीकरण को कम कर दिया है।

आप इस विधि को सामान्य रूप से कैसे लागू करते हैं? अब मेरे पास मॉडल $y=\beta_1e^{x_1t}+\beta_2e^{x_2t}$ , मैं इसे y = \ beta_1x ' तक कम करने का प्रयास कर रहा हूं $y=\beta_1x'$।

Comments

आप किस प्रकार के डेटा का विश्लेषण कर रहे हैं, और आप अपने मॉडल से , को क्यों निकालना चाहते हैं । इसके अलावा, क्या कोई कारण है कि आप इंटरसेप्ट को हटा रहे हैं? यदि आप डेटा को केंद्र में रखते हैं, तो ढलान मॉडल के साथ / बिना अवरोधन के समान होगा, लेकिन अवरोधन वाला मॉडल आपके डेटा को बेहतर तरीके से फिट करेगा। $e^{x_1t}$

— काबर्के

@caburke मैं मॉडल के फिट होने के बारे में चिंतित नहीं हूं, क्योंकि मैंने और गणना करने के बाद उन्हें वापस मॉडल में डाल दिया है। इस अभ्यास के लिए बिंदु का अनुमान । मूल समीकरण को केवल y = \ beta_1x ' तक कम करके , कम से कम वर्ग गणना आसान हो जाएगी (x' जो मैं जानने की कोशिश कर रहा हूं उसका हिस्सा है, इसमें ई ^ {x_1t} शामिल हो सकता है )। मैं तंत्र को सीखने की कोशिश कर रहा हूं, यह एक किताब टकी का एक सवाल है। β 1 β 2 β 1 y = β 1 एक्स ' ई एक्स 1$\beta_1$$\beta_2$$\beta_1$$y=\beta_1x'$$e^{x_1t}$

— कृपाण CN

@ आपकी टिप्पणी के अंत में अवलोकन हैरान करने वाला है। यह संभवत: अशुभ अभिव्यक्तियों पर लागू नहीं हो सकता है - उनमें ऐसी कोई भी चीज़ नहीं है जिसे यथोचित रूप से "ढलान" माना जा सकता है - लेकिन यह ओएलएस सेटिंग में सही नहीं है: औसत-केंद्रित डेटा के लिए फिट उतना ही अच्छा है एक अवरोधन के साथ फिट। कृपाण, आपका मॉडल अस्पष्ट है: में से कौन सा चर हैं और कौन से पैरामीटर हैं? इच्छित त्रुटि संरचना क्या है? (और Tukey के पुस्तकों की है जहाँ से आप सवाल है?)$\beta_1, \beta_2, x_1, x_2, t$

— whuber

@whuber यह Tukey की पुस्तक "डेटा विश्लेषण और प्रतिगमन: आंकड़ों में एक दूसरा कोर्स" अध्याय 14A से है। वे पैरामीटर हैं जो हम अनुमान लगाने की कोशिश कर रहे हैं, वे प्रत्येक हैं जो n अवलोकनों के साथ हैं, मुझे लगता है कि यह समय चर के साथ जुड़ा हुआ है, हालांकि यह निर्दिष्ट नहीं किया गया था। त्रुटि सामान्य होनी चाहिए और इस प्रश्न को अनदेखा किया जा सकता है। β 1 , β 2 x 1 , x 2$\beta_1,\beta_2$$x_1,x_2$$t$

— कृपाण सीएन

@ जब मैं ज्यादातर पोस्ट के पहले भाग की बात कर रहा था, लेकिन मेरी टिप्पणी में यह स्पष्ट नहीं था। मेरा क्या मतलब था कि यदि आप केवल मीन- मतलब रखते हैं , तो नहीं , जैसा कि ओपी में सुझाया जा रहा था, और फिर इंटरसेप्ट को हटा दें, तो फिट और खराब हो जाएगा, क्योंकि जरूरी नहीं कि यह उस स्थिति में हो, जब । ढलान ओपी की अंतिम पंक्ति में वर्णित मॉडल में गुणांक के लिए एक अच्छा शब्द नहीं है। $x$$y$$\bar{y}=0$

— काबर्के

Answer 1

यद्यपि मैं यहाँ प्रश्न के साथ न्याय नहीं कर सकता हूँ - इसके लिए एक छोटे मोनोग्राफ की आवश्यकता होगी - यह कुछ प्रमुख विचारों को फिर से समझने में मददगार हो सकता है।

प्रश्न

आइए प्रश्न को बहाल करने और अस्पष्ट शब्दावली का उपयोग करके शुरू करें। डेटा का आदेश दिया जोड़ों की सूची से मिलकर बनता है । ज्ञात स्थिरांक और मानों को निर्धारित करते हैं और । हम एक मॉडल प्रस्तुत करते हैं जिसमें$(t_i, y_i)$ $\alpha_1$$\alpha_2$$x_{1,i} = \exp(\alpha_1 t_i)$$x_{2,i} = \exp(\alpha_2 t_i)$

$$y_i = \beta_1 x_{1,i} + \beta_2 x_{2,i} + \varepsilon_i$$

के लिए स्थिरांक और , अनुमान लगाया जा करने के लिए यादृच्छिक रहे हैं, और - वैसे भी एक अच्छा सन्निकटन के लिए - स्वतंत्र और एक आम विचरण (जिसका आकलन ब्याज की भी है) हो रही है।$\beta_1$$\beta_2$$\varepsilon_i$

पृष्ठभूमि: रैखिक "मिलान"

Mosteller और Tukey का उल्लेख चर x 1 = ( x 1 , 1 , x 1 , 2 , … ) और x 2 के रूप में "मेल खाता है।" उन्हें विशिष्ट तरीके से y = ( y 1 , y 2 , ... ) के मूल्यों का "मिलान" करने के लिए उपयोग किया जाएगा , जिसे मैं चित्रित करूंगा। अधिक आम तौर पर, y और x को एक ही यूक्लिडियन सदिश स्थान में कोई भी दो वैक्टर, " y " और x की भूमिका निभाते हैं।$x_1$$(x_{1,1}, x_{1,2}, \ldots)$$x_2$$y = (y_1, y_2, \ldots)$$y$$x$$y$$x$कि "माचिस"। हम कई λ x द्वारा y लगभग अनुमानित करने के लिए एक गुणांक λ को व्यवस्थित रूप से अलग करने पर विचार करते हैं । सबसे अच्छा सन्निकटन तब प्राप्त होता है जब λ x यथासंभव y के करीब होता है। समान रूप से, y - λ x की चुकता लंबाई कम से कम है।$\lambda$$y$$\lambda x$$\lambda x$$y$$y - \lambda x$

इस मिलान प्रक्रिया की कल्पना करने का एक तरीका यह है कि x और y का एक स्कैल्पलॉट बनाया जाए जिस पर x → λ x का ग्राफ खींचा जाए । स्कैप्लेट पॉइंट्स और इस ग्राफ के बीच की ऊर्ध्वाधर दूरियाँ अवशिष्ट वेक्टर y के घटक हैं - λ x ; उनके वर्गों का योग यथासंभव छोटा किया जाना है। आनुपातिकता के एक निरंतरता तक, ये वर्ग उन बिंदुओं पर केंद्रित हलकों के क्षेत्र हैं ( x i , y i ) जो अवशिष्ट के बराबर त्रिज्या के साथ हैं: हम इन सभी मंडलियों के क्षेत्रों का योग कम से कम करना चाहते हैं।$x$$y$$x \to \lambda x$ $y - \lambda x$$(x_i, y_i)$

मध्य पैनल में λ का इष्टतम मान दिखाने वाला एक उदाहरण यहां दिया गया है :$\lambda$

स्कैप्लॉट में बिंदु नीले हैं; x → λ x का ग्राफ एक लाल रेखा है। यह दृष्टांत इस बात पर जोर देता है कि लाल रेखा मूल ( 0 , 0 ) से होकर गुजरने के लिए विवश है : यह लाइन फिटिंग का एक विशेष मामला है।$x \to \lambda x$$(0,0)$

अनुक्रमिक मिलान द्वारा एकाधिक प्रतिगमन प्राप्त किया जा सकता है

प्रश्न की सेटिंग पर लौटते हुए, हमारे पास एक लक्ष्य y और दो माचिस x 1 और x 2 हैं । हम संख्या की तलाश ख 1 और बी 2 , जिसके लिए y द्वारा यथासंभव करीबी रूप से अनुमानित किया गया है ख 1 एक्स 1 + ख 2 एक्स 2 कम से कम दूरी की भावना में फिर से,। एक्स 1 के साथ मनमाने ढंग से शुरुआत करते हुए , मोस्टलेर और टुकी शेष चर x 2 और y से x 1 से मेल खाते हैं$y$$x_1$$x_2$$b_1$$b_2$$y$$b_1 x_1 + b_2 x_2$$x_1$$x_2$$y$$x_1$। के रूप में इन मैचों के लिए बच गया लिखें एक्स 2 ⋅ 1 और y ⋅ 1 क्रमश: ⋅ 1 इंगित करता है कि एक्स 1 की गई चर "से बाहर ले जाया" किया है।$x_{2\cdot 1}$$y_{\cdot 1}$$_{\cdot 1}$$x_1$

हम लिख सकते है

$$y = \lambda_1 x_1 + y_{\cdot 1}\text{ and }x_2 = \lambda_2 x_1 + x_{2\cdot 1}.$$

लेने के बाद एक्स 1 से बाहर एक्स 2 और y , हम लक्ष्य बच मिलान करने के लिए आगे बढ़ना y ⋅ 1 मिलान बच करने के लिए x 2 ⋅ 1 । अंतिम बच रहे हैं y ⋅ 12 । बीजगणितीय रूप से, हमने लिखा है$x_1$$x_2$$y$$y_{\cdot 1}$$x_{2\cdot 1}$$y_{\cdot 12}$

$$\eqalign{ y_{\cdot 1} &= \lambda_3 x_{2\cdot 1} + y_{\cdot 12}; \text{ whence} \\ y &= \lambda_1 x_1 + y_{\cdot 1} = \lambda_1 x_1 + \lambda_3 x_{2\cdot 1} + y_{\cdot 12} =\lambda_1 x_1 + \lambda_3 \left(x_2 - \lambda_2 x_1\right) + y_{\cdot 12} \\ &=\left(\lambda_1 - \lambda_3 \lambda_2\right)x_1 + \lambda_3 x_2 + y_{\cdot 12}. }$$

इससे पता चलता है कि अंतिम चरण में λ 3 x 1 और x 2 से y के मिलान में x 2 का गुणांक है ।$\lambda_3$$x_2$$x_1$$x_2$$y$

हम बस के रूप में अच्छी तरह से पहले लेने से रवाना किया जा सकता था एक्स 2 से बाहर एक्स 1 और y , उत्पादन एक्स 1 ⋅ 2 और y ⋅ 2 , और फिर लेने एक्स 1 ⋅ 2 से बाहर y ⋅ 2 , बच का एक अलग सेट उपज y ⋅ २१ । इस बार, के गुणांक एक्स 1 अंतिम चरण में पाया - के फोन यह जाने μ 3 के गुणांक --is एक्स 1 का मिलान में एक्स 1 और$x_2$$x_1$$y$$x_{1\cdot 2}$$y_{\cdot 2}$$x_{1\cdot 2}$$y_{\cdot 2}$$y_{\cdot 21}$$x_1$$\mu_3$$x_1$$x_1$$x_2$ to $y$.

Finally, for comparison, we might run a multiple (ordinary least squares regression) of $y$ against $x_1$ and $x_2$. Let those residuals be $y_{\cdot lm}$. It turns out that the coefficients in this multiple regression are precisely the coefficients $\mu_3$ and $\lambda_3$ found previously and that all three sets of residuals, $y_{\cdot 12}$, $y_{\cdot 21}$, and $y_{\cdot lm}$, are identical.

Depicting the process

इसमें से कोई भी नया नहीं है: यह सब पाठ में है। मैं एक सचित्र विश्लेषण की पेशकश करना चाहूंगा, जो हमने अब तक प्राप्त की गई सभी चीजों के एक बिखरे हुए मैट्रिक्स का उपयोग करके किया है।

क्योंकि इन डेटा प्रेरित होती है, हमने अंतर्निहित "सही" का मान दिखाने के लक्जरी है y पिछले पंक्ति और स्तंभ पर: इन मूल्यों हैं बीटा 1 एक्स 1 + β 2 एक्स 2 में जोड़ा त्रुटि के बिना।$y$$\beta_1 x_1 + \beta_2 x_2$

विकर्ण के नीचे के स्क्रैपप्लेट्स को मैचर्स के ग्राफ के साथ सजाया गया है, बिल्कुल पहले आंकड़े की तरह। शून्य ढलान वाले रेखांकन लाल रंग में खींचे जाते हैं: ये उन स्थितियों को इंगित करते हैं जहां मिलान करने वाला हमें कुछ भी नया नहीं देता; अवशिष्ट लक्ष्य के समान हैं। इसके अलावा, संदर्भ के लिए, मूल (जहां भी यह एक भूखंड के भीतर दिखाई देता है) एक खुले लाल सर्कल के रूप में दिखाया गया है: याद रखें कि सभी संभव मिलान लाइनों को इस बिंदु से गुजरना होगा।

इस भूखंड का अध्ययन करके प्रतिगमन के बारे में बहुत कुछ सीखा जा सकता है। हाइलाइट्स में से कुछ हैं:

• The matching of $x_2$ to $x_1$ (row 2, column 1) is poor. This is a good thing: it indicates that $x_1$ and $x_2$ are providing very different information; using both together will likely be a much better fit to $y$ than using either one alone.

• Once a variable has been taken out of a target, it does no good to try to take that variable out again: the best matching line will be zero. See the scatterplots for $x_{2\cdot 1}$ versus $x_1$ or $y_{\cdot 1}$ versus $x_1$, for instance.

• The values $x_1$, $x_2$, $x_{1\cdot 2}$, and $x_{2\cdot 1}$ have all been taken out of $y_{\cdot lm}$.

• Multiple regression of $y$ against $x_1$ and $x_2$ can be achieved first by computing $y_{\cdot 1}$ and $x_{2\cdot 1}$. These scatterplots appear at (row, column) = $(8,1)$ and $(2,1)$, respectively. With these residuals in hand, we look at their scatterplot at $(4,3)$. These three one-variable regressions do the trick. As Mosteller & Tukey explain, the standard errors of the coefficients can be obtained almost as easily from these regressions, too--but that's not the topic of this question, so I will stop here.

Code

These data were (reproducibly) created in R with a simulation. The analyses, checks, and plots were also produced with R. This is the code.

#
# Simulate the data.
#
set.seed(17)
t.var <- 1:50                                    # The "times" t[i]
x <- exp(t.var %o% c(x1=-0.1, x2=0.025) )        # The two "matchers" x[1,] and x[2,]
beta <- c(5, -1)                                 # The (unknown) coefficients
sigma <- 1/2                                     # Standard deviation of the errors
error <- sigma * rnorm(length(t.var))            # Simulated errors
y <- (y.true <- as.vector(x %*% beta)) + error   # True and simulated y values
data <- data.frame(t.var, x, y, y.true)

par(col="Black", bty="o", lty=0, pch=1)
pairs(data)                                      # Get a close look at the data
#
# Take out the various matchers.
#
take.out <- function(y, x) {fit <- lm(y ~ x - 1); resid(fit)}
data <- transform(transform(data, 
  x2.1 = take.out(x2, x1),
  y.1 = take.out(y, x1),
  x1.2 = take.out(x1, x2),
  y.2 = take.out(y, x2)
), 
  y.21 = take.out(y.2, x1.2),
  y.12 = take.out(y.1, x2.1)
)
data$y.lm <- resid(lm(y ~ x - 1))               # Multiple regression for comparison
#
# Analysis.
#
# Reorder the dataframe (for presentation):
data <- data[c(1:3, 5:12, 4)]

# Confirm that the three ways to obtain the fit are the same:
pairs(subset(data, select=c(y.12, y.21, y.lm)))

# Explore what happened:
panel.lm <- function (x, y, col=par("col"), bg=NA, pch=par("pch"),
   cex=1, col.smooth="red",  ...) {
  box(col="Gray", bty="o")
  ok <- is.finite(x) & is.finite(y)
  if (any(ok))  {
    b <- coef(lm(y[ok] ~ x[ok] - 1))
    col0 <- ifelse(abs(b) < 10^-8, "Red", "Blue")
    lwd0 <- ifelse(abs(b) < 10^-8, 3, 2)
    abline(c(0, b), col=col0, lwd=lwd0)
  }
  points(x, y, pch = pch, col="Black", bg = bg, cex = cex)    
  points(matrix(c(0,0), nrow=1), col="Red", pch=1)
}
panel.hist <- function(x, ...) {
  usr <- par("usr"); on.exit(par(usr))
  par(usr = c(usr[1:2], 0, 1.5) )
  h <- hist(x, plot = FALSE)
  breaks <- h$breaks; nB <- length(breaks)
  y <- h$counts; y <- y/max(y)
  rect(breaks[-nB], 0, breaks[-1], y,  ...)
}
par(lty=1, pch=19, col="Gray")
pairs(subset(data, select=c(-t.var, -y.12, -y.21)), col="Gray", cex=0.8, 
   lower.panel=panel.lm, diag.panel=panel.hist)

# Additional interesting plots:
par(col="Black", pch=1)
#pairs(subset(data, select=c(-t.var, -x1.2, -y.2, -y.21)))
#pairs(subset(data, select=c(-t.var, -x1, -x2)))
#pairs(subset(data, select=c(x2.1, y.1, y.12)))

# Details of the variances, showing how to obtain multiple regression
# standard errors from the OLS matches.
norm <- function(x) sqrt(sum(x * x))
lapply(data, norm)
s <- summary(lm(y ~ x1 + x2 - 1, data=data))
c(s$sigma, s$coefficients["x1", "Std. Error"] * norm(data$x1.2)) # Equal
c(s$sigma, s$coefficients["x2", "Std. Error"] * norm(data$x2.1)) # Equal
c(s$sigma, norm(data$y.12) / sqrt(length(data$y.12) - 2))        # Equal

Comments

Could multiple regression of $y$ against $x_1$ and $x_2$ still be achieved by first computing $y_{.1}$ and $x_{2.1}$ if $x_1$ and $x_2$ were correlated? Wouldn't it then make a big difference whether we sequentially regressed $y$ on $x_1$ and $x_{2.1}$ or on $x_2$ and $x_{1.2}$ ? How does this relate to one regression equation with multiple explanatory variables?

— miura

@miura, One of the leitmotifs of that chapter in Mosteller & Tukey is that when the $x_i$ are correlated, the partials $x_{i\cdot j}$ have low variances; because their variances appear in the denominator of a formula for the estimation variance of their coefficients, this implies the corresponding coefficients will have relatively uncertain estimates. That's a fact of the data, M&T say, and you need to recognize that. It makes no difference whether you start the regression with $x_1$ or $x_2$: compare y.21 to y.12 in my code.

— whuber

I came across this today, here is what I think on the question by @miura, Think of a 2 dimensional space where Y is to be projected as a combination of two vectors. y = ax1 + bx2 + res (=0). Now think of y as a combination of 3 variables, y = ax1 + bx2 + cx3. and x3 = mx1 + nx2. so certainly, the order in which you choose your variables is going to effect the coefficients. The reason for this is: the minimum error here can be obtained by various combinations. However, in few examples, the minimum error can be obtained by only one combination and that is where the order will not matter.

— Gaurav Singhal

@whuber Can you elaborate on how this equation might be used for a multivariate regression that also has a constant term ? ie y = B1 * x1 + B2 * x2 + c ? It is not clear to me how the constant term can be derived. Also I understand in general what was done for the 2 variables, enough at least to replicate it in Excel. How can that be expanded to 3 variables ? x1, x2, x3. It seems clear that we would need to remove x3 first from y, x1, and x2. then remove x2 from x1 and y. But it is not clear to me how to then get the B3 term.

— Fairly Nerdy

I have answered some of my questions I have in the comment above. For a 3 variable regression, we would have 6 steps. Remove x1 from x2, from x3, and from y. Then remove x2,1 from x3,1 and from y1. Then remove x3,21 from y21. That results in 6 equations, each of which is of the form variable = lamda * different variable + residual. One of those equations has a y as the first variable, and if you just keep substituting the other variables in, you get the equation you need

— Fairly Nerdy