क्या कई प्रतिगमन के लिए गुणांक खोजने के लिए सहसंयोजक मैट्रिक्स का उपयोग करने का एक तरीका है?

सरल रैखिक प्रतिगमन के लिए, प्रतिगमन गुणांक मैट्रिक्स से सीधे गणना योग्य , जहां आश्रित चर का सूचकांक है, और व्याख्यात्मक चर का सूचकांक है। $C$

\frac{C_{d, e}}{C_{e, e}}

$C_{d, e}\over C_{e,e}$

d

$d$

e

$e$

यदि किसी के पास केवल सहसंयोजक मैट्रिक्स है, तो क्या कई व्याख्यात्मक चर वाले मॉडल के लिए गुणांक की गणना करना संभव है?

ETA: दो व्याख्यात्मक चर के लिए, ऐसा प्रतीत होता है कि और अनुरूप रूप से । मैं तुरंत नहीं देख रहा हूं कि इसे तीन या अधिक चर तक कैसे बढ़ाया जाए।

β_{1} = \frac{C o v (y, x_{1}) v a r (x_{2}) - C o v (y, x_{2}) C o v (x_{1}, x_{2})}{v a r (x_{1}) v a r (x_{2}) - C o v (x_{1}, x_{2})^{2}}

$\beta_1 = \frac{Cov(y,x_1)var(x_2) - Cov(y,x_2)Cov(x_1,x_2)}{var(x_1)var(x_2) - Cov(x_1,x_2)^2}$

β_{2}

$\beta_2$

regression regression-coefficients covariance-matrix

— डेविड
स्रोत

गुणांक वेक्टर का समाधान है । कुछ बीजीय जोड़तोड़ से पता चलता है कि यह वास्तव में 2-गुणांक मामले में आपके द्वारा दिए गए फॉर्मूले के समान है। अच्छी तरह से यहाँ बाहर निकलना: stat.purdue.edu/~jennings/stat514/stat512notes/topic3.pdf । यकीन नहीं है कि अगर बिल्कुल मदद करता है। लेकिन मैं यह अनुमान लगाने के लिए उद्यम करूंगा कि यह उस सूत्र के आधार पर सामान्य रूप से असंभव है।

\hat{β}

$\hat{\beta}$

X^{'} Y = (X^{'} X)^{- 1} β

$X'Y=(X'X)^{-1}\beta$

— छायाकार

@ डेविड क्या आपने बताया कि व्याख्यात्मक चर (2 से परे) की मनमानी संख्या तक इसे कैसे बढ़ाया जाए? मुझे अभिव्यक्ति चाहिए।

— जेन वेन

@JaneWayne मुझे यकीन नहीं है कि मैं आपके प्रश्न को समझता हूं: व्हिबर ने मैट्रिक्स रूप में नीचे दिए गए समाधान,

C^{- 1} (Cov (X_{i}, y))^{'}

$C^{-1}(\text{Cov}(X_i, y))^\prime$

— डेविड

हाँ, मैंने इसका अध्ययन किया और वह सही है।

— जेन वेन

हां, सभी चर के व्याख्यात्मक मैट्रिक्स - व्याख्यात्मक और प्रतिक्रिया - में सभी गुणांक खोजने के लिए आवश्यक जानकारी शामिल है, बशर्ते एक इंटरसेप्ट (निरंतर) शब्द मॉडल में शामिल है। (हालांकि सहसंयोजक निरंतर शब्द के बारे में कोई जानकारी नहीं देते हैं, यह डेटा के साधनों से पाया जा सकता है।)

विश्लेषण

व्याख्यात्मक चर के डेटा को -dimensional कॉलम vectors और प्रतिक्रिया चर के रूप में व्यवस्थित किया जाना चाहिए स्तंभ वेक्टर , एक यादृच्छिक चर की प्राप्ति माना जाता है । साधारण कम से कम वर्गों अनुमान मॉडल में गुणांकों के $n$ $x_1, x_2, \ldots, x_p$ $y$ $Y$ $\hat\beta$

E (Y) = α + X β

$\mathbb{E}(Y) = \alpha + X\beta$

कोडांतरण द्वारा प्राप्त कर रहे हैं स्तंभ वैक्टर एक में सरणी और रेखीय समीकरण प्रणाली को सुलझाने $p+1$ $X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$ $n \times p+1$ $X$

X^{'} X \hat{β} = X^{'} y .

$X^\prime X \hat\beta = X^\prime y.$

यह सिस्टम के बराबर है

\frac{1}{n} X^{'} X \hat{β} = \frac{1}{n} X^{'} y .

$\frac{1}{n}X^\prime X \hat\beta = \frac{1}{n}X^\prime y.$

गाऊसी उन्मूलन इस प्रणाली को हल करेगा। यह मैट्रिक्स से सटे हुए से आगे बढ़ता है $p+1\times p+1$ और-vector $\frac{1}{n}X^\prime X$ $p+1$ एक मेंसरणीऔर यह पंक्ति को कम करने। $\frac{1}{n}X^\prime y$ $p+1 \times p+2$ $A$

पहला चरण का निरीक्षण करेगा। इसे नॉनजरो होने के कारण, यहअपने पहले कॉलम में शेष प्रविष्टियों को शून्य करने के लिए शेष पंक्तियों में सेकी पहली पंक्ति के उपयुक्त गुणकों को घटाता है। ये गुणक $\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$ $A$ और नंबर की प्रविष्टि से घटायाबराबर होगा। यहऔरके सहसंयोजक के लिए सिर्फ सूत्र है। इसके अलावा,स्थितिमें बचे नंबरबराबर है $\frac{1}{n}X_0^\prime X_i = \overline X_i$ $A_{i+1,j+1} = X_i^\prime X_j$ $\overline X_i \overline X_j$ $X_i$ $X_j$ $i+1, p+2$ , की सहप्रसरणसाथ। $\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$ $X_i$ $y$

इस प्रकार, गाऊसी उन्मूलन के पहले चरण के बाद प्रणाली को हल करने के लिए कम कर दिया जाता है

C \hat{β} = (Cov (X_{i}, y))^{'}

$C\hat{\beta} = (\text{Cov}(X_i, y))^\prime$

और स्पष्ट रूप से - चूंकि सभी गुणांक सहसंयोजक हैं - यह समाधान सभी चर के सहसंयोजक मैट्रिक्स से पाया जा सकता है।

(जब उलटी है समाधान लिखा जा सकता है । प्रश्न में दिए गए फार्मूले इस के विशेष मामले हैं जब और ऐसे फार्मूले बाहर लेखन स्पष्ट रूप से होगा। बढ़ता ही अधिक से अधिक जटिल हो जाता है। इसके अलावा, वे संख्यात्मक अभिकलन के लिए नीच हैं, जो मैट्रिक्स को निष्क्रिय करने के बजाय समीकरणों की प्रणाली को हल करके सबसे अच्छा किया जाता ।) $C$ $C^{-1}(\text{Cov}(X_i, y))^\prime$ $p=1$ $p=2$ $p$ $C$

निरंतर अवधि के औसत के बीच का अंतर हो जाएगा और मतलब मूल्यों का अनुमान से की भविष्यवाणी की । $y$ $X\hat{\beta}$

उदाहरण

वर्णन करने के लिए, निम्न Rकोड कुछ डेटा बनाता है, उनके सहसंयोजकों की गणना करता है, और उस जानकारी से पूरी तरह से कम से कम चौकोर गुणांक अनुमान प्राप्त करता है। यह उनकी तुलना सबसे कम वर्ग के अनुमानक से प्राप्त अनुमानों से करता है lm।

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat

आउटपुट दो तरीकों के बीच समझौता दिखाता है:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675

— व्हीबर
स्रोत

X

$X$ cov(z)

इस तरह के उत्तर इस क्रॉस की वैधता को

— बढ़ाते हैं

@whuber In your example, you computed the intercept from y and x and beta.hat. The y and x are part of the original data. Is it possible to derive the intercept from the covariance matrix and means alone? Could you please provide the notation?

— Jane Wayne

@Jane Given only the means

\bar{X}

$\bar X$ , apply

\hat{β}

$\hat \beta$ to them:

\bar{X} \hat{β} = \bar{X \hat{β}} .

$\overline X \hat\beta = \overline{X \hat\beta}.$ I have changed the code to reflect this.

— whuber

very helpful +1 for the code

— Michael