सरल रेखीय प्रतिगमन में स्विचिंग प्रतिक्रिया और व्याख्यात्मक चर का प्रभाव

48

मान लीजिए कि बीच कुछ "सही" संबंध मौजूद है चलो $y$ और $x$ ऐसी है कि $y = ax + b + \epsilon$ , जहां $a$ और $b$ स्थिरांक हैं और $\epsilon$ आईआईडी सामान्य शोर है। जब मैं बेतरतीब ढंग से उस आर कोड से डेटा उत्पन्न करता हूं: x <- 1:100; y <- ax + b + rnorm(length(x))और फिर एक मॉडल फिट करता y ~ xहूं जैसे , मुझे स्पष्ट रूप से $a$ और लिए काफी अच्छे अनुमान मिलते हैं $b$ ।

यदि मैं चर की भूमिका को इस रूप में बदल देता हूं (x ~ y), और फिर $y$ को कार्य करने के लिए परिणाम को फिर से लिखता हूं $x$ , तो परिणामी ढलान हमेशा y ~ xप्रतिगमन द्वारा अनुमानित की तुलना में अधिक (या तो नकारात्मक या अधिक सकारात्मक) होता है । मैं यह समझने की कोशिश कर रहा हूं कि वास्तव में ऐसा क्यों है और इसकी सराहना करेंगे अगर कोई मुझे वहां जाने के लिए एक अंतर्ज्ञान दे सकता है।

regression

— ग्रेग अपोंटे
स्रोत

1

यह सामान्य रूप से सच नहीं है। शायद आप इसे अपने डेटा में देख रहे हैं। इस कोड को चिपकाएँ: y = rnorm (10); x = rnorm (10); एल एम (y ~ x); एल एम (एक्स ~ y); R में कई बार और आप पाएंगे कि यह दोनों तरह से जाता है।

— मैक्रों

जो मैं वर्णन कर रहा था, उससे थोड़ा अलग है। आपके उदाहरण में y बिल्कुल भी x का कार्य नहीं था, इसलिए वास्तव में कोई "ढलान" (मेरे उदाहरण में 'a') नहीं है।

— ग्रेग एपोनेट

एल एम (y ~ x) फिट बैठता है मॉडल

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ कम से कम वर्गों (एमएल आकलन के बराबर जब त्रुटियों आईआईडी सामान्य हों तो)। एक ढलान है।

— मैक्रों

2

आपका प्रश्न पूछा गया है और इसका उत्तर दिया गया है (छाँटे हुए) पर आँकड़े ।stackexchange.com / questions / 13126 और आँकड़ा । हालांकि, मेरा मानना है कि किसी ने अभी तक ( बनाम )

Y

$Y$ बनाम

X

$X$ , (बी)

X

$X$ बनाम

प्रतिगमन

Y

$Y$ , (सी)

X

$X$ और

के सहसंबंध के विश्लेषण का

Y

$Y$ (डी) के बीच संबंधों का एक सरल, स्पष्ट विवरण में योगदान नहीं किया है त्रुटियों में चर के प्रतिगमन

X

$X$ और

Y

$Y$ , और (ई) के लिए एक द्विचर सामान्य वितरण फिटिंग

(X, Y)

$(X,Y)$ । यह इस तरह के एक प्रदर्शन के लिए एक अच्छी जगह होगी :-)।

— whuber

2

बेशक मैक्रों सही है: क्योंकि x और y प्रश्न में समान भूमिका निभाते हैं, जो ढलान अधिक चरम है वह मौका का मामला है। हालांकि, ज्यामिति (गलत तरीके से) बताती है कि जब हम प्रतिगमन में x और y को उल्टा करते हैं, तो हमें मूल ढलान के प्राप्तकर्ता को प्राप्त करना चाहिए । यह कभी नहीं होता है सिवाय जब x और y रैखिक रूप से निर्भर होते हैं। इस प्रश्न की व्याख्या इस रूप में की जा सकती है कि क्यों।

— whuber

23

विमान में डेटा पॉइंट्स को देखते हुए , हम एक सीधी रेखा । हम यह अनुमान तो मूल्य के रूप में की , तो त्रुटि है $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ ,चुकता त्रुटिहै , औरकुल चुकता त्रुटि । हम पूछते हैं $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

किस विकल्प और को कम करता है ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

चूँकि सीधी रेखा से की लंबवत दूरी है , हम उस रेखा के लिए पूछ रहे हैं जैसे बिंदुओं से ऊर्ध्वाधर बिंदुओं के वर्गों का योग लाइन यथासंभव छोटी है। अब दोनों की द्विघात क्रिया है और और उसके न्यूनतम मूल्य उपलब्ध हो जाता है जब और है कि इस तरह कर रहे हैं $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ दूसरे समीकरण से, हम मिल

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

जहां

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

क्रमशः

का अंकगणितीय औसत मानऔर

है। पहले समीकरण में प्रतिस्थापित, हमें

मिलता

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

इस प्रकार,

कोन्यूनतम करने वाली रेखाको

रूप में व्यक्त किया जा सकता है

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

यदि हम और की भूमिकाओं का आदान-प्रदान करते हैं , तो एक रेखा , और और के मूल्यों को पूछें जो कम करते हैं। अर्थात, हम ऐसी रेखा चाहते हैं कि बिंदुओं के क्षैतिज दूरी के वर्गों का योग । लाइन जितना संभव हो उतना छोटा है, फिर हम प्राप्त करते हैं $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ और का न्यूनतम मान ,

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

ध्यान दें कि दोनों रेखाएँ बिंदु लेकिन ढलान सामान्य रूप से भिन्न हैं। दरअसल, जैसा कि @whuber किसी टिप्पणी में बताते हैं, ढलान एक ही है जब सभी बिंदु एक ही सीधी रेखा पर स्थित होते हैं। यह देखने के लिए, ध्यान दें कि $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— दिलीप सरवटे
स्रोत

धन्यवाद! abs (सहसंबंध) <1 का कारण है कि ढलान उल्टे मामले में व्यवस्थित रूप से स्थिर था।

— ग्रेग अपोंटे

(+1) लेकिन मैंने आपके द्वारा अभी-अभी जो कुछ कहा है उसका एक उदाहरण के साथ एक उत्तर जोड़ा, जैसा कि मेरे पास एक ज्यामितीय दिमाग है :)

— एल्विस

कक्षा उत्तर (+1)

— डिजीओ

39

दिलीप के उत्तर को स्पष्ट करने के लिए: निम्नलिखित चित्रों पर,

काले बिंदु डेटा बिंदु हैं;
बाईं ओर, काली रेखा द्वारा प्राप्त प्रतिगमन रेखा है y ~ x, जो लाल खंडों की लंबाई के वर्गों को कम करती है;
दाईं ओर, काली रेखा द्वारा प्राप्त प्रतिगमन रेखा है x ~ y, जो लाल खंडों की लंबाई के वर्गों को कम करती है।

प्रतिगमन लाइनें

संपादित करें (कम से कम आयताकार प्रतिगमन)

यदि "प्रतिक्रिया" और "कोवरिएट" को चुनने का कोई प्राकृतिक तरीका नहीं है, लेकिन इसके बजाय दो चर अन्योन्याश्रित हैं जो आप और लिए एक सममित भूमिका के संरक्षण की इच्छा कर सकते हैं ; इस मामले में आप "कम से कम आयताकार प्रतिगमन" का उपयोग कर सकते हैं। $y$ $x$

हमेशा की तरह लिखें ; $Y = aX + b + \epsilon$
denote और सशर्त का अनुमान और सशर्त का ; $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
छोटा करें, जो $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

यहां समान डेटा बिंदुओं के साथ एक चित्रण है, प्रत्येक बिंदु के लिए, एक "आयत" की गणना दो लाल खंडों की लंबाई के उत्पाद के रूप में की जाती है, और आयतों का योग कम से कम किया जाता है। मुझे इस प्रतिगमन के गुणों के बारे में अधिक जानकारी नहीं है और मुझे Google के साथ बहुत कुछ नहीं मिला।

कम से कम आयतें

— एल्विस
स्रोत

14

कुछ नोट्स: ( 1 ) जब तक मैं गलत नहीं हूँ, ऐसा लगता है कि "कम से कम आयताकार प्रतिगमन" मैट्रिक्स के पहले प्रिंसिपल घटक को लेने से प्राप्त समाधान के बराबर है। केंद्र में रखने के बाद और इकाई विचरण और फिर बैकसुबस्टुटिंग करने के लिए rescaling। (प्रतियोगिता।)

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— कार्डिनल

14

(शेष भाग।) ( 2 ) इस तरह से देखा गया, यह देखना आसान है कि यह "कम से कम आयतों प्रतिगमन" का एक रूप के बराबर है है ओर्थोगोनल (या कुल) कम से कम वर्गों , और इस प्रकार ( 3 ) के एक विशेष मामला डेमिंग प्रतिगमन पर केंद्रित, पुनर्विकसित वैक्टर ले रहा है । ऑर्थोगोनल कम से कम वर्गों को "कम से कम-मंडलियां प्रतिगमन" माना जा सकता है।

δ = 1

$\delta = 1$

— कार्डिनल

2

@ कार्डिनल बहुत दिलचस्प टिप्पणियाँ! (+1) मेरा मानना है कि प्रमुख अक्ष (रेग लाइन और सभी बिंदुओं, आ ला पीसीए के बीच लंबवत दूरी को कम करना) या प्रमुख अक्ष प्रतिगमन को कम करना , या लीजेंड्रे द्वारा lmodel2 R पैकेज में उदाहरण के रूप में द्वितीय प्रतिगमन को भी प्रासंगिक है। चूँकि उन तकनीकों का उपयोग तब किया जाता है जब यह बताना मुश्किल होता है कि प्रत्येक चर (प्रतिक्रिया या पूर्वसूचक) में कौन सी भूमिका होती है या जब हम माप की त्रुटियों का हिसाब चाहते हैं।

— CHL

1

@chl: (+1) हां, मेरा मानना है कि आप सही हैं और कुल कम से कम वर्गों पर विकिपीडिया पृष्ठ समान प्रक्रिया के लिए कई अन्य नामों को सूचीबद्ध करता है, जिनमें से सभी से मैं परिचित नहीं हूं। यह कम से कम R. Frisch, सांख्यिकीय संगम विश्लेषण के लिए पूर्ण प्रतिगमन प्रणाली , Universitetets etkonomiske Instituut, 1934 के माध्यम से वापस जाना प्रतीत होता है जहां इसे विकर्ण प्रतिगमन कहा जाता था ।

— कार्डिनल

3

@cardinal मैं और अधिक सावधान किया जाना चाहिए था जब विकिपीडिया प्रविष्टि ... भविष्य में संदर्भ के लिए पढ़ने, यहाँ एक है चित्र से लिया biostatistical डिजाइन और विश्लेषण अनुसंधान का उपयोग करना , एम लोगान द्वारा (विले, 2010;।। छवि 8.4, पी 174) , जो अलग-अलग दृष्टिकोणों को संक्षेप में प्रस्तुत करता है, जैसे एल्विस के अच्छे चित्र।

— CHL

13

सिर्फ एक संक्षिप्त नोट कि आप ढलान को एक प्रतिगमन के लिए छोटा क्यों देखते हैं। दोनों ढलान तीन संख्याओं पर निर्भर करते हैं: और ( और ) के मानक विचलन , और और ( ) के बीच संबंध । प्रतिक्रिया के रूप में साथ प्रतिगमन में ढलान और प्रतिक्रिया के रूप में साथ प्रतिगमन में ढलान , इसलिए दूसरे के पारस्परिक के लिए पहली ढलान का अनुपात बराबर है । $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

तो अधिक से अधिक विचरण के अनुपात को समझाया, प्रत्येक मामले से प्राप्त ढलानों के करीब। ध्यान दें कि समझाया गया विचरण का अनुपात सममित है और सरल रेखीय प्रतिगमन में चुकता सहसंबंध के बराबर है।

— probabilityislogic
स्रोत

1

इस पर ध्यान देने का एक सरल तरीका यह है कि, यदि सही मॉडल , आप दो प्रतिगमन चलाते हैं: $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

फिर हमारे पास : $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

तो क्या आपको स्टेटर ढलान मिलता है या नहीं बस अनुपात पर निर्भर करता है । यह अनुपात मान्य मॉडल के आधार पर समान है: $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

अन्य उत्तरों के साथ लिंक करें

आप इस परिणाम को दूसरों के उत्तरों से जोड़ सकते हैं, जिन्होंने कहा था कि जब , तो यह पारस्परिक होना चाहिए। दरअसल, , और भी, (कोई अनुमान त्रुटि नहीं), इसलिए: $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

तो $b_{x\sim y}=1/\beta$

— Matifou
स्रोत

0

यह दिलचस्प हो जाता है जब आपके इनपुट पर शोर होता है (जो हम तर्क दे सकते हैं कि हमेशा ऐसा ही होता है, कोई भी आदेश या अवलोकन कभी भी सही नहीं होता है)।

मैंने घटना का निरीक्षण करने के लिए कुछ सिमुलेशन का निर्माण किया है, जो कि एक साधारण रैखिक संबंध पर आधारित है , जिसमें दोनों x और y पर गॉसियन शोर है। मैंने टिप्पणियों को निम्नानुसार उत्पन्न किया (अजगर कोड): $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

अलग-अलग परिणाम देखें (ओआरडी यहां ऑर्थोगोनल डिस्ट्रेशन रिग्रेशन है, यानी कम से कम आयताकार रिग्रेशन):

सभी कोड में है:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— लेवेस्क
स्रोत

0

रिग्रेशन लाइन (हमेशा) सच्चे रिश्ते के समान नहीं है

आपके पास कुछ 'सच्चे' कारण जैसे संबंध हो सकते हैं

y = a + b x + ϵ

$y = a + bx + \epsilon$

लेकिन प्रतिगमन प्रतिगमन रेखाएँ y ~ xया x ~ yउस कारण संबंध के समान नहीं होतीं (भले ही व्यवहार में प्रतिगमन रेखा में से किसी एक के लिए अभिव्यक्ति का कारण 'सत्य' संबंध के लिए अभिव्यक्ति के साथ हो सकता है)

ढलानों के बीच अधिक सटीक संबंध

दो स्विच किए गए सरल रैखिक प्रतिगमन के लिए:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

आप निम्नलिखित के रूप में ढलानों से संबंधित कर सकते हैं:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

तो ढलान एक दूसरे के विपरीत नहीं हैं ।

सहज बोध

कारण यह है कि

रिग्रेशन लाइन्स और सहसंबंध आवश्यक रूप से वन-टू-वन एक कारण संबंध के अनुरूप नहीं होते हैं ।
रिग्रेशन लाइन्स एक सशर्त प्रायिकता या सर्वोत्तम भविष्यवाणी से सीधे संबंधित होती हैं।

आप कल्पना कर सकते हैं कि सशर्त संभावना रिश्ते की ताकत से संबंधित है। रिग्रेशन रेखाएं इसे दर्शाती हैं और रेखाओं का ढलान दोनों उथले हो सकते हैं जब संबंध की ताकत छोटी होती है या दोनों मजबूत होती हैं जब संबंध की ताकत मजबूत होती है। ढलान बस एक दूसरे के उलटे नहीं होते हैं।

उदाहरण

यदि दो चर और एक-दूसरे से संबंधित होते हैं (कारण) रैखिक संबंध तो आप सोच सकते हैं कि उस रिश्ते को पूरी तरह से उलट देना अच्छा नहीं होगा यदि आप को दिए गए मान के आधार पर व्यक्त करना चाहते हैं । $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

के बजाय

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

इसका उपयोग करना भी बेहतर होगा

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

उनके संबंधित प्रतिगमन लाइनों के साथ निम्न उदाहरण वितरण देखें। डिस्ट्रीब्यूशन मल्टीवेरिएट सामान्य के साथ और $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

सशर्त अपेक्षित मान (एक रेखीय प्रतिगमन में आपको क्या मिलेगा) हैं

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

और साथ इस मामले में एक बहुभिन्नरूपी सामान्य वितरण है, तो सीमांत वितरण हैं $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

तो आप वैरिएबल Y को पार्ट रूप में देख सकते हैं और साथ एक पार्ट शोर हो सकता है । यही सच दूसरे तरीके से भी है। $\rho X$ $1-\rho^2$

सहसंबंध गुणांक जितना बड़ा होगा, दो रेखाएं ही करीब होंगी। लेकिन कम सहसंबंध, कम मजबूत संबंध है, कम खड़ी लाइनों हो जाएगा (इस के लिए सच है दोनों लाइनों और ) $\rho$ Y ~ XX ~ Y

— सेक्सटस एम्पिरिकस
स्रोत

0

संक्षिप्त उत्तर

एक सरल रेखीय प्रतिगमन का लक्ष्य yपरिवर्तनशील के दिए गए मानों को चर के सर्वोत्तम पूर्वानुमानों के साथ आना है x। यह xवैरिएबल के दिए गए मूल्यों के साथ, yवैरिएबल के सर्वश्रेष्ठ पूर्वानुमान के साथ आने का प्रयास करने से अलग लक्ष्य है ।

सरल रेखीय प्रतिगमन y ~ xआपको yदिए गए पूर्वानुमान के लिए 'सर्वोत्तम' संभव मॉडल देता है x। इसलिए, यदि आप इसके लिए एक मॉडल फिट करते हैं x ~ yऔर बीजगणितीय रूप से इसे उल्टा करते हैं, तो यह मॉडल अपने सबसे अच्छे रूप में और साथ ही मॉडल के लिए सबसे अच्छा कर सकता है y ~ x। लेकिन एक मॉडल फिट करने के लिए 'इष्टतम' मॉडल की तुलना x ~ yमें आमतौर पर yदिए गए पूर्वानुमान पर बुरा असर पड़ेगा , क्योंकि "इनवर्टेड मॉडल" एक अलग उद्देश्य को पूरा करने के लिए बनाया गया था।xy ~ xx ~ y

चित्रण

कल्पना करें कि आपके पास निम्नलिखित डेटासेट हैं:

जब आप एक OLS प्रतिगमन चलाते हैं y ~ x, तो आप निम्न मॉडल के साथ आते हैं

y = 0.167 + 1.5*x

यह yनिम्नलिखित पूर्वानुमान बनाकर पूर्वानुमानों का अनुकूलन करता है , जिसमें संबंधित त्रुटियाँ हैं:

ओएलएस रिग्रेशन की भविष्यवाणियां इस मायने में इष्टतम हैं कि सबसे दाहिने कॉलम (यानी वर्ग का योग) में मानों का योग जितना छोटा हो सकता है।

जब आप एक OLS प्रतिगमन चलाते हैं x ~ y, तो आप एक अलग मॉडल के साथ आते हैं:

x = -0.07 + 0.64*y

यह संबंधित त्रुटियों के साथ, निम्नलिखित भविष्यवाणियां करके x की भविष्यवाणियों का अनुकूलन करता है।

फिर, यह इस अर्थ में इष्टतम है कि सबसे दाहिने स्तंभ के मूल्यों का योग जितना संभव हो उतना छोटा है (बराबर 0.071)।

अब, कल्पना करें कि आपने पहले मॉडल को उलटने की कोशिश की y = 0.167 + 1.5*x, बीजगणित का उपयोग करके, आपको मॉडल दिया x = -0.11 + 0.67*x।

यह आपको निम्नलिखित भविष्यवाणियां और संबंधित त्रुटियाँ देगा:

सबसे दाहिने स्तंभ में मानों का योग है 0.074, जो उस मॉडल से संबंधित राशि से बड़ा है जो आपको y पर प्रतिगमन x से प्राप्त होती है, अर्थात x ~ yमॉडल। दूसरे शब्दों में, "औंधा y ~ xमॉडल" ओएलएस मॉडल की तुलना में एक्स की भविष्यवाणी करने में एक बदतर काम कर रहा है x ~ y।

— bschneidr
स्रोत