रैखिक प्रतिगमन में w के बंद रूप में पीछे अंतर्ज्ञान

10

रैखिक प्रतिगमन में w के बंद रूप को लिखा जा सकता है

$\hat{w}=(X^TX)^{-1}X^Ty$

हम इस समीकरण में की भूमिका को सहजता से कैसे समझा सकते हैं ? $(X^TX)^{-1}$

— Darshak
स्रोत

2

क्या आप विस्तार से बता सकते हैं कि "सहज रूप" से आपका क्या मतलब है? मिसाल के तौर पर, क्रिस्टेंसेन के प्लेन आंसर्स टू कॉम्प्लेक्स क्वेश्चन में पेश किए गए इनर-प्रोडक्ट स्पेस के संदर्भ में एक अद्भुत सहज व्याख्या है , लेकिन हर कोई उस दृष्टिकोण की सराहना नहीं करेगा। एक अन्य उदाहरण के रूप में, मेरे जवाब में एक ज्यामितीय व्याख्या है , जो आँकड़े .stackexchange.com / a / 62147 / 919 पर है , लेकिन हर कोई ज्यामितीय संबंधों को "सहज" नहीं मानता है ।

— whuber

सहज रूप से

(X ^ TX) ^ {- 1} का क्या मतलब है? क्या यह किसी प्रकार की दूरी की गणना है या कुछ और है, मैं इसे नहीं समझता।

— 17

1

मैं जिस उत्तर से जुड़ा हूं, उसमें पूरी तरह से समझाया गया है।

— whuber

यह सवाल पहले से ही यहाँ हालांकि संभवतः नहीं मौजूद है एक संतोषजनक जवाब के साथ math.stackexchange.com/questions/2624986/...

— सेक्सटस एमपिरिकस

5

मुझे ये पोस्ट विशेष रूप से उपयोगी लगीं:

एकाधिक रैखिक प्रतिगमन के लिए कम से कम वर्ग अनुमानक कैसे प्राप्त करें?

एसवीडी और पीसीए के बीच संबंध। PCA करने के लिए SVD का उपयोग कैसे करें?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

अगर एक है मैट्रिक्स तो मैट्रिक्स एक को परिभाषित करता है प्रक्षेपण के स्तंभ अंतरिक्ष पर । Intuitively, आप समीकरणों के एक overdetermined प्रणाली है, लेकिन अभी भी इसका इस्तेमाल करने के एक रेखीय नक्शा परिभाषित करना चाहते हैं कि मैप कर देंगे पंक्तियों की मूल्यों के लिए कुछ करीब , । इसलिए हम को के निकटतम चीज़ के लिए भेजने के लिए व्यवस्थित करते हैं जिसे आपकी विशेषताओं ( के कॉलम ) के रैखिक संयोजन के रूप में व्यक्त किया जा सकता है । $X$ $n \times p$ $X(X^TX)^{-1}X^T$ $X$ $\mathbb{R}^p \rightarrow \mathbb{R}$ $x_i$ $X$ $y_i$ $i\in \{1,\dots,n\}$ $X$ $y$ $X$

जहाँ तक व्याख्या के रूप में , मेरे पास अभी तक एक अद्भुत जवाब नहीं है। मुझे पता है कि आप मूल रूप से डेटासेट के सहसंयोजक मैट्रिक्स के रूप में सोच सकते हैं । $(X^TX)^{-1}$ $(X^TX)$

— जेम्स मैककेन
स्रोत

(X^{T} X)

$(X^T X)$ को कभी-कभी "स्कैटर मैट्रिक्स" के रूप में संदर्भित किया जाता है और यह सहसंयोजक मैट्रिक्स का केवल एक छोटा संस्करण होता है

— जैककेव

4

ज्यामितीय दृष्टिकोण

एक ज्यामितीय दृष्टिकोण n- आयामी वैक्टर और तरह हो सकता है जो n- आयामी-अंतरिक्ष में अंक हो । जहाँ भी वैक्टर द्वारा उप- में है । $y$ $X\beta$ $V$ $X\hat\beta$ $W$ $x_1, x_2, \cdots, x_m$

दो प्रकार के निर्देशांक

इस उपवर्ग हम दो अलग-अलग प्रकार के निर्देशांक की कल्पना कर सकते हैं : $W$

$\boldsymbol{\beta}$ एक नियमित रूप से समन्वय अंतरिक्ष के लिए निर्देशांक की तरह हैं। अंतरिक्ष में वेक्टर वैक्टर का रैखिक संयोजन है $z$ $W$ $\mathbf{x_i}$ $z = β_{1} x_{1} + β_{2} x_{1} + . . . . β_{m} x_{m}$ $z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$
$\boldsymbol{\alpha}$ नियमित अर्थ में निर्देशांक नहीं हैं, लेकिन वे उपस्पेस में एक बिंदु को परिभाषित करना । प्रत्येक वैक्टर पर लंबवत अनुमानों से संबंधित है । अगर हम यूनिट वैक्टर (सादगी के लिए) का उपयोग करते हैं तो वेक्टर लिए "निर्देशांक" को व्यक्त किया जा सकता है: $W$ $\alpha_i$ $x_i$ $x_i$ $\alpha_i$ $z$

$α_{i} = x_{i}^{T} z$ $\alpha_i = \mathbf{x_i^T} \mathbf{z}$
और सभी निर्देशांक का सेट निम्नानुसार है:

α = X^{T} z

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{z}$

निर्देशांक और बीच मानचित्रण $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

के लिए "निर्देशांक" की अभिव्यक्ति निर्देशांक से एक रूपांतरण हो जाता है "निर्देशांक" करने के लिए $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$ $\alpha$ $\beta$ $\alpha$

α = X^{T} X β

$\boldsymbol{\alpha} = \mathbf{X^T} \mathbf{X}\boldsymbol{\beta}$

आप को दूसरे पर प्रत्येक प्रोजेक्ट को व्यक्त करते हुए $(\mathbf{X^T} \mathbf{X})_{ij}$ $x_i$ $x_j$

फिर की ज्यामितीय व्याख्या को वेक्टर प्रोजेक्शन "निर्देशांक" " से रेखीय निर्देशांक के से मानचित्र के रूप में देखा जा सकता है। । $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$

β = (X^{T} X)^{- 1} α

$\boldsymbol{\beta} = (\mathbf{X^T} \mathbf{X})^{-1}\boldsymbol{\alpha}$

अभिव्यक्ति देता है प्रक्षेपण "निर्देशांक" of और उन्हें में बदल देता है । $\mathbf{X^Ty}$ $\mathbf{y}$ $(\mathbf{X^T} \mathbf{X})^{-1}$ $\boldsymbol{\beta}$

नोट : का प्रक्षेपण "निर्देशांक" ही कर रहे हैं प्रक्षेपण की "निर्देशांक" के रूप में के बाद से । $\mathbf{y}$ $\mathbf{\hat{y}}$ $(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

— सेक्सटस एम्पिरिकस
स्रोत

इस विषय का एक बहुत ही समान खाता आँकड़े .stackexchange.com/a/124892/3277 ।

— ttnphns

वास्तव में बहुत समान है। मेरे लिए यह दृश्य बहुत नया है और मुझे इसके बारे में सोचने के लिए एक रात लेनी पड़ी। मैंने हमेशा एक प्रक्षेपण के संदर्भ में कम से कम वर्गों के प्रतिगमन को देखा, लेकिन इस दृष्टिकोण में मैंने कभी भी भाग लिए एक सहज अर्थ को महसूस करने की कोशिश नहीं की है या मैंने हमेशा इसे अधिक अप्रत्यक्ष अभिव्यक्ति ।

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

X^{T} y = X^{T} X β

$X^T y = X^TX\beta$

— सेक्स्टस एम्पिरिकस

3

मान लें कि आप सरल रेखीय प्रतिगमन से परिचित हैं: और इसका समाधान :

y_{i} = α + β x_{i} + ε_{i}

$y_i=\alpha+\beta x_i+\varepsilon_i$

β = \frac{c o v [x_{i}, y_{i}]}{v a r [x_{i}]}

$\beta=\frac{\mathrm{cov}[x_i,y_i]}{\mathrm{var}[x_i]}$

यह देखना आसान है कि ऊपर के अंश और नक्शे के हर से कैसे खाता है । चूंकि हम मैट्रिस के साथ ऑर्डर के मामलों को निपटा रहे हैं। KxK मैट्रिक्स है, और Kx1 वेक्टर है। इसलिए, आदेश है: $X'y$ $X'X$ $X'X$ $X'y$ $(X'X)^{-1}X'y$

— Aksakal
स्रोत

लेकिन यह सादृश्य ही आपको यह नहीं बताता है कि क्या उलटा होने के साथ पूर्व या बाद में।

— kjetil b halvorsen

@kjetilbhalvorsen, मैं आपरेशन के आदेश डाल

— Aksakal

रैखिक प्रतिगमन में w के बंद रूप में पीछे अंतर्ज्ञान

ज्यामितीय दृष्टिकोण

दो प्रकार के निर्देशांक

निर्देशांक और बीच मानचित्रणαα\boldsymbol{\alpha}ββ\boldsymbol{\beta}

निर्देशांक और बीच मानचित्रण $\boldsymbol{\alpha}$ $\boldsymbol{\beta}$