क्या उनके प्रतिगमन गुणांक की गणना करते समय व्याख्यात्मक चर का क्रम मायने रखता है?

पहले तो मुझे लगा कि आदेश से कोई फर्क नहीं पड़ता है, लेकिन फिर मैंने कई प्रतिगमन गुणांकों की गणना के लिए ग्राम-स्मिटिड ऑर्थोगोनाइजेशन प्रक्रिया के बारे में पढ़ा, और अब मैं दूसरे विचार रख रहा हूं।

ग्राम-श्मिट प्रक्रिया के अनुसार, बाद में एक व्याख्यात्मक चर को अन्य चर के बीच अनुक्रमित किया जाता है, छोटा इसका अवशिष्ट वेक्टर है क्योंकि पूर्ववर्ती चर के अवशिष्ट वैक्टर को इससे घटाया जाता है। नतीजतन, व्याख्यात्मक चर का प्रतिगमन गुणांक भी छोटा है।

यदि यह सच है, तो प्रश्न में चर का अवशिष्ट वेक्टर पहले से अनुक्रमित होने पर बड़ा होगा, क्योंकि कम अवशिष्ट वैक्टर इसे से घटाया जाएगा। इसका मतलब है कि प्रतिगमन गुणांक भी बड़ा होगा।

ठीक है, इसलिए मुझे अपना प्रश्न स्पष्ट करने के लिए कहा गया है। इसलिए मैंने पाठ से स्क्रीनशॉट पोस्ट किया है जो मुझे पहली बार में भ्रमित कर रहा है। ठीक है, यहाँ जाता है।

मेरी समझ यह है कि प्रतिगमन गुणांक की गणना करने के लिए कम से कम दो विकल्प हैं। पहला विकल्प नीचे स्क्रीनशॉट में (3.6) दर्शाया गया है।

पहला तरीका

यहां दूसरा विकल्प है (मुझे कई स्क्रीनशॉट का उपयोग करना था)।

दूसरा तरीका

यहाँ छवि विवरण दर्ज करें

जब तक मैं कुछ गलत नहीं कर रहा हूं (जो निश्चित रूप से संभव है), ऐसा लगता है कि आदेश दूसरे विकल्प में मायने रखता है। क्या यह पहले विकल्प में मायने रखता है? क्यों या क्यों नहीं? या क्या मेरे संदर्भ का फ्रेम इतना गड़बड़ है कि यह एक वैध प्रश्न भी नहीं है? इसके अलावा, क्या यह किसी प्रकार से संबंधित है I प्रकार का वर्ग का योग बनाम प्रकार II वर्ग का योग?

अग्रिम में बहुत बहुत धन्यवाद, मैं बहुत उलझन में हूँ!

regression multiple-regression regression-coefficients

— रेयान ज़ोटी
स्रोत

क्या आप सटीक प्रक्रिया को रेखांकित कर सकते हैं कि गुणांक की गणना कैसे की जाती है? ग्राम-स्किमिड ऑर्टोगोनलिसिस के बारे में मुझे क्या पता है और इसे प्रतिगमन समस्या पर कैसे लागू किया जा सकता है, मैं अनुमान लगा सकता हूं कि जीएस प्रक्रिया का उपयोग करके आप प्रतिगमन के लायक हो सकते हैं, लेकिन मूल गुणांक नहीं। ध्यान दें कि प्रतिगमन फिट स्तंभों के स्थान का प्रक्षेपण है। यदि आप स्तंभों को फैलाते हुए अंतरिक्ष के ऑर्थोगोनल आधार प्राप्त करते हैं, तो फिट इस आधार का रैखिक संयोजन होगा, और मूल स्तंभों का रैखिक संयोजन भी होगा। यह वैसा ही होगा ...

— MPiktas

लेकिन गुणांक अलग-अलग होंगे। यह पूरी तरह से सामान्य है।

— १

मुझे लगता है कि मैं उलझन में हूं क्योंकि मुझे लगा कि मैं "द एलीमेंट ऑफ स्टैटिस्टिकल लर्निंग" में पढ़ता हूं कि ग्राम-स्कैमिड्ट प्रक्रिया का उपयोग करने वाले गुणांक पारंपरिक प्रक्रिया का उपयोग करने वालों के समान ही होंगे: बी = (एक्स'एक्स) ^ - 1 X'y।

— रयान ज़ोटी

यहाँ पुस्तक से अंश है जो प्रक्रिया के बारे में बात करता है: "हम साधारण प्रतिगमन के दो अनुप्रयोगों के परिणाम के रूप में [गुणांक] के अनुमान को देख सकते हैं। चरण निम्न हैं: 1. अवशिष्ट z = का उत्पादन करने के लिए 1 पर x को पुनः प्राप्त करें = x - x --1; 2. गुणांक βˆ1 देने के लिए अवशिष्ट z पर y को पुनः प्राप्त करें। यह नुस्खा p आदानों के मामले में सामान्यीकृत करता है, जैसा कि एल्गोरिथ्म 3.1 में दिखाया गया है। ध्यान दें कि इनपुट z0,।, zj − 1 स्टेप में है। 2 ऑर्थोगोनल हैं, इसलिए गणना की गई साधारण प्रतिगमन गुणांक वास्तव में कई प्रतिगमन गुणांक हैं। "

— रयान ज़ोटी

जब मैं यहाँ टिप्पणी अनुभाग में कॉपी और पेस्ट करता हूँ तो यह थोड़ा गड़बड़ हो जाता है, इसलिए संभवतः सीधे स्रोत को देखना सबसे अच्छा है। यह "द एलिमेंट ऑफ़ स्टैटिस्टिकल लर्निंग" का पेज 53 से 54 है, जो स्टैनफोर्ड की वेबसाइट पर डाउनलोड करने के लिए स्वतंत्र रूप से उपलब्ध है: www-stat.stanford.edu/~tibs/ElemStatLearn ।

— रयान ज़ोटी

जवाबों:

मेरा मानना है कि भ्रम कुछ सरल से उत्पन्न हो सकता है, लेकिन यह कुछ संबंधित मामलों की समीक्षा करने का एक अच्छा अवसर प्रदान करता है।

ध्यान दें कि पाठ है नहीं का दावा है कि सभी प्रतिगमन गुणांकों के के रूप में लगातार बच वैक्टर के माध्यम से गणना की जा सकती $\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$ लेकिन केवल बजाय किपिछले , इस तरह से गणना की जा सकती!

{\hat{β}}_{i} \overset{?}{=} \frac{⟨ y, z_{i} ⟩}{‖ z_{i} ‖^{2}},

$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$

{\hat{β}}_{p}

$\bhat_p$

क्रमिक ऑर्थोगोनाइजेशन स्कीम (ग्राम-श्मिट ऑर्थोगोनाइजेशन का एक रूप) (लगभग) मैट्रिस और की एक जोड़ी का निर्माण करता है जैसे कि $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$ $\G$ जहां है

X = Z G,

$\m X = \Z \G \>,$

Z

$\Z$

orthonormal कॉलम और साथ

है

ऊपरी त्रिकोणीय। मैं कहता हूं कि "लगभग" चूंकि एल्गोरिथम केवलकॉलम के मानदंडों तक

कोनिर्दिष्टकर रहा है, जो सामान्य रूप से एक नहीं होगा, लेकिन कॉलम को सामान्य करके और समन्वय मैट्रिक्स के लिए एक समान सरल समायोजन करके यूनिट मानदंड बनाया जा सकता है।

।

n \times p

$n \times p$

G = (g_{i j})

$\G = (g_{ij})$

p \times p

$p \times p$

Z

$\Z$

G

$\G$

जाहिर है, यह मानते हुए, कि रैंक है $\m X \in \mathbb R^{n \times p}$ $p \leq n$ , अद्वितीय कम से कम वर्गों समाधान वेक्टर है कि हल प्रणाली $\bhat$

X^{T} X \hat{β} = X^{T} y .

$\m X^T \m X \bhat = \m X^T \m y \>.$

प्रतिस्थापित करना और का उपयोग करना $\m X = \Z \G$ (निर्माण) के द्वारा, हम पाते हैं $\Z^T \Z = \m I$ के बराबर है जो

G^{T} G \hat{β} = G^{T} Z^{T} y,

$\G^T \G \bhat = \G^T \Z^T \m y \> ,$

G \hat{β} = Z^{T} y .

$\G \bhat = \Z^T \m y \>.$

अब, रैखिक प्रणाली की अंतिम पंक्ति पर ध्यान केंद्रित करें । अंतिम पंक्ति में का एकमात्र गैर-अक्षीय तत्व $\G$ $g_{pp}$ । तो, हम प्राप्त है कि

g_{p p} {\hat{β}}_{p} = ⟨ y, z_{p} ⟩ .

$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$ यह देखना (समझ का चेक के रूप में इस की पुष्टि!) कि मुश्किल नहीं है

और इसलिए इस पैदावार समाधान। ( चेतावनी पाठभेद : मैं का उपयोग किया है

पहले से ही इकाई के आदर्श के लिए सामान्यीकृत है, जबकि पुस्तक में वे नहीं तथ्य यह है कि किताब, हर में एक वर्ग के आदर्श है, जबकि मैं केवल आदर्श है के लिए यह खातों।।)

g_{p p} = ‖ z_{p} ‖

$g_{pp} = \|\z_p\|$

z_{i}

$\z_i$

$\bhat_i$ $(p-1)$ और इतने

g_{p - 1, p - 1} {\hat{β}}_{p - 1} + g_{p - 1, p} {\hat{β}}_{p} = ⟨ z_{p - 1}, y ⟩,

$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$

{\hat{β}}_{p - 1} = g_{p - 1, p - 1}^{- 1} ⟨ z_{p - 1}, y ⟩ - g_{p - 1, p - 1}^{- 1} g_{p - 1, p} {\hat{β}}_{p} .

$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$

g_{i i}

$g_{ii}$

{\hat{β}}_{i}

$\bhat_i$

$\m X$ $\m X^{(r)}$ $r$ $\bhat_r$ $\bhat_r$ $\m y$ । $\m x_r$

सामान्य क्यूआर डिकम्पोजिशन

ग्राम-श्मिट प्रक्रिया क्यूआर अपघटन के उत्पादन की एक विधि है । वास्तव में, ग्राम-श्मिट प्रक्रिया पर अन्य एल्गोरिदम दृष्टिकोणों को पसंद करने के कई कारण हैं। $\m X$

हाउसहोल्डर प्रतिबिंब और Givens रोटेशन इस समस्या को अधिक संख्यात्मक रूप से स्थिर दृष्टिकोण प्रदान करते हैं। ध्यान दें कि क्यूआर अपघटन के सामान्य मामले में उपरोक्त विकास नहीं बदलता है। अर्थात्,

X = Q R,

$\m X = \m Q \m R \>,$

X

$\m X$

\hat{β}

$\bhat$

R^{T} R \hat{β} = R^{T} Q^{T} y,

$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$

R \hat{β} = Q^{T} y .

$\m R \bhat = \m Q^T \m y \> .$

R

$\m R$

{\hat{β}}_{p}

$\bhat_p$

यह विघटन की धारणा है $\m X$ $\hat{\m y}$

— कार्डिनल
स्रोत

मुझे पुस्तक के माध्यम से एक नज़र मिली और ऐसा लग रहा है कि व्यायाम 3.4 को जीएस का उपयोग करने की अवधारणा को समझने के लिए उपयोगी हो सकता है ताकि सभी प्रतिगमन गुणांक मिल सकें $\beta_j$ $\beta_p$

ईएसएल में 3.4 व्यायाम करें

$X$

समाधान

$X$

X = Z Γ,

$X = Z \Gamma,$

Z

$Z$

z_{j}

$z_j$

Γ

$\Gamma$

γ_{i j} = \frac{⟨ z_{i}, x_{j} ⟩}{‖ z_{i} ‖^{2}}

$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$

x_{j} = z_{j} + \sum_{k = 0}^{j - 1} γ_{k j} z_{k} .

$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$

$QR$ $X = QR$ $Q$ $R$ $Q = Z D^{-1}$ $R = D\Gamma$ $D$ $D_{jj} = \| z_j \|$

$\hat \beta$

(X^{T} X) \hat{β} = X^{T} y .

$(X^T X) \hat \beta = X^T y.$

Q R

$QR$

\begin{aligned} (R^{T} Q^{T}) (Q R) \hat{β} & = R^{T} Q^{T} y \\ R \hat{β} & = Q^{T} y \end{aligned}

$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$

$R$

\begin{aligned} R_{p p} {\hat{β}}_{p} & = ⟨ q_{p}, y ⟩ \\ ‖ z_{p} ‖ {\hat{β}}_{p} & = ‖ z_{p} ‖^{- 1} ⟨ z_{p}, y ⟩ \\ {\hat{β}}_{p} & = \frac{⟨ z_{p}, y ⟩}{‖ z_{p} ‖^{2}} \end{aligned}

$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$

{\hat{β}}_{j}

$\hat \beta_j$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

\begin{aligned} R_{p - 1, p - 1} {\hat{β}}_{p - 1} + R_{p - 1, p} {\hat{β}}_{p} & = ⟨ q_{p - 1}, y ⟩ \\ ‖ z_{p - 1} ‖ {\hat{β}}_{p - 1} + ‖ z_{p - 1} ‖ γ_{p - 1, p} {\hat{β}}_{p} & = ‖ z_{p - 1} ‖^{- 1} ⟨ z_{p - 1}, y ⟩ \end{aligned}

$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

β_{j}

$\beta_j$

— एंड्रयू टुलोच
स्रोत

क्यों नहीं इसे आज़माएं और तुलना करें? प्रतिगमन गुणांक के एक सेट को फिट करें, फिर क्रम बदलें और उन्हें फिर से फिट करें और देखें कि क्या वे भिन्न हैं (संभावित राउंड-ऑफ त्रुटि के अलावा)।

जैसा कि @mpiktas बताते हैं कि यह स्पष्ट नहीं है कि आप क्या कर रहे हैं।

$B$ $(x'x)B=(x'y)$ $(x'x)$

$x_1$ $x_2$ $x_1$ $y$ $x_2$ $y$ $x_1$ $x_2$ $y$ $x_1$ $x_1$ $x_2$

— ग्रेग हिमपात
स्रोत

मुझे लगता है कि आपका अंतिम पैराग्राफ शायद मेरी उलझन के स्रोत के सबसे करीब है - जीएस ऑर्डर मामले को बनाता है। बिल्कुल यही मैने सोचा। मैं अभी भी थोड़ा उलझन में हूँ, हालांकि, क्योंकि मैं जो किताब पढ़ रहा हूं, उसे कहा जाता है: "द एलिमेंट्स ऑफ़ स्टैटिस्टिकल लर्निंग" (एक स्टैनफोर्ड प्रकाशन जो स्वतंत्र रूप से उपलब्ध है: www-stat.stanford.edu/~tibs/ElemStatLearn ) लगता है सुझाव है कि जीएस गुणांक की गणना के लिए मानक दृष्टिकोण के बराबर है; वह है, B = (X'X) ^ - 1 X'y।

— रयान ज़ोटी

और जो आप कहते हैं उसका एक हिस्सा मुझे भी थोड़ा भ्रमित करता है: "मैं कम से कम वर्ग समीकरण (x thex) ^ - 1 B = (x′y) में B को हल करने के लिए GS का उपयोग करके देख सकता हूं। लेकिन तब आप कर रहे होंगे। (X notx) मैट्रिक्स पर जीएस, मूल डेटा नहीं। " मैंने सोचा था कि x'x मैट्रिक्स में मूल डेटा शामिल है? ... कम से कम यह है कि सांख्यिकीय लर्निंग के तत्व क्या कहते हैं। यह कहता है कि x'x में x, p मैट्रिक्स द्वारा एक N है जहां N इनपुट की संख्या (अवलोकनों) है और p आयामों की संख्या है।

— रयान ज़ोटी

यदि गुणांक की गणना करने के लिए जीएस मानक प्रक्रिया नहीं है, तो आमतौर पर कोलीनैरिटी का इलाज कैसे किया जाता है? अतिरेक (कोलीनियरिटी) को आमतौर पर एक्स के बीच कैसे वितरित किया जाता है? क्या संपार्श्विकता को पारंपरिक रूप से गुणांक अस्थिर नहीं करता है? फिर सुझाव नहीं होता है कि कि जी एस प्रक्रिया है मानक प्रक्रिया? क्योंकि जीएस प्रक्रिया गुणांक को अस्थिर बनाती है - एक छोटा अवशिष्ट वेक्टर गुणांक को अस्थिर बनाता है।

— रयान ज़ोटी

कम से कम यह है कि पाठ क्या कहता है, "अगर xp को किसी अन्य xk के साथ अत्यधिक सहसंबद्ध किया जाता है, तो अवशिष्ट वेक्टर zp शून्य के करीब होगा, और (3.28) गुणांक βˆp बहुत अस्थिर होगा।"

— रयान ज़ोटी 22

ध्यान दें कि जीएस क्यूआर अपघटन का एक रूप है।

— कार्डिनल