कम से कम कोण के प्रतिगमन से परस्पर संबंध कम होते और बंधे रहते हैं?

मैं कम से कम कोण प्रतिगमन (LAR) के लिए एक समस्या को हल करने की कोशिश कर रहा हूं। यह एक समस्या है 3.23 पृष्ठ पर 97 की Hastie एट अल।, सांख्यिकीय लर्निंग के तत्वों, 2। ईडी। (5 वीं प्रिंटिंग) ।

सभी चर और प्रतिक्रिया के साथ एक प्रतिगमन समस्या पर विचार करें जिसका अर्थ शून्य और मानक विचलन है। यह भी मान लें कि प्रत्येक चर में प्रतिक्रिया के साथ समान पूर्ण सहसंबंध है:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Let , पर का कम से कम वर्ग गुणांक हो और let लिए । $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

मुझे यह दिखाने के लिए कहा गया है कि और मुझे इससे समस्या है। ध्यान दें कि यह मूल रूप से कह सकता है कि अवशिष्ट के साथ प्रत्येक के सहसंबंध ही मात्रा में बने रहते हैं जितना हम की ओर बढ़ते ।

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$

x_{j}

$x_j$

u

$u$

मैं यह भी नहीं जानता कि यह कैसे दिखाया जाए कि सहसंबंध इसके बराबर हैं:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

किसी भी प्वाइंटर की अत्यधिक सराहना की जाएगी!

— Belmont
स्रोत

@ बेलमोंट, क्या है ? क्या आप अपनी समस्या के बारे में अधिक संदर्भ प्रदान कर सकते हैं? उदाहरण के लिए LAR के मानक गुणों के साथ लेख का लिंक बहुत मदद करेगा।

u (α)

$u(\alpha)$

— 14

@ बेलमोंट, यह हस्ती, एट अल।, एलिमेंट ऑफ स्टैटिस्टिकल लर्निंग , 2 से एक समस्या की तरह दिखता है । ईडी। क्या यह होमवर्क है? यदि हां, तो आप उस टैग को जोड़ सकते हैं।

— कार्डिनल

@ बेलमोंट, अब जब @cardinal ने एक पूर्ण उत्तर दिया, तो क्या आप निर्दिष्ट कर सकते हैं कि LAR वास्तव में भविष्य के संदर्भ के लिए क्या है? जवाब से देखते हुए यह कुछ प्रारंभिक बाधाओं को देखते हुए कम से कम वर्गों के उत्पादों के मानक हेरफेर है। गंभीर कारण के बिना इसके लिए एक विशेष नाम नहीं होना चाहिए।

— mpiktas

@mpiktas, यह एक स्टेज वाइज एल्गोरिथ्म है, इसलिए हर बार जब कोई वैरिएबल नियमित पथ पर मॉडल में प्रवेश करता है या छोड़ता है, तो क्रमशः का आकार (यानी, कार्डिनैलिटी / डायमेंशन) बढ़ता या सिकुड़ जाता है और "नया" LS अनुमान का उपयोग किया जाता है। वर्तमान में "सक्रिय" चर। लसो के मामले में, जो उत्तल अनुकूलन समस्या है, प्रक्रिया अनिवार्य रूप से केकेटी स्थितियों में एक बहुत ही कुशल समाधान प्राप्त करने के लिए विशेष संरचना का शोषण कर रही है । IRLS और हेइन-बोरेल (चरणों के परिमित संख्या में अभिसरण साबित करने के लिए) पर आधारित लॉजिस्टिक प्रतिगमन, जैसे, सामान्यकरण भी हैं।

β

$\beta$

— कार्डिनल

@ बेलमोंट -1, जैसा कि मैंने हाल ही में हस्ती की पुस्तक खरीदी है, मैं पुष्टि कर सकता हूं, कि यह एक अभ्यास है। इसलिए मैं आपको एक बड़ा दे रहा हूं -1, चूंकि आप सभी परिभाषाएं देने का प्रबंधन भी नहीं करते हैं, इसलिए मैं संदर्भ देने की बात भी नहीं कर रहा हूं।

— म्पिकटस

यह समस्या है 3.23 पृष्ठ पर 97 की Hastie एट अल।, सांख्यिकीय लर्निंग के तत्वों , 2। ईडी। (5 वीं प्रिंटिंग) ।

इस समस्या की कुंजी साधारण कम से कम वर्गों (यानी, रैखिक प्रतिगमन) की एक अच्छी समझ है, विशेष रूप से सज्जित मूल्यों और अवशिष्टों की ऑर्थोगोनलिटी।

ओर्थोगोनलिटी लेम्मा : को डिज़ाइन मैट्रिक्स, को रेस्पॉन्स वेक्टर और (ट्रू) पैरामीटर मानें। मान लिया जाये कि पूर्ण रैंक है (जो हम भर में होगा), की OLS अनुमान हैं । फिट किए गए मान । तब । है यही कारण है, फिट मान हैं ओर्थोगोनल बच करने के लिए। यह । $X$ $n \times p$ $y$ $\beta$ $X$ $\beta$ $\hat{\beta} = (X^T X)^{-1} X^T y$ $\hat{y} = X (X^T X)^{-1} X^T y$ $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

अब, चलो एक स्तंभ वेक्टर ऐसी है कि हो सकता है है वीं के स्तंभ । मान ली गई शर्तें हैं: $x_j$ $x_j$ $j$ $X$

$\frac{1}{N} \langle x_j, x_j \rangle = 1$ प्रत्येक , , $j$ $\frac{1}{N} \langle y, y \rangle = 1$
$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ जहां लंबाई , और वाले के एक वेक्टर को दर्शाता है $1_p$ $p$
$\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ सभी के लिए । $j$

ध्यान दें कि विशेष रूप से , ऑर्थोगोनलिटी लेम्मा का अंतिम कथन सभी लिए के समान है । $\langle x_j, y - \hat{y} \rangle = 0$ $j$

सहसंबंध बंधे हुए हैं

अब, । तो, और दाईं ओर का दूसरा शब्द ऑर्थोगोनलिटी लेम्मा से शून्य है , इसलिए रूप में वांछित। सहसंबंधों का पूर्ण मूल्य बस है $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

⟨ x_{j}, y - u (a) ⟩ = ⟨ x_{j}, (1 - α) y + α y - α \hat{y} ⟩ = (1 - α) ⟨ x_{j}, y ⟩ + α ⟨ x_{j}, y - \hat{y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$

{\hat{ρ}}_{j} (α) = \frac{\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ |}{\sqrt{\frac{1}{N} ⟨ x_{j}, x_{j} ⟩} \sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{N} ⟨ y - u (α), y - u (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

नोट : ऊपर का दाहिना हाथ से स्वतंत्र है और अंश केवल covariance के समान है क्योंकि हमने मान लिया है कि सभी का और केन्द्रित है (इसलिए, विशेष रूप से, इस बीच कोई घटाव आवश्यक नहीं है )। $j$ $x_j$ $y$

क्या बात है? जैसा कि बढ़ जाता है प्रतिक्रिया वेक्टर को संशोधित किया जाता है ताकि यह मॉडल ( प्रतिबंधित! ) की ओर अपना रास्ता इंच करे , मॉडल में केवल पहले मापदंडों को शामिल करने से प्राप्त समाधान । यह एक साथ अनुमानित मापदंडों को संशोधित करता है क्योंकि वे (संशोधित) प्रतिक्रिया वेक्टर के साथ भविष्यवाणियों के सरल आंतरिक उत्पाद हैं। संशोधन हालांकि एक विशेष रूप लेता है। यह भविष्यवक्ताओं के बीच सहसंबंधों (परिमाण) और संशोधित प्रतिक्रिया को पूरी प्रक्रिया में रखता है (भले ही सहसंबंध का मूल्य बदल रहा हो)। इस बारे में सोचें कि यह ज्यामितीय रूप से क्या कर रहा है और आप प्रक्रिया के नाम को समझेंगे! $\alpha$ $p$

(निरपेक्ष) सहसंबंध का स्पष्ट रूप

आइए हर शब्द पर ध्यान दें, क्योंकि अंश पहले से ही आवश्यक रूप में है। हमारे पास

⟨ y - u (α), y - u (α) ⟩ = ⟨ (1 - α) y + α y - u (α), (1 - α) y + α y - u (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

में प्रतिस्थापित करना और आंतरिक उत्पाद की रैखिकता का उपयोग करना, हमें मिलता है $u(\alpha) = \alpha \hat{y}$

⟨ y - u (α), y - u (α) ⟩ = (1 - α)^{2} ⟨ y, y ⟩ + 2 α (1 - α) ⟨ y, y - \hat{y} ⟩ + α^{2} ⟨ y - \hat{y}, y - \hat{y} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

उसका अवलोकन करो

$\langle y, y \rangle = N$ धारणा से,
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ , orthogonality lemma (अभी तक फिर से) को बीच में दूसरे शब्द पर लागू करके; तथा,
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ परिभाषा द्वारा।

यह सब एक साथ रखते हुए, आप देखेंगे कि हमें मिल जाएगा

{\hat{ρ}}_{j} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{N} R S S}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{R S S}{N}) + \frac{1}{N} R S S}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

चीजों को लपेटने के लिए, और इसलिए यह स्पष्ट है कि रूप से घट रही है और as । $1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ $\hat{\rho}_j(\alpha)$ $\alpha$ $\hat{\rho}_j(\alpha) \downarrow 0$ $\alpha \uparrow 1$

उपसंहार : यहां विचारों पर ध्यान केंद्रित करें। वास्तव में केवल एक ही है। ओर्थोगोनालिटी लेम्मा हमारे लिए लगभग सभी काम करता है। बाकी सिर्फ बीजगणित, संकेतन और इन अंतिम दो को काम करने की क्षमता है।

— कार्डिनल
स्रोत

@ कार्डिनल, +1। इसका उत्तर प्रश्न की तुलना में बेहतर है।

— mpiktas

@ कार्डिनल, आप लिंक को अमेज़ॅन या किसी अन्य साइट में बदलना चाह सकते हैं। मुझे लगता है कि पूरी पुस्तक से जुड़ने से कुछ कॉपीराइट मुद्दे उठ सकते हैं।

— 14

@mpiktas, nope कोई कॉपीराइट समस्या नहीं। यह पुस्तक के लिए आधिकारिक वेबसाइट है। लेखकों ने स्प्रिंगर से पीडीएफ को स्वतंत्र रूप से ऑनलाइन उपलब्ध कराने की अनुमति प्राप्त की। (साइट पर इस आशय का नोट देखें।) मुझे लगता है कि उन्हें स्टीफन बॉयड और उनके उत्तल अनुकूलन पाठ से विचार मिला । उम्मीद है कि अगले कुछ वर्षों में इस तरह की प्रवृत्ति भाप लेगी। का आनंद लें!

— कार्डिनल

@ कार्डिनल, ऊह बड़े पैमाने पर धन्यवाद! यह लेखकों से शक्तिशाली है।

— mpiktas

@mpiktas, यह अब तक की सबसे लोकप्रिय पुस्तक है जो स्टैटिस्टिक्स में स्प्रिंगर सीरीज़ की है। यह एक iPad पर अच्छा लगता है। जो मुझे याद दिलाता है --- मुझे इस पर बॉयड का पाठ भी डाउनलोड करना चाहिए। चीयर्स।

— कार्डिनल