"वर्णक्रमीय अपघटन" के माध्यम से रिज प्रतिगमन का उपयोग करने वाले गुणांक के सिकुड़ने का प्रमाण

मैंने समझा है कि रिज रिग्रेशन गुणांक को शून्य ज्यामितीय रूप से कैसे सिकोड़ता है। इसके अलावा मुझे पता है कि विशेष "ऑर्थोनॉमिक केस" में यह कैसे साबित किया जाए, लेकिन मैं भ्रमित हूं कि यह सामान्य मामले में "स्पेक्ट्रल अपघटन" के माध्यम से कैसे काम करता है।

— Jeza
स्रोत

आपने कहा है कि आप भ्रमित हैं, लेकिन आपका सवाल क्या है?

— whuber

यह प्रश्न एक प्रदर्शन के लिए पूछता है कि रिज प्रतिगमन एक वर्णक्रमीय विघटन का उपयोग करके शून्य की ओर गुणांक अनुमानों को सिकोड़ता है। वर्णक्रमीय विघटन को एकवचन मूल्य अपघटन (SVD) के एक आसान परिणाम के रूप में समझा जा सकता है । इसलिए, यह पोस्ट SVD से शुरू होती है। यह इसे सरल शब्दों में समझाता है और फिर इसे महत्वपूर्ण अनुप्रयोगों के साथ दिखाता है। फिर यह अनुरोधित (बीजगणितीय) प्रदर्शन प्रदान करता है। (बीजगणित, निश्चित रूप से, ज्यामितीय प्रदर्शन के समान है; यह केवल एक अलग भाषा में लिखा गया है।)

इस उत्तर का मूल स्रोत मेरे प्रतिगमन पाठ्यक्रम नोट्स में पाया जा सकता है । यह संस्करण कुछ छोटी त्रुटियों को ठीक करता है।

एसवीडी क्या है

किसी भी मैट्रिक्स , के साथ , लिखा जा सकता है जहां $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

एक मैट्रिक्स है। $U$ $n\times p$
- कॉलम की लंबाई । $U$ $1$
- कॉलम परस्पर ओर्थोगोनल हैं। $U$
- वे कहा जाता है प्रिंसिपल घटकों की । $X$
एक मैट्रिक्स है। $V$ $p \times p$
- कॉलम की लंबाई । $V$ $1$
- कॉलम परस्पर ओर्थोगोनल हैं। $V$
- इस बनाता है एक रोटेशन के । $V$ $\mathbb{R}^p$
एकविकर्ण मैट्रिक्स है। $D$ $p \times p$
- विकर्ण तत्व ऋणात्मक नहीं हैं। ये के विलक्षण मूल्य हैं । $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- यदि हम चाहें, तो हम उन्हें सबसे बड़े से लेकर छोटे तक का ऑर्डर दे सकते हैं।

मानदंड (1) और (2) ज़ोर है कि दोनों और कर रहे हैं orthonormal मैट्रिक्स। उन्हें शर्तों के द्वारा बड़े करीने से संक्षेप में प्रस्तुत किया जा सकता है $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

एक परिणाम (है कि के रूप में एक रोटेशन का प्रतिनिधित्व करता है), भी। यह नीचे रिज रिजरेशन व्युत्पत्ति में उपयोग किया जाएगा। $V$ $VV^\prime = 1_p$

यह हमारे लिए क्या करता है

यह सूत्रों को सरल बना सकता है। यह बीजगणितीय और वैचारिक दोनों तरह से काम करता है। यहाँ कुछ उदाहरण हैं।

सामान्य समीकरण

प्रतिगमन पर विचार करें जहां, हमेशा की तरह, स्वतंत्र और पहचान के अनुसार एक कानून के अनुसार वितरित किया जाता है जिसमें शून्य उम्मीद और परिमित संस्करण । सामान्य समीकरण के माध्यम से कम से कम वर्गों समाधान है एसवीडी को लागू करना और परिणामस्वरूप बीजीय गड़बड़ी को सरल करना (जो आसान है) एक अच्छा अंतर्दृष्टि प्रदान करता है: $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((U D V^{'})^{'} (U D V^{'}))^{- 1} (U D V^{'})^{'} = (V D U^{'} U D V^{'})^{- 1} (V D U^{'}) = V D^{- 2} V^{'} V D U^{'} = V D^{- 1} U^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

इस और के बीच फर्क सिर्फ इतना है के तत्वों के reciprocals है इस्तेमाल कर रहे हैं! दूसरे शब्दों में, "समीकरण" द्वारा "inverting" हल किया जाता है : इस छद्म उलट नाश कर देती रोटेशन और (केवल उन्हें transposing द्वारा) और नाश कर देती गुणा (द्वारा प्रतिनिधित्व ) प्रत्येक प्रिंसिपल में अलग-अलग दिशा। $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

भविष्य में संदर्भ के लिए, सूचना है कि "घुमाया" अनुमान "घुमाया" प्रतिक्रियाओं के रैखिक संयोजन कर रहे हैं । गुणांकों के (सकारात्मक) विकर्ण तत्वों के प्रतिलोम हैं , के बराबर । $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

गुणांक अनुमानों का सहसंयोजक

याद रखें कि अनुमान के सहप्रसरण है SVD का उपयोग करना, यह हो जाता है दूसरे शब्दों में, सहप्रसरण की तरह कार्य करता है orthogonal चर, प्रसरण के साथ प्रत्येक

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$ , में घुमाया कि किया गया है

।

R^{k}

$\mathbb{R}^k$

टोपी मैट्रिक्स

टोपी मैट्रिक्स है पूर्ववर्ती परिणाम के माध्यम से हम के रूप में यह फिर से लिखने सकता है सरल!

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (U D V^{'}) (V D^{- 1} U^{'}) = U U^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

ईजेननालिसिस (वर्णक्रमीय अपघटन)

X^{'} X = V D U^{'} U D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = U D V^{'} V D U^{'} = U D^{2} U^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

$X^\prime X$ $XX^\prime$
$V$ $X^\prime X$
$U$ $X X^\prime$

एसवीडी कोलेजनिटी समस्याओं का निदान और समाधान कर सकता है।

रजिस्ट्रियों के बारे में बताना

$UDV^\prime$ $U$ $y$

रिज रिग्रेशन

$X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} y \\ = (V D^{2} V^{'} + λ 1_{p})^{- 1} V D U^{'} y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D U^{'} y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} V^{'} V D U^{'} y \\ = V (D^{2} + λ)^{- 1} D U^{'} y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

$\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ $D^2/(D^2+\lambda)$ $\lambda \gt 0$

$V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

$d_{ii}^{-1}$

— व्हीबर
स्रोत

@Glen_b यह एक अच्छा बिंदु है: मुझे इस बारे में स्पष्ट होने की आवश्यकता है कि मैं किस अंश पर विचार कर रहा था! मैं ठीक कर दूँगा।

— whuber

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

। (२)

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

@ विमल आपको अच्छे सुझाव के लिए धन्यवाद। मैंने अब "सामान्य समीकरण" अनुभाग में एक स्पष्टीकरण शामिल किया है जहां प्रतिगमन मॉडल पेश किया गया है।

— whuber

X

$X$

V D U^{'} = X^{'} = X = U D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

\hat{y}

$\hat{y}$