रैखिक प्रतिगमन जब आप केवल

मान लीजिए कि । $X\beta =Y$

हम वास्तव में नहीं जानते हैं, प्रत्येक भविष्यवक्ता के साथ केवल इसका संबंध, । $Y$ $X^\mathrm{t}Y$

साधारण न्यूनतम-वर्ग (OLS) समाधान और इसमें कोई समस्या नहीं है। $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

लेकिन मान लें कि एकवचन (बहुकोशिकीयता) के पास है, और आपको इष्टतम रिज पैरामीटर का अनुमान लगाने की आवश्यकता है। सभी तरीकों को के सटीक मूल्यों की आवश्यकता लगती है । $X^\mathrm{t}X$ $Y$

क्या कोई वैकल्पिक विधि है जब केवल को जाना जाता है? $X^\mathrm{t}Y$

regression multicollinearity

— कंगूरा
स्रोत

दिलचस्प सवाल। शायद ईएम अल्गोरिदम के कुछ प्रकार काम करेंगे ...

— संभावना 14

मुझे समझ में नहीं आता, क्या आप इष्टतम रिज पैरामीटर का आकलन करने के लिए क्रॉस-वैलिडेशन का उपयोग नहीं कर सकते हैं?

— पारदीस

@ पेर्डिस: प्रश्न में कोई नुकसान समारोह नहीं दिया जाता है, इसलिए हमें पता नहीं है कि इष्टतम साधन क्या है। क्या आप देख सकते हैं कि अगर लॉस फंक्शन MSE है, तो हम किस मुसीबत में भागते हैं?

— कार्डिनल

@ जॉनसन: आप उस बिंदु पर बात कर रहे हैं जिस पर मैं चला रहा था। "इष्टतमता" को मापने के तरीके का कोई संकेत नहीं है। आप जो प्रभावी ढंग से कर रहे हैं वह भविष्यवाणी या फिट की "गुणवत्ता" को मापने के लिए एक अलग मीट्रिक (दूरी समारोह) शुरू कर रहा है। हमें ओपी से और अधिक जानकारी चाहिए ताकि बहुत दूर निकल सकें, मुझे संदेह है।

— कार्डिनल

@ कार्डिस: अनुमान लगाना समस्या नहीं है, जैसा कि आप ध्यान दें। :) हालांकि, यदि आप क्रॉसवेलाइडेशन करने का निर्णय लेते हैं, तो आप प्रत्येक पुनरावृत्ति के लिए बाएं-आउट फोल्ड पर एमएसई के आउट-ऑफ-सैंपल का अनुमान कैसे लगा सकते हैं? :)

— कार्डिनल

जवाबों:

यह एक दिलचस्प सवाल है। आश्चर्यजनक रूप से, कुछ मान्यताओं के तहत कुछ करना संभव है, लेकिन अवशिष्ट विचरण के बारे में जानकारी का संभावित नुकसान है। यह पर निर्भर करता है कि कितना खो गया है। $X$

आइए निम्नलिखित विलक्षण मान को अपघटन के को साथ एक मैट्रिक्स के साथ orthonormal कॉलम, एक विकर्ण मैट्रिक्स के साथ सकारात्मक एकवचन मान विकर्ण में और a मैट्रिक्स। फिर के कॉलम और के कॉलम स्पेस के लिए एक अलौकिक आधार बनाते हैं। जब इस स्तंभ स्थान पर के प्रक्षेपण के लिए गुणांक के वेक्टर का विस्तार किया जाता है $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$ कालम आधार। सूत्र से हम देखते हैं कि केवल और ज्ञान से गणना योग्य है ।

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

चूँकि किसी दिए गए लिए रिज रिग्रेशन प्रेडिक्टर की गणना हम देखते हैं कि कॉलम के आधार में रिज रिग्रेशन प्रेडिक्टर के लिए गुणांक क्या है अब हम वितरणात्मक धारणा बनाते हैं कि का -dimensional mean और covariance मैट्रिक्स । तब का -dimensional मतलब और covariance मैट्रिक्स । यदि हम एक स्वतंत्र की कल्पना करते हैं $\lambda$

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ के समान वितरण के साथ (यहां से पर सब कुछ सशर्त रूप से) संगत समान है रूप में वितरण और स्वतंत्र है और यहां तीसरी समानता और orthogonality द्वारा अनुसरण की जाती है। और इस तथ्य से चौथा कि

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{New} - \hat{Y} | |^{2} & = & E | | Y^{New} - U Z^{New} + U Z^{New} - U \hat{Z} | |^{2} \\ = & E | | Y^{New} - U Z^{New} | |^{2} + E | | U Z^{New} - U \hat{Z} | |^{2} \\ = & {Err}_{0} + E | | Z^{New} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ में अलंकारिक स्तंभ हैं। मात्रा एक त्रुटि है जिसके बारे में हमें कोई जानकारी नहीं मिल सकती है, लेकिन यह या तो पर निर्भर नहीं करता है । बाएं हाथ की तरफ की भविष्यवाणी की त्रुटि को कम करने के लिए हमें दाहिने हाथ की तरफ के दूसरे कार्यकाल को कम करना होगा।

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

एक मानक संगणना द्वारा यहाँ को पैरामीटर साथ रिज प्रतिगमन के लिए स्वतंत्रता की प्रभावी डिग्री के रूप में जाना जाता है । का एक निष्पक्ष अनुमानक is

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

हम इसे (निष्पक्ष) अनुमानक के साथ जोड़ते हैं का दिया गया जिसे हम जानते हैं , जिसे हमें फिर से छोटा करना होगा। जाहिर है, यह केवल किया जा सकता है, तो हम जानते हैं कि या के कम से एक उचित अनुमान या आकलनकर्ता है ।

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

अनुमान लगाना अधिक समस्याग्रस्त हो सकता है। यह दिखाना संभव है कि इस प्रकार अगर यह संभव है चुनने के लिए इतना छोटा वर्ग पूर्वाग्रह अनदेखा किया जा सकता है कि हम अनुमान लगाने के लिए कोशिश कर सकते हैं के रूप में अगर यह काम करेगा तो पर बहुत कुछ निर्भर करेगा । $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

कुछ विवरणों के लिए ESL में धारा 3.4.1 और अध्याय 7 या शायद GAM में अध्याय 2 को बेहतर देखें ।

— NRH
स्रोत

परिभाषित करें सवाल और के रूप में विभिन्न मापदंडों के लिए और सेट नमूना लेबल की। तब अज्ञात के बाद से कम्प्यूटेबल है दोनों का विस्तार करते समय बूँदें निकलती हैं मानदंडों। $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

यह निम्नलिखित एल्गोरिथ्म की ओर जाता है:

प्रशिक्षण सेट कुछ विकल्पों के लिए गणना करें । $e(λ,K)$ $K$
परिणाम को फ़ंक्शन के रूप में प्लॉट करें । $\lambda$
के एक मूल्य स्वीकार जहां भूखंड सपाट है। $\lambda$
उपयोग अंतिम अनुमान के रूप में। $β^*=[X^TX+λI]^{−1}X^TY$

— अर्नोल्ड न्यूमैयर
स्रोत

मैं अनुमान लगा रहा हूँ "जहां भूखंड समतल है" बहुत छोटे जैसे

λ

$\lambda$

— _

@ जंबोमैन: यह तभी होगा जब समस्या अच्छी तरह से हो और कोई नियमितीकरण की आवश्यकता हो, तो वास्तव में पर्याप्त है। बीमार स्थिति में, ओवरफिटिंग के कारण बाहर की वस्तुओं की भविष्यवाणी खराब होगी, और इसलिए इसलिए बड़ी होगी।

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— अर्नोल्ड न्यूमैयर

@AnnoldNeumaier: गणना योग्य नहीं है। हम केवल प्रत्येक भविष्यवक्ता के साथ संबंध को जानते हैं। "भविष्यवक्ता डोमेन" में है, "Y डोमेन" में नहीं (यदि N नमूना आकार है और भविष्यवक्ताओं की संख्या p है, तो हमारे पास केवल p मान हैं, प्रत्येक भविष्यवक्ता के लिए एक)।

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— जग

@ जग: तब

चयन के लिए पर्याप्त जानकारी नहीं है

λ

$\lambda$ । लेकिन

X^{T} Y

$X^TY$ को किसी तरह एकत्र किया गया होगा। यदि इसके संग्रह के दौरान आप नमूना को बैचों में विभाजित करते हैं और प्रत्येक बैच के लिए अलग से इकट्ठा करते हैं तो एक क्रॉस सत्यापन के लिए प्रत्येक बैच को आरक्षित कर सकते हैं।

k

$k$

X^{T} Y

$X^TY$

— अर्नोल्ड न्यूमैयर

@AnnoldNeumaier: बाहरी रूप से दिए गए हैं, एकत्र नहीं किए गए हैं।

X^{T} Y

$X^TY$

— जग