समीकरणों की एक पूर्व निर्धारित प्रणाली के लिए रिज प्रतिगमन लागू करना?

जब , तो कम से कम वर्गों की समस्या जो के मान पर एक गोलाकार प्रतिबंध लगाती है, उसे लिखा जा सकता है एक अतिव्यापी प्रणाली के लिए। एक वेक्टर का यूक्लिडियन मानदंड है। $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

$\beta$ का संगत समाधान

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ जो लैग्रेग मल्टीप्लायरों की विधि से प्राप्त किया जा सकता है (

λ

$\lambda$ गुणक है):

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

मैं समझता हूं कि एक ऐसी संपत्ति है जो

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ दायां हाथ पक्ष अंडरट्रैमराइज्ड केस में रजिस्ट्रर मैट्रिक्स

के छद्म-व्युत्क्रम जैसा दिखता है

X

$X$ (अतिरिक्त नियमितीकरण पैरामीटर,

λ

$\lambda$ )। क्या इसका मतलब यह है कि एक ही अभिव्यक्ति का इस्तेमाल दलित मामले के लिए अनुमानित

β

$\beta$ लिए किया जा सकता है ? दलित मामले में संबंधित अभिव्यक्ति के लिए एक अलग व्युत्पत्ति है, जैसे कि गोलाकार प्रतिबंध बाधा उद्देश्य फ़ंक्शन (न्यूनतम

का न्यूनतम मानदंड

β

$\beta$ ) के साथ बेमानी है :

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— hatmatrix
स्रोत

के रूप में रिज प्रतिगमन समस्या के गठन के साथ शुरू

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

आप इस समस्या को लिख सकते हैं

$\min \| A\beta - b \|_{2}^{2}$

कहाँ पे

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

तथा

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

मैट्रिक्स में पूर्ण कॉलम रैंक है क्योंकि भाग है। इस प्रकार एक अद्वितीय समाधान के रूप में कम से कम वर्गों की समस्या $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

इसे और संदर्भ में लिखना , और 0 में से बहुत सारे को सरल बनाना, हम प्राप्त करते हैं $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

इस व्युत्पत्ति में कुछ भी इस बात पर निर्भर नहीं करता है कि में अधिक पंक्तियाँ या स्तंभ हैं, या यहाँ तक कि पास पूर्ण रैंक है या नहीं। यह सूत्र इस प्रकार अनिर्धारित मामले पर लागू होता है। $X$ $X$

यह एक बीजगणितीय तथ्य है जो कि , $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

इस प्रकार हमारे पास उपयोग करने का विकल्प भी है

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ ।

अपने विशिष्ट प्रश्नों के उत्तर देने के लिए:

हां, दोनों सूत्र अनिर्धारित मामले के साथ-साथ ओवर निर्धारित मामले के लिए भी काम करते हैं। उन्होंने यह भी काम करता है, तो पंक्तियों और के स्तंभों की संख्या कम से कम से कम है । दूसरा संस्करण उन समस्याओं के लिए अधिक कुशल हो सकता है जो अनिर्धारित हैं क्योंकि उस मामले में से छोटा है । $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
मैं सूत्र के वैकल्पिक संस्करण के किसी भी व्युत्पत्ति से अवगत नहीं हूं जो कुछ अन्य कम से कम वर्गों की समस्या से शुरू होता है और सामान्य समीकरणों का उपयोग करता है। किसी भी मामले में आप इसे बीजगणित के एक बिट का उपयोग करके सीधे आगे फैशन में प्राप्त कर सकते हैं।

यह संभव है कि आप फॉर्म में रिज रिग्रेशन समस्या के बारे में सोच रहे हों

$\min \| \beta \|_{2}^{2}$

का विषय है

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

हालाँकि, रिज प्रतिगमन समस्या का यह संस्करण केवल एक ही कम से कम वर्गों की समस्या की ओर जाता है । $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— ब्रायन बोरचर्स
स्रोत

यह ध्यान देने योग्य है कि सीमा में क्या होता है जैसे कि 0 पर जाता है यदि में पूर्ण पंक्ति रैंक या पूर्ण स्तंभ रैंक है। यदि में पूर्ण स्तंभ रैंक है, तो सीमा में, आपको pseudoinverse । इसी प्रकार, यदि में पूर्ण पंक्ति रैंक है, तो सीमा में आपको pseudoinverse । तो, यह उम्मीद के मुताबिक काम करता है।

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— ब्रायन बॉर्कर्स

यह एक अभूतपूर्व व्यापक उत्तर है और संवर्धित सरणियों से व्युत्पन्न (प्लस बीजगणित जो मैंने याद किया) बहुत संतोषजनक है। मैं उस रिज रिग्रेशन की समस्या के बारे में नहीं सोच रहा था जो आप अंत में प्रस्तुत करते हैं, लेकिन यह देखना दिलचस्प है कि यह उसी उद्देश्य फ़ंक्शन की ओर जाता है। एक बड़ा धन्यवाद!

— हैमेट्रिक्स

धन्यवाद। मैं यहाँ एक बेशर्म प्लग डालूँगा- आप इसे (और संबंधित सामग्री के बहुत सारे) पाठ्यपुस्तक में पैरामीटर आकलन और उलटा समस्याओं पर पा सकते हैं, जो मैंने रिक एस्टर और क्लिफ थर्बर के साथ किया था।

— ब्रायन बॉर्कर्स

मुझे यह भी जोड़ने दें कि वास्तव में इस मैट्रिक्स व्युत्क्रम की गणना आमतौर पर इस सूत्र का उपयोग करने का सबसे अच्छा तरीका नहीं है। के आकार और संभावित स्पार्सिटी के आधार पर आप एक पुनरावृत्ति योजना का उपयोग करके या केवल मैट्रिक्स के चोल्स्की कारक के उपयोग से बहुत बेहतर हो सकते हैं ।

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— ब्रायन बॉर्चर्स

आपके सुझाव के लिए धन्यवाद! मैं आपकी पुस्तक के संदर्भ की सराहना करता हूं क्योंकि मुझे इस सामग्री पर टेक्सबुक खोजने में परेशानी हुई है। हमारे डेटा का आकार वास्तव में बहुत बड़ा नहीं है (केवल यह है कि हमें इसे कई बार अलग-अलग डेटा सेटों पर लागू करना पड़ सकता है), इसलिए सीधे उलटा करने के लिए उत्तरदायी हो सकता है, लेकिन अतिरिक्त संकेत के लिए धन्यवाद!

— हैमेट्रिक्स