नियमित रूप से रैखिक बनाम आरकेएचएस-प्रतिगमन

मैं आरकेएचएस प्रतिगमन और रैखिक प्रतिगमन में नियमितीकरण के बीच अंतर का अध्ययन कर रहा हूं, लेकिन मेरे पास दोनों के बीच महत्वपूर्ण अंतर को समझने में कठिन समय है।

इनपुट-आउटपुट जोड़े दिए $(x_i,y_i)$ , मैं एक फ़ंक्शन का अनुमान लगाना चाहता हूं $f(\cdot)$ निम्नलिखित नुसार

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$ कहाँ पे

K (\cdot, \cdot)

$K(\cdot,\cdot)$ एक कर्नेल फ़ंक्शन है। गुणांक

α_{m}

$\alpha_m$ या तो हल करके पाया जा सकता है

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$ जहाँ, संकेतन के कुछ दुरुपयोग के साथ,

i, j

$i,j$ 'कर्नेल मैट्रिक्स का प्रवेश

K

$K$ है

K (x_{i}, x_{j})

$K(x_{i},x_{j})$ । यह देता है

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ वैकल्पिक रूप से, हम समस्या को एक सामान्य रिज प्रतिगमन / रैखिक प्रतिगमन समस्या के रूप में मान सकते हैं:

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ समाधान के साथ

α^{*} = (K^{T} K + λ n I)^{- 1} K^{T} Y .

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

इन दो दृष्टिकोणों और उनके समाधानों के बीच महत्वपूर्ण अंतर क्या होगा?

— MthQ
स्रोत

आँकड़े.स्टैकएक्सचेंज.com

— कागदस ओज़ेगेंन

@MThQ - क्या अभी भी दोहरे में काम कर रहे 'सामान्य' रिज प्रतिगमन का आपका वर्णन नहीं है? बस यह स्पष्ट करने के लिए कि मुझे लगता है कि सामान्य रिज प्रतिगमन को प्राइमल में काम करने के लिए माना जाता है (जहां स्पष्ट विशेषता प्रतिनिधित्व किया जाता है)।

— rnoodle

जैसा कि आपने शायद ऑप्टिमाइज़ेशन समस्याओं को लिखते समय ध्यान दिया है, न्यूनतमकरण में एकमात्र अंतर है जो पेनल्टीकरण के लिए उपयोग करने के लिए हिल्बर्ट मानदंड है। यह है कि, 'बड़े' मूल्यों को निर्धारित करने के लिए $\alpha$ दंड उद्देश्यों के लिए हैं। आरकेएचएस सेटिंग में, हम आरकेएचएस आंतरिक उत्पाद का उपयोग करते हैं, $\alpha^tK\alpha$ , जबकि रिज प्रतिगमन यूक्लिडियन मानदंड के संबंध में दंडित करता है।

एक दिलचस्प सैद्धांतिक परिणाम यह है कि प्रत्येक विधि प्रजनन कर्नेल के स्पेक्ट्रम को कैसे प्रभावित करती है $K$ । आरकेएचएस सिद्धांत द्वारा, हमारे पास वह है $K$ सममित सकारात्मक निश्चित है। स्पेक्ट्रल प्रमेय द्वारा, हम लिख सकते हैं $K = U^tDU$ कहाँ पे $D$ eigenvalues का विकर्ण मैट्रिक्स है और $U$ eigenvectors का ऑर्थोनॉमिक मैट्रिक्स है। नतीजतन, आरकेएचएस सेटिंग में,

\begin{aligned} (K + λ n I)^{- 1} Y & = [U^{t} (D + λ n I) U]^{- 1} Y \\ = U^{t} [D + λ n I]^{- 1} U Y . \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$ इस बीच, रिज प्रतिगमन सेटिंग में, ध्यान दें

K^{t} K = K^{2}

$K^tK=K^2$ समरूपता द्वारा,

\begin{aligned} (K^{2} + λ n I)^{- 1} K Y & = [U^{t} (D^{2} + λ n I) U]^{- 1} K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} U K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} D U Y \\ = U^{t} [D + λ n D^{- 1}]^{- 1} U Y . \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ Let the spectrum of

K

$K$ be

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$ . In RKHS regression, the eigenvalues are stabilized by

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$ . In Ridge regression, we have

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$ . As a result, RKHS uniformly modifies the eigenvalues while Ridge adds a larger value if the corresponding

ν_{i}

$\nu_i$ is smaller.

Depending on the choice of kernel, the two estimates for $\alpha$ may be close or far from each other. The distance in the operator norm sense will be

\begin{aligned} ‖ α_{RKHS} - α_{Ridge} ‖_{ℓ^{2}} & = ‖ A_{RKHS} Y - A_{Ridge} Y ‖_{ℓ^{2}} \\ \leq ‖ [D + λ n I]^{- 1} - [D + λ n D^{- 1}]^{- 1} ‖_{\infty} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {| (ν_{i} + λ n)^{- 1} - (ν_{i} + λ n / ν_{i})^{- 1} |} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {\frac{λ n | 1 - ν_{i} |}{(ν_{i} + λ n) (ν_{i}^{2} + λ n)}} ‖ Y ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$ However, this is still bounded for a given

Y

$Y$ , so your two estimators cannot be arbitrarily far apart. Hence, if your kernel is close to the identity, then there will mostly likely be little difference in the approaches. If your kernels are vastly different, the two approaches can still lead to similar results.

व्यवहार में, निश्चित रूप से यह कहना मुश्किल है कि किसी दिए गए स्थिति के लिए एक दूसरे से बेहतर है या नहीं। जैसा कि हम कर्नेल फ़ंक्शन के संदर्भ में डेटा का प्रतिनिधित्व करते समय चुकता त्रुटि के संबंध में कम कर रहे हैं, हम प्रभावी रूप से फ़ंक्शन के संबंधित हिल्बर्ट स्थान से एक सर्वश्रेष्ठ प्रतिगमन वक्र चुन रहे हैं। इसलिए, आरकेएचएस आंतरिक उत्पाद के संबंध में दंड देना आगे बढ़ने का स्वाभाविक तरीका प्रतीत होता है।

— एडम बी काशलाक
स्रोत

क्या आपके पास इसके लिए कोई संदर्भ है?

— rnoodle