क्या तिखोनोव नियमितीकरण रिज रिज्रेशन के समान है?

Question

Tikhonov नियमितीकरण और रिज प्रतिगमन अक्सर ऐसे शब्दों के रूप में उपयोग किया जाता है जैसे कि वे समान थे। क्या यह निर्दिष्ट करना संभव है कि अंतर क्या है?

Answer 1

तिखोनोव नियमितिकरण रिज रिज्रेशन की तुलना में एक बड़ा सेट है। यहाँ मेरा प्रयास है कि कैसे वे अलग-अलग हैं।

मान लीजिए कि एक ज्ञात मैट्रिक्स $A$ और वेक्टर $b$ , हम एक वेक्टर खोज करना चाहते हैं $\mathbf{x}$जैसे:

$A\mathbf{x}=\mathbf{b}$ ।

मानक दृष्टिकोण साधारण कम से कम वर्ग रैखिक प्रतिगमन है। हालाँकि, यदि कोई $x$ समीकरण को संतुष्ट नहीं करता है या एक से अधिक $x$ करता है - यही समाधान अद्वितीय नहीं है - समस्या को अनलिखित माना जाता है। साधारण से कम वर्ग वर्ग के अवशेषों के योग को कम से कम करना चाहते हैं, जिन्हें निम्न रूप से लिखा जा सकता है:

$\|A\mathbf{x}-\mathbf{b}\|^2$

कहाँयूक्लिडियन मानदंड है। मैट्रिक्स नोटेशन में, समाधान को " द्वारा दर्शाया जाता है , द्वारा दिया जाता है:$\left \| \cdot \right \|$$\hat{x}$

$\hat{x} = (A^{T}A)^{-1}A^{T}\mathbf{b}$

Tikhonov नियमितीकरण कम से कम

$\|A\mathbf{x}-\mathbf{b}\|^2+ \|\Gamma \mathbf{x}\|^2$

कुछ चुनिंदा तिखोनोव मैट्रिक्स के लिए, । एक स्पष्ट मैट्रिक्स फॉर्म सॉल्यूशन, जिसे द्वारा दर्शाया गया है , द्वारा दिया गया है:$\Gamma$$\hat{x}$

$\hat{x} = (A^{T}A+ \Gamma^{T} \Gamma )^{-1}A^{T}{b}$

मैट्रिक्स के पैमाने के माध्यम से नियमितीकरण का प्रभाव भिन्न हो सकता है । के लिए इस बशर्ते कि (ए unregularized कम से कम वर्गों समाधान के लिए कम कर देता है ^टी ए) ^-1 मौजूद है।गामा = $\Gamma$$\Gamma = 0$

आमतौर पर रिज प्रतिगमन के लिए , तिखोनोव नियमितीकरण से दो प्रस्थान का वर्णन किया जाता है। सबसे पहले, Tikhonov मैट्रिक्स को कई पहचान मैट्रिक्स द्वारा प्रतिस्थापित किया जाता है

$\Gamma= \alpha I$ ,

छोटे मानदंड, अर्थात, मानदंड के साथ वरीयता देना । तब बन जाता है$L_2$$\Gamma^{T} \Gamma$$\alpha^2 I$

$\hat{x} = (A^{T}A+ \alpha^2 I )^{-1}A^{T}{b}$

अंत में, रिज प्रतिगमन के लिए, यह आमतौर पर माना जाता है कि चर को स्केल किया जाता है ताकि में सहसंबंध मैट्रिक्स का रूप हो। और चर और बीच सहसंबंध वेक्टर है , जिसके लिए अग्रणी है$A$$X^{T}X$$X^{T}b$$x$$b$

$\hat{x} = (X^{T}X+ \alpha^2 I )^{-1}X^{T}{b}$

इस रूप में ध्यान दें कि लैगेंज मल्टीप्लायर को आमतौर पर , , या किसी अन्य चिन्ह से बदल दिया जाता है , लेकिन गुण बरकरार रखता है$\alpha^2$$k$$\lambda$$\lambda\geq0$

इस उत्तर को तैयार करने में, मैं विकिपीडिया से और हस्तांतरण समारोह भार के रिज अनुमान से उदारतापूर्वक उधार लेने की बात स्वीकार करता हूं

Comments

(+1) पूर्णता के लिए, यह उल्लेखनीय है कि व्यावहारिक रूप से नियमित रूप से नियमित प्रणाली आमतौर पर फॉर्म , जो तब एक मानक रैखिक कम से कम वर्ग समस्या के रूप में हल किया जा सकता है (जैसे कि QR / SVD के माध्यम से अपनी , सामान्य समीकरणों को स्पष्ट रूप से बनाए बिना)। $\begin{bmatrix}A\\ \alpha \Gamma\\ \end{bmatrix}x\approx\begin{bmatrix}b\\0\\ \end{bmatrix}\implies \hat{A}x\approx \hat{b}$$\hat{A}$

— जियोमैट 22

अच्छी बात। मैं इसे बाद में जोड़ूंगा।

— कार्ल

चौरसाई विभाजन और इसी तरह के विस्तार के तरीके तिखोनोव नियमितीकरण के सबसेट हैं?

— साइकोरैक्स का कहना है कि

@ साइकोरेक्स मुझे ऐसी उम्मीद नहीं है। उदाहरण के लिए, एक बी-स्पलाइन एंडपॉइंट पर शून्य पर डेरिवेटिव सेट करेगा, और एंडपॉइंट के बीच डेटा के लिए डेरिवेटिव के मिलान और परिमाण को मैच करेगा। तिखोनोव नियमितीकरण फिट के ढलान को बदलकर आपको जो भी पैरामीटर त्रुटि बताता है उसे कम करेगा। तो, अलग चीजें।

— कार्ल

इसके अलावा, Tychonov नियमितीकरण के लिए मनमाना आयामों में एक सूत्रीकरण है (वियोज्य?) हिल्बर्ट रिक्त स्थान

— AIM_BLB

Answer 2

कार्ल ने पूरी तरह से जवाब दिया है कि टिक्कनोव नियमितीकरण बनाम रिज प्रतिगमन के बीच के गणितीय अंतर को अच्छी तरह से बताता है। यहां ऐतिहासिक चर्चा से प्रेरित होकर , मैंने सोचा कि यह एक छोटा उदाहरण जोड़ने के लिए उपयोगी हो सकता है कि यह दर्शाता है कि अधिक सामान्य Tikhonov फ्रेमवर्क कैसे उपयोगी हो सकता है।

पहले संदर्भ पर एक संक्षिप्त नोट। रिज रिग्रेशन आँकड़ों में उत्पन्न हुआ, और जब नियमितीकरण अब आँकड़ों और मशीन सीखने में व्यापक है, तिखोनोव का दृष्टिकोण मूल रूप से मॉडल-आधारित डेटा आत्मसात (विशेषकर भूभौतिकी ) में उत्पन्न होने वाली उलटा समस्याओं से प्रेरित था । नीचे सरल उदाहरण इस श्रेणी में है (अधिक जटिल संस्करणों का उपयोग पेलियोक्लाइम पुनर्निर्माण के लिए किया जाता है )।

---

कल्पना कीजिए कि हम तापमान फिर से संगठित करना चाहते हैं वर्तमान माप पर आधारित अतीत में, यू [ एक्स , टी = टी ] । हमारे सरलीकृत मॉडल में हम के अनुसार मान लेंगे कि तापमान विकसित गर्मी समीकरण यू टी = यू एक्स एक्स आवधिक सीमा शर्तों के साथ -1 डी में यू [ एक्स + एल , टी ] = यू [ एक्स , टी ] एक साधारण (स्पष्ट)$u[x,t=0]$$u[x,t=T]$

$$u_t = u_{xx}$$ $$u[x+L,t] = u[x,t]$$ परिमित अंतर असतत मॉडल के लिए दृष्टिकोण होता है गणितीय रूप से, विकास मैट्रिक्स A उल्टा है, इसलिए हमारे पास u t = A - 1 u t + 1 है, हालांकिसंख्यात्मक रूप से, यदि समय अंतरालTबहुत लंबा है, तो कठिनाइयाँ आएंगी। $$\frac{\Delta\mathbf{u}}{\Delta{t}} = \frac{\mathbf{Lu}}{\Delta{x^2}} \implies \mathbf{u}_{t+1} = \mathbf{Au}_t$$ $\mathbf{A}$ $$\mathbf{u}_t = \mathbf{A^{-1}u}_{t+1}$$ $T$

तिकोनेव नियमितीकरण ए यू टी को हल करके इस समस्या को हल कर सकता है जो एक छोटे से जुर्माना कहते हैंω2«1पर खुरदरापनयूएक्सएक्स।

$$\begin{align} \mathbf{Au}_t &\approx \mathbf{u}_{t+1} \\ \omega\mathbf{Lu}_t &\approx \mathbf{0} \end{align}$$ $\omega^2\ll{1}$$u_{xx}$

नीचे परिणामों की तुलना है:

$u_0$$u_\mathsf{fwd}$$u_0$$u_\mathsf{inv}$$u_\mathsf{reg}$$u_0$

$\mathbf{u}$$u_t\approx{0}$.

---

Matlab code for the example is below (can be run online here).

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');

Comments

All compliments warmly received. It is worthwhile mentioning, even if slightly off topic, that both Tikhonov regularization and ridge regression can be used for targeting physical regression targets. (+1)

— Carl

@Carl this is certainly true. We could even use it here, by switching variables to $v=Lu$! (In general, any Tikhonov problem with an invertible Tikhonov matrix can be converted to ridge regression.)

— GeoMatt22