क्या तिखोनोव नियमितीकरण रिज रिज्रेशन के समान है?


33

Tikhonov नियमितीकरण और रिज प्रतिगमन अक्सर ऐसे शब्दों के रूप में उपयोग किया जाता है जैसे कि वे समान थे। क्या यह निर्दिष्ट करना संभव है कि अंतर क्या है?

जवाबों:


47

तिखोनोव नियमितिकरण रिज रिज्रेशन की तुलना में एक बड़ा सेट है। यहाँ मेरा प्रयास है कि कैसे वे अलग-अलग हैं।

मान लीजिए कि एक ज्ञात मैट्रिक्स A और वेक्टर b , हम एक वेक्टर खोज करना चाहते हैं xजैसे:

Ax=b

मानक दृष्टिकोण साधारण कम से कम वर्ग रैखिक प्रतिगमन है। हालाँकि, यदि कोई x समीकरण को संतुष्ट नहीं करता है या एक से अधिक x करता है - यही समाधान अद्वितीय नहीं है - समस्या को अनलिखित माना जाता है। साधारण से कम वर्ग वर्ग के अवशेषों के योग को कम से कम करना चाहते हैं, जिन्हें निम्न रूप से लिखा जा सकता है:

Axb2

कहाँयूक्लिडियन मानदंड है। मैट्रिक्स नोटेशन में, समाधान को " द्वारा दर्शाया जाता है , द्वारा दिया जाता है:एक्सx^

x^=(ATA)1ATb

Tikhonov नियमितीकरण कम से कम

Axb2+Γx2

कुछ चुनिंदा तिखोनोव मैट्रिक्स के लिए, । एक स्पष्ट मैट्रिक्स फॉर्म सॉल्यूशन, जिसे द्वारा दर्शाया गया है , द्वारा दिया गया है:एक्सΓx^

x^=(ATA+ΓTΓ)1ATb

मैट्रिक्स के पैमाने के माध्यम से नियमितीकरण का प्रभाव भिन्न हो सकता है । के लिए इस बशर्ते कि (ए unregularized कम से कम वर्गों समाधान के लिए कम कर देता है टी ए) -1 मौजूद है।गामा = 0ΓΓ=0

आमतौर पर रिज प्रतिगमन के लिए , तिखोनोव नियमितीकरण से दो प्रस्थान का वर्णन किया जाता है। सबसे पहले, Tikhonov मैट्रिक्स को कई पहचान मैट्रिक्स द्वारा प्रतिस्थापित किया जाता है

Γ=αI ,

छोटे मानदंड, अर्थात, मानदंड के साथ वरीयता देना । तब बन जाता हैL2ΓTΓα2I

x^=(ATA+α2I)1ATb

अंत में, रिज प्रतिगमन के लिए, यह आमतौर पर माना जाता है कि चर को स्केल किया जाता है ताकि में सहसंबंध मैट्रिक्स का रूप हो। और चर और बीच सहसंबंध वेक्टर है , जिसके लिए अग्रणी हैAXTXXTbxb

x^=(XTX+α2I)1XTb

इस रूप में ध्यान दें कि लैगेंज मल्टीप्लायर को आमतौर पर , , या किसी अन्य चिन्ह से बदल दिया जाता है , लेकिन गुण बरकरार रखता हैα2kλλ0

इस उत्तर को तैयार करने में, मैं विकिपीडिया से और हस्तांतरण समारोह भार के रिज अनुमान से उदारतापूर्वक उधार लेने की बात स्वीकार करता हूं


10
(+1) पूर्णता के लिए, यह उल्लेखनीय है कि व्यावहारिक रूप से नियमित रूप से नियमित प्रणाली आमतौर पर फॉर्म , जो तब एक मानक रैखिक कम से कम वर्ग समस्या के रूप में हल किया जा सकता है (जैसे कि QR / SVD के माध्यम से अपनी , सामान्य समीकरणों को स्पष्ट रूप से बनाए बिना)। [AαΓ]x[b0]A^xb^A^
जियोमैट 22

अच्छी बात। मैं इसे बाद में जोड़ूंगा।
कार्ल

चौरसाई विभाजन और इसी तरह के विस्तार के तरीके तिखोनोव नियमितीकरण के सबसेट हैं?
साइकोरैक्स का कहना है कि

@ साइकोरेक्स मुझे ऐसी उम्मीद नहीं है। उदाहरण के लिए, एक बी-स्पलाइन एंडपॉइंट पर शून्य पर डेरिवेटिव सेट करेगा, और एंडपॉइंट के बीच डेटा के लिए डेरिवेटिव के मिलान और परिमाण को मैच करेगा। तिखोनोव नियमितीकरण फिट के ढलान को बदलकर आपको जो भी पैरामीटर त्रुटि बताता है उसे कम करेगा। तो, अलग चीजें।
कार्ल

इसके अलावा, Tychonov नियमितीकरण के लिए मनमाना आयामों में एक सूत्रीकरण है (वियोज्य?) हिल्बर्ट रिक्त स्थान
AIM_BLB

23

कार्ल ने पूरी तरह से जवाब दिया है कि टिक्कनोव नियमितीकरण बनाम रिज प्रतिगमन के बीच के गणितीय अंतर को अच्छी तरह से बताता है। यहां ऐतिहासिक चर्चा से प्रेरित होकर , मैंने सोचा कि यह एक छोटा उदाहरण जोड़ने के लिए उपयोगी हो सकता है कि यह दर्शाता है कि अधिक सामान्य Tikhonov फ्रेमवर्क कैसे उपयोगी हो सकता है।

पहले संदर्भ पर एक संक्षिप्त नोट। रिज रिग्रेशन आँकड़ों में उत्पन्न हुआ, और जब नियमितीकरण अब आँकड़ों और मशीन सीखने में व्यापक है, तिखोनोव का दृष्टिकोण मूल रूप से मॉडल-आधारित डेटा आत्मसात (विशेषकर भूभौतिकी ) में उत्पन्न होने वाली उलटा समस्याओं से प्रेरित था । नीचे सरल उदाहरण इस श्रेणी में है (अधिक जटिल संस्करणों का उपयोग पेलियोक्लाइम पुनर्निर्माण के लिए किया जाता है )।


कल्पना कीजिए कि हम तापमान फिर से संगठित करना चाहते हैं वर्तमान माप पर आधारित अतीत में, यू [ एक्स , टी = टी ] । हमारे सरलीकृत मॉडल में हम के अनुसार मान लेंगे कि तापमान विकसित गर्मी समीकरण यू टी = यू एक्स एक्स आवधिक सीमा शर्तों के साथ -1 डी में यू [ एक्स + एल , टी ] = यू [ एक्स , टी ] एक साधारण (स्पष्ट)u[x,t=0]u[x,t=T]

ut=uxx
u[x+L,t]=u[x,t]
परिमित अंतर असतत मॉडल के लिए दृष्टिकोण होता है गणितीय रूप से, विकास मैट्रिक्स A उल्टा है, इसलिए हमारे पास u t = A - 1 u t + 1 है, हालांकिसंख्यात्मक रूप से, यदि समय अंतरालTबहुत लंबा है, तो कठिनाइयाँ आएंगी।
ΔuΔt=LuΔx2ut+1=Aut
A
ut=A1ut+1
T

तिकोनेव नियमितीकरण यू टी को हल करके इस समस्या को हल कर सकता है जो एक छोटे से जुर्माना कहते हैंω2«1पर खुरदरापनयूएक्सएक्स

Autut+1ωLut0
ω21uxx

नीचे परिणामों की तुलना है:

Tikhonov vs. Checkerboard

u0ufwdu0uinvuregu0

uut0.


Matlab code for the example is below (can be run online here).

% Tikhonov Regularization Example: Inverse Heat Equation
n=15; t=2e1; w=1e-2; % grid size, # time steps, regularization
L=toeplitz(sparse([-2,1,zeros(1,n-3),1]/2)); % laplacian (periodic BCs)
A=(speye(n)+L)^t; % forward operator (diffusion)
x=(0:n-1)'; u0=sin(2*pi*x/n); % initial condition (periodic & smooth)
ufwd=A*u0; % forward model
uinv=A\ufwd; % inverse model
ureg=[A;w*L]\[ufwd;zeros(n,1)]; % regularized inverse
plot(x,u0,'k.-',x,ufwd,'k:',x,uinv,'r.:',x,ureg,'ro');
set(legend('u_0','u_{fwd}','u_{inv}','u_{reg}'),'box','off');

All compliments warmly received. It is worthwhile mentioning, even if slightly off topic, that both Tikhonov regularization and ridge regression can be used for targeting physical regression targets. (+1)
Carl

2
@Carl this is certainly true. We could even use it here, by switching variables to v=Lu! (In general, any Tikhonov problem with an invertible Tikhonov matrix can be converted to ridge regression.)
GeoMatt22
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.