बायेसियन बनाम MLE, ओवरफिटिंग समस्या

बिशप की पीआरएमएल पुस्तक में, वह कहते हैं कि, ओवरफिटिंग अधिकतम संभावना अनुमान (एमएलई) के साथ एक समस्या है, और बेयसियन इससे बच सकते हैं।

लेकिन मुझे लगता है, ओवरफिटिंग मॉडल चयन के बारे में अधिक समस्या है, पैरामीटर अनुमान करने के लिए इस्तेमाल की जाने वाली विधि के बारे में नहीं। यह है, मान लीजिए कि मेरे पास एक डेटा सेट , जो माध्यम से उत्पन्न होता है $D$ , अब मैंडेटा फिट करने और यह पता लगाने के लिएअलग-अलग मॉडल चुन सकता हूं किकौन सा सबसे अच्छा है। और विचाराधीन मॉडल विभिन्न आदेशों के साथ बहुपद हैं, ऑर्डर 1 है, ऑर्डर 2 है, ऑर्डर 9 है।

f (x) = s i n (x), x \in [0, 1]

$f(x)=sin(x),\;x\in[0,1]$

H_{i}

$H_i$

H_{1}

$H_1$

H_{2}

$H_2$

H_{3}

$H_3$

अब मैं डेटा फिट करने के लिए कोशिश 3 मॉडलों में से प्रत्येक के साथ, प्रत्येक मॉडल अपनी पैरामीटर, के रूप में निरूपित किया गया है के लिए । $D$ $w_i$ $H_i$

एमएल का उपयोग करते हुए, मेरे पास मॉडल पैरामीटर का एक बिंदु अनुमान , और बहुत सरल है और हमेशा डेटा को कम करेगा, जबकि बहुत जटिल है और डेटा को ओवरफिट करेगा, केवल डेटा को अच्छी तरह से फिट करेगा। $w$ $H_1$ $H_3$ $H_2$

मेरे प्रश्न हैं,

1) मॉडल डेटा से आगे निकल जाएगा, लेकिन मुझे नहीं लगता कि यह एमएल की समस्या है, लेकिन मॉडल की समस्या प्रति से। क्योंकि, लिए ML का उपयोग करने से ओवरफिटिंग नहीं होती है। क्या मैं सही हू? $H_3$ $H_1,H_2$

$w$ $D$

$D$

bayesian model-selection overfitting

— एवोकाडो
स्रोत

जवाबों:

$^1$

GC Cawley और NLC टैलबोट, मॉडल चयन में ओवर-फिटिंग और प्रदर्शन मूल्यांकन में बाद के चयन पूर्वाग्रह, जर्नल ऑफ मशीन लर्निंग रिसर्च, 2010। रिसर्च, वॉल्यूम। 11, पीपी। 2079-2107, जुलाई 2010. ( पीडीएफ )

— डिक्रान मार्सुपियल
स्रोत

+1, बहुत बहुत धन्यवाद, मैं आपका पेपर पढ़ूंगा और देखूंगा कि क्या मेरे पास कोई और प्रश्न हैं? ;-)

— एवोकैडो

बस यहां ध्यान दें कि अनुकूलन को आमतौर पर लगभग एकीकृत माना जा सकता है - लाप्लास विधि इसका एक उदाहरण है। अनुकूलन आमतौर पर विफल हो जाता है जब यह एकीकृत करने के लिए एक अच्छा अनुमान नहीं है - इसलिए क्यों REML आमतौर पर एमएल से बेहतर है।

— प्रोबेबिलिसलॉजिक

@probabilityislogic, मुझे यकीन नहीं है कि मैं समझता हूं, ML MAP जैसा है, कोई एकीकरण नहीं है। लाप्लास सन्निकटन का उपयोग करना (जिस तरह से मैंने इसका उपयोग देखा है) इस अर्थ में अनुकूलन कर रहा है कि आप उस फ़ंक्शन को एक सन्निकटन का अनुकूलन करते हैं जिसे आप एकीकृत करना चाहते हैं और इसके बजाय इसे एकीकृत करना चाहते हैं, लेकिन अभी भी एकीकरण चल रहा है।

— डिक्रान मार्सुपियल

@dikran marsupial - शायद इसे समझाने का एक बेहतर तरीका यह है कि एकीकरण अक्सर एमएल द्वारा एक पैरामीटर का अनुमान लगाकर, और उस पैरामीटर को अपने MLE के बराबर करने के लिए विवश करता है। लाप्लास सन्निकटन इस अंतर्ज्ञान को एक "सुधार कारक" प्रदान करता है - उसी तरह से जो REML करता है।

— probabilityislogic

@probabilityislogic उत्तर के लिए धन्यवाद, मैं इसे कुछ विचार दूँगा!

— डिक्रान मार्सुपियल

एक सामान्य प्रतिक्रिया के रूप में, यदि आप "कम से कम वर्गों" प्रकार के प्रतिगमन मॉडल का उपयोग कर रहे हैं, तो वास्तव में बेयर्स और एमएल के बीच बहुत अंतर नहीं है, जब तक कि आप प्रतिगमन मापदंडों के लिए एक सूचनात्मक का उपयोग नहीं करते हैं। बारीकियों के जवाब में:

$H_9$ $H_1$

$x$

3) बायेसियन दृष्टिकोण केवल उचित पुजारियों के लिए ओवरफिटिंग से बच सकता है। यह कुछ फिटिंग एल्गोरिदम में आपके द्वारा देखे जाने वाले दंड की शर्तों के समान है। उदाहरण के लिए, एल 2 जुर्माना = सामान्य पूर्व, एल 1 जुर्माना = लाप्लास पूर्व।

— probabilityislogic
स्रोत

H_{9}

$H_9$

H_{\infty}

$H_\infty$

H_{9}

$H_9$

$H_1$ $H_2$ $H_3$

$2$ $H_1$

$l^1$

— Youloush
स्रोत

अपर्याप्त प्रशिक्षण नमूनों के साथ एक सरल परिकल्पना (जैसे h1, h2) कुछ प्रशिक्षण उदाहरणों पर मॉडल पूर्वाग्रह के कारण फिटिंग के तहत (cv के लिए) फिटिंग के तहत और न कि फिटिंग पर एक उदाहरण होगा।

— yekta