बायसेपियन सोच ओवरफिटिंग के बारे में


20

मैंने पारंपरिक अक्सरवादी सांख्यिकीय डोमेन में पूर्वानुमान मॉडल को मान्य करने के लिए तरीकों और सॉफ्टवेयर के विकास के लिए बहुत समय समर्पित किया है । व्यवहार और शिक्षण में अधिक बायेसियन विचारों को रखने में मुझे गले लगाने के लिए कुछ महत्वपूर्ण अंतर दिखाई देते हैं। सबसे पहले, बेयसियन प्रेडिक्टिव मॉडलिंग विश्लेषक को पूर्व वितरण के बारे में कठिन सोचने के लिए कहता है जो उम्मीदवार सुविधाओं के लिए अनुकूलित किया जा सकता है, और ये पुजारी मॉडल को उनकी ओर खींचेंगे (यानी, विभिन्न पूर्वानुमान सुविधाओं के साथ अलग-अलग मात्रा में दंड के साथ संकोचन / दंड / नियमितीकरण प्राप्त करेंगे) )। दूसरा, "वास्तविक" बायेसियन तरीका एक मॉडल में परिणाम नहीं करता है, लेकिन एक भविष्यवाणी के लिए एक पूरे पोस्टीरियर वितरण होता है।

उन Bayesian सुविधाओं को ध्यान में रखते हुए, ओवरफिटिंग का क्या मतलब है? क्या हमें इसका आकलन करना चाहिए? यदि हां, तो कैसे? जब क्षेत्र के उपयोग के लिए एक बायेसियन मॉडल विश्वसनीय है तो हमें कैसे पता चलेगा? या यह कि एक बिंदू के बाद से एक बिंदु सभी सावधानी देने वाली अनिश्चितताओं के साथ ले जाएगा जब हम उस मॉडल का उपयोग करते हैं जिसे हमने भविष्यवाणी के लिए विकसित किया था?

अगर हम बायेसियन मॉडल को एक ही संख्या में डिस्टिल्ड करने के लिए मजबूर करते हैं तो सोच कैसे बदलेगी, जैसे, पीछे मतलब / मोड / ध्यान जोखिम?

मैं कुछ संबंधित सोच को देखने के लिए यहाँ । एक समानांतर चर्चा यहाँ मिल सकती है ।

फॉलो-अप प्रश्न :: यदि हम पूरी तरह से बायेसियन हैं और डेटा देखने से पहले याजकों के बारे में सोचने में कुछ समय बिताते हैं, और हम एक मॉडल फिट करते हैं जहाँ डेटा की संभावना उचित रूप से निर्दिष्ट की गई थी, तो क्या हम ओवरफिटिंग के संबंध में अपने मॉडल से संतुष्ट होने के लिए मजबूर हैं। ? या क्या हमें ऐसा करने की आवश्यकता है जो हम लगातार दुनिया में करते हैं जहां एक यादृच्छिक रूप से चुने गए विषय की औसत पर अच्छी तरह से भविष्यवाणी की जा सकती है, लेकिन अगर हम एक ऐसे विषय का चयन करते हैं जिसकी बहुत कम भविष्यवाणी है या जिसमें बहुत अधिक अनुमानित मूल्य है, तो प्रतिगमन होगा मतलब के लिए?


1
देखें mdpi.com/1099-4300/19/10/555/htm 5.1, 5.2
टिम

जवाबों:


6

मैं कह रही द्वारा शुरू कर सकते हैं कि एक बायेसियन मॉडल कर सकते हैं व्यवस्थित overfit नहीं (या underfit) डेटा कि पहले भविष्य कहनेवाला वितरण, जो एक के लिए आधार है से लिए गए हैं प्रक्रिया सत्यापित करें कि बायेसियन सॉफ्टवेयर सही ढंग से काम कर रहा है इससे पहले कि यह से एकत्र किए गए आंकड़ों पर लागू होता है विश्व।

लेकिन यह पूर्व अनुमानात्मक वितरण से खींचे गए एकल डेटासेट या दुनिया से एकत्र किए गए एकल डेटासेट को इस अर्थ में ओवरफिट कर सकता है कि डेटा पर लागू किए गए विभिन्न भविष्य कहे जाने वाले उपाय, जो आपके द्वारा भविष्य के डेटा पर लागू किए गए उन्हीं पूर्वानुमान उपायों की तुलना में बेहतर दिखते हैं। उसी प्रक्रिया से उत्पन्न। रिचर्ड मैकलेर्थ की बायेसियन पुस्तक का अध्याय 6 ओवरफिटिंग के लिए समर्पित है।

ओवरफिटिंग की गंभीरता और आवृत्ति को अच्छे पुजारियों द्वारा कम किया जा सकता है, विशेष रूप से वे जो एक प्रभाव के पैमाने के बारे में जानकारीपूर्ण हैं। पूर्ववर्ती बड़े मूल्यों पर गायब होने की पूर्व संभावना को समाप्त करके, आप डेटा के कुछ अज्ञात पहलू से अति-उत्साहित होने से होने वाले वितरण को हतोत्साहित करते हैं, जिस पर आप शर्त लगाते हैं कि यह एक बड़े पैमाने पर प्रभाव का संकेत दे सकता है।

ओवरफिटिंग का पता लगाने के सर्वोत्तम तरीकों में छुट्टी-एक-आउट क्रॉस-सत्यापन शामिल है, जो एक पीछे के वितरण से अनुमानित किया जा सकता है जो वास्तव में कंडीशनिंग सेट से कोई भी अवलोकन नहीं छोड़ता है। एक धारणा है कि कोई भी व्यक्ति "अवलोकन" [*] नहीं करता है कि आप पर स्थिति के बाद वितरण पर अत्यधिक बड़ा प्रभाव पड़ता है, लेकिन सामान्यीकृत पर्टो में आकार पैरामीटर के अनुमान के आकार का मूल्यांकन करके यह धारणा जांचनीय है महत्त्वपूर्ण सैंपलिंग वेट्स के लिए फिट (जो कि पश्च-पश्च से हर ड्रा पर मूल्यांकन किए गए अवलोकन के लॉग-लाइबिलिटी से प्राप्त होता है)। यदि यह धारणा संतुष्ट है, तो आप प्रत्येक अवलोकन के लिए भविष्य कहनेवाला उपाय प्राप्त कर सकते हैं जैसे कि उस अवलोकन को छोड़ दिया गया है, शेष टिप्पणियों पर पीछे की ओर सशर्त से खींचा गया था, और पीछे हटे हुए अवलोकन के लिए पूर्ववर्ती भविष्य कहनेवाला वितरण का निर्माण किया गया था। यदि आपके आउट-ऑफ ऑब्जर्वेशन की भविष्यवाणियां पीड़ित हैं, तो आपका मॉडल शुरू होने से पहले ओवरफिट कर रहा था। इन विचारों को कार्यान्वित किया जाता हैलू पैकेज आर के लिए है, जो इस तरह के रूप उद्धरण शामिल हैं यहाँ और वहाँ

जहाँ तक किसी एक संख्या में डिस्टिलिंग करने की बात है, मैं उन टिप्पणियों के अनुपात की गणना करना पसंद करता हूं जो 50% भविष्यवाणिय अंतराल के भीतर आते हैं। इस हद तक कि यह अनुपात एक आधे से अधिक है, मॉडल ओवरफिटिंग है, हालांकि समावेश सूचक फ़ंक्शन में शोर के माध्यम से कटौती करने के लिए आपको कुछ मुट्ठी भर से अधिक टिप्पणियों की आवश्यकता होती है। विभिन्न मॉडलों की तुलना (कि overfit सकता है) के लिए, उम्मीद लॉग भविष्य कहनेवाला घनत्व (जिसका परिकलन looमें समारोह लूपैकेज) एक अच्छा उपाय (IJ Good द्वारा प्रस्तावित) है, क्योंकि यह इस संभावना को ध्यान में रखता है कि एक अधिक लचीला मॉडल उपलब्ध डेटा को कम लचीले मॉडल से बेहतर फिट कर सकता है लेकिन भविष्य के डेटा के बदतर होने की भविष्यवाणी करने की उम्मीद है। लेकिन इन विचारों को किसी भी भविष्य कहनेवाला उपाय की उम्मीद पर लागू किया जा सकता है (जो चिकित्सकों के लिए अधिक सहज हो सकता है); लू पैकेज E_looमें फ़ंक्शन देखें ।

[*] आपको यह चुनना होगा कि एक पदानुक्रमित मॉडल में एक अवलोकन क्या है। उदाहरण के लिए, क्या आप एक मौजूदा रोगी के लिए एक नए रोगी या नए समय बिंदु की भविष्यवाणी करने में रुचि रखते हैं? आप इसे किसी भी तरह से कर सकते हैं, लेकिन पूर्व की आवश्यकता है कि आप (पुनः) रोगी-विशिष्ट मापदंडों को एकीकृत करने की संभावना लिखें।


2
बहुत जानकारीपूर्ण बेन। विस्तार से जवाब देने के लिए समय निकालने के लिए बहुत बहुत धन्यवाद। गुंजाइश के बारे में आपके प्रश्न का उत्तर देने के लिए, मैं नए रोगियों की बात कर रहा हूं। मुझे एक सामान्य दार्शनिक प्रश्न के साथ छोड़ दिया गया है जिसे मैंने मूल प्रश्न के अंत में जोड़ा है।
फ्रैंक हरेल

2
मैं इस तरह की जाँचों के बारे में सोचता हूँ जैसे कि हमारे पूर्व विश्वासों के उन पहलुओं को दर्शाते हैं जो हम उपयोग किए गए पूर्व वितरणों में नहीं कर सकते थे या नहीं बना सकते थे। उदाहरण के लिए, सिद्धांत रूप में, आपको सभी मापदंडों पर एक संयुक्त पूर्व पीडीएफ निर्दिष्ट करना चाहिए, लेकिन लगभग हमेशा यह मानने की बहुत संभावना है कि यह उस से स्वतंत्र है, एक प्राथमिकता , इसलिए नहीं कि आप वास्तव में मानते हैं कि वे स्वतंत्र हैं, बल्कि सिर्फ इसलिए कि निर्दिष्ट कर रहे हैं बहुभिन्नरूपी निर्भरता संरचना बहुत कठिन है। मल्टीवेरियेट फ़ंक्शन जैसे कि भविष्यवाणियां आपको इस तथ्य के बाद बताने में मदद कर सकती हैं कि क्या इनपुट संयुक्त रूप से समझदार थे।
बेन गुडरिक

यह जबरदस्त समझ में आता है और बहुत ही व्यावहारिक है। मैं अभी भी "अति" विषयों के लिए पूर्वानुमेय सटीकता के मूल्यांकन के बारे में कुछ हद तक छोड़ दिया गया हूं, अर्थात, बहुत कम या बहुत अधिक अनुमानित मूल्यों वाले। [और बेयस के लिए, जिन्होंने मूल्यों की भविष्यवाणी की थी। क्या यह उन बदलावों के साथ है, जो एक पिछड़े हुए वितरण के साथ हैं या जो निम्न / उच्च पश्च मीन के साथ हैं?]
फ्रैंक हैरेल

1
इस पर एक और सोचा: यह कई स्थितियों में लगता है, चिकित्सकों के बारे में काफी सुसंगत और गैर विवादास्पद विश्वासों है भाजक Bayes नियम की। उदाहरण के लिए, यदि किसी को यह या वह कैंसर है, तो किसी और चीज के बिना कंडीशनिंग के जीवित रहने का समय क्या है? लेकिन बेयस नियम के अंश को निर्दिष्ट करने के लिए यह अधिक कठिन और अधिक विवादास्पद है जैसे कि यदि आप सभी मापदंडों को एकीकृत करते हैं, तो आप जो मानते हैं उसके साथ छोड़ दिया जाता है। प्रीडिक्टिव चेकिंग (पूर्व और पीछे दोनों) बेयर रूल के हर के साथ अंश को संरेखित करने का एक तरीका है।
बेन

1

ओवरफिटिंग का मतलब है कि मॉडल ट्रेनिंग सेट पर अच्छा काम करता है लेकिन टेस्ट सेट पर खराब प्रदर्शन करता है। IMHO, यह दो स्रोतों से आता है: डेटा और मॉडल जिसका हम उपयोग करते हैं (या हमारी विषय-वस्तु)।

नतीजतन, अगर हम अक्सरवादी होते हैं, तो ओवरफिटिंग का स्रोत MLE से आता है। यदि हम बायेसियन हैं तो यह पूर्व वितरण की (व्यक्तिपरक) पसंद से आता है (और संभावना की पसंद)। इसलिए यदि आप पश्च वितरण / माध्य / माध्यिका का उपयोग करते हैं, तो भी आप शुरुआत से ही पहले से ही ओवरफिटेड हैं और यह ओवरफिटिंग साथ में चलती है। पूर्व वितरण और संभावना के उचित विकल्प से मदद मिलेगी लेकिन वे अभी भी मॉडल हैं, आप पूरी तरह से ओवरफिटिंग से कभी भी नहीं बच सकते।


डेटा संभावना की अनदेखी करना, जो लगातार और बायेसियन दृष्टिकोणों के लिए सामान्य है, यह विचार कि ओवरफिटिंग पूर्व की पसंद से आता है, व्यावहारिक है। तात्पर्य यह है कि ओवरफिटिंग के लिए जांच करने का कोई तरीका नहीं है, क्योंकि अगर हमने पहले से पहले के बारे में हमारी सभी डेटा सोच को पूरा कर लिया है, तो कोई रास्ता नहीं है और न ही पूर्व की जांच करने की आवश्यकता है। लेकिन फिर भी मैं डूबती भावना के साथ छोड़ रहा हूं कि चरम भविष्यवाणियां ओवरफिटिंग (मतलब के लिए प्रतिगमन) दिखाएंगी। पूर्व मापदंडों के बारे में है, डेटा में चरम सीमाओं के बारे में नहीं।
फ्रैंक हरेल
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.