मॉडल अनिश्चितता को संबोधित करते हुए

Question

मैं सोच रहा था कि क्रॉसविलेक्टेड समुदाय के बायेसियन कैसे मॉडल अनिश्चितता की समस्या को देखते हैं और वे इससे कैसे निपटना पसंद करते हैं? मैं अपने प्रश्न को दो भागों में बाँटने की कोशिश करूँगा:

1. मॉडल अनिश्चितता से कैसे महत्वपूर्ण (आपके अनुभव / राय में) है? मुझे मशीन लर्निंग समुदाय में इस मुद्दे से निपटने के लिए कोई कागजात नहीं मिला है, इसलिए मैं सोच रहा हूं कि क्यों।

2. मॉडल अनिश्चितता से निपटने के लिए सामान्य दृष्टिकोण क्या हैं (यदि आप संदर्भ प्रदान करते हैं तो बोनस अंक)? मैंने बायेसियन मॉडल औसत के बारे में सुना है, हालांकि मैं इस दृष्टिकोण की विशिष्ट तकनीकों / सीमाओं से परिचित नहीं हूं। कुछ अन्य क्या हैं और आप एक से दूसरे को क्यों पसंद करते हैं?

Comments

एक कम लोकप्रिय विधि (लेकिन बढ़ती लोकप्रियता के साथ) स्कोरिंग नियम हैं जो मॉडलों के पूर्वानुमानात्मक प्रदर्शन का मूल्यांकन करते हैं।

Answer 1

मॉडल-चयन से निपटने के दो मामले हैं:

• जब सही मॉडल मॉडल स्पेस में है।

  यह BIC का उपयोग करने से निपटने के लिए बहुत सरल है । ऐसे परिणाम हैं जो बताते हैं कि BIC उच्च संभावना वाले सच्चे मॉडल का चयन करेगा।

हालांकि, व्यवहार में यह बहुत दुर्लभ है कि हम सच्चे मॉडल को जानते हैं। मुझे टिप्पणी करनी चाहिए कि BIC का इस वजह से दुरुपयोग होता है (संभावित कारण इसकी AIC जैसी ही दिखती है ) । इन मुद्दों को इस मंच पर विभिन्न रूपों में पहले भी संबोधित किया जा चुका है। एक अच्छी चर्चा यहाँ है ।

• जब सही मॉडल मॉडल स्पेस में नहीं है।

  यह बायेसियन समुदाय में अनुसंधान का एक सक्रिय क्षेत्र है। हालांकि, यह पुष्टि की जाती है कि लोग जानते हैं कि इस मामले में BIC को एक मॉडल चयन मानदंड के रूप में उपयोग करना खतरनाक है। उच्च आयाम डेटा विश्लेषण में हालिया साहित्य यह दर्शाता है। ऐसा ही एक उदाहरण है यह । बेयस फैक्टर निश्चित रूप से उच्च आयामों में आश्चर्यजनक रूप से अच्छा प्रदर्शन करता है। BIC के कई संशोधन प्रस्तावित किए गए हैं, जैसे कि mBIC, लेकिन आम सहमति नहीं है। ग्रीन का RJMCMC बेयसियन मॉडल चयन करने का एक और लोकप्रिय तरीका है, लेकिन इसकी अपनी लघु-धूम है। आप इस पर अधिक फॉलो-अप कर सकते हैं।

बायेसियन दुनिया में एक और शिविर है जो मॉडल औसत की सिफारिश करता है। उल्लेखनीय है, डॉ। परवर्ती।

• बायेसियन मॉडल औसत।

  क्रिस वोल्न्स्की की यह वेबसाइट बेयसियन मॉडल का व्यापक स्रोत है। कुछ अन्य कार्य यहाँ हैं ।

फिर से, बायेसियन मॉडल-चयन अभी भी अनुसंधान का एक सक्रिय क्षेत्र है और आप जो पूछते हैं उसके आधार पर आपको बहुत अलग उत्तर मिल सकते हैं।

Comments

उच्च आयामों में अच्छा प्रदर्शन करने वाले बेयस कारकों के बारे में आपका ध्यान दें, लेकिन बीआईसी खराब प्रदर्शन कर रहा है, यह बीआईसी सन्निकटन द्वारा निर्धारित निर्धारक अवधि की अनदेखी करने का एक परिणाम है। BIC एक सन्निकटन लेता है जैसा किजहां सूचनात्मक है और अपेक्षित जानकारी है। जब पैरामीटर स्पेस का आयाम बड़ा होता है, तो एक ख़राब सन्निकटन होता है, विशेष रूप से यदि मॉडल में पैरामीटर आयाम में बहुत बड़ी भिन्नता हो। $\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$$A_n$$A_1$$\log|A_1|=O(1)$

— प्रोबेबिलिसलॉजिक

यह लाप्लास सन्निकटन के खराब प्रदर्शन के कारण भी हो सकता है

— संभावना

Answer 2

एक "सच" बायेसियन मॉडल के सभी अनिश्चित मॉडल पर हाशिए (एकीकृत) से अनिश्चितता से निपटेंगे। उदाहरण के लिए एक रेखीय रिज रिग्रेशन प्रॉब्लम में आप रिग्रेशन पैरामीटर्स पर हाशिए पर चले जाएंगे (जो कि एक गाऊसी पोस्टीरियर होगा, इसलिए इसे विश्लेषणात्मक रूप से किया जा सकता है), लेकिन फिर हाइपर-पारेमीटर (शोर स्तर और नियमितीकरण पैरामीटर) जैसे MCMC के माध्यम से हाशिए पर तरीकों।

एक "कम" बायेसियन समाधान मॉडल मापदंडों पर हाशिए पर होगा, लेकिन मॉडल के लिए सीमांत संभावना (जिसे "बायेसियन साक्ष्य" के रूप में भी जाना जाता है) को अधिकतम करके हाइपर-मापदंडों का अनुकूलन करना होगा। हालांकि, यह उम्मीद की जा सकती है (उदाहरण के लिए Cawley और टैलबोट देखें ) की तुलना में अधिक ओवर-फिटिंग हो सकती है । मशीन सीखने में साक्ष्य अधिकतमकरण के बारे में जानकारी के लिए डेविड मैकके का काम देखें । तुलना के लिए, इसी तरह की समस्याओं के लिए "सब कुछ बाहर एकीकृत" दृष्टिकोण पर रेडफोर्ड नील का काम देखें । ध्यान दें कि साक्ष्य ढांचा उन परिस्थितियों के लिए बहुत आसान है, जहां एकीकृत करना बहुत अधिक महंगा है, इसलिए दोनों दृष्टिकोणों के लिए गुंजाइश है।

प्रभावी रूप से Bayesians अनुकूलन के बजाय एकीकृत करते हैं। आदर्श रूप से, हम समाधान की विशेषताओं (जैसे चिकनाई) के बारे में अपनी पूर्व धारणा को बताएंगे और वास्तव में एक मॉडल बनाए बिना भविष्यवाणियों को ध्यान में रखते हैं। मशीन सीखने में प्रयुक्त गॉसियन प्रक्रिया "मॉडल" इस विचार का एक उदाहरण है, जहां सहसंयोजक कार्य समाधान के संबंध में हमारी पूर्व धारणा को कूटबद्ध करता है। रासमुसेन और विलियम्स की उत्कृष्ट पुस्तक देखें ।

व्यावहारिक Bayesians के लिए, हमेशा क्रॉस-सत्यापन होता है, ज्यादातर चीजों के लिए हरा करना कठिन होता है!

Answer 3

"मॉडल अनिश्चितता" दुनिया में मुझे मिलने वाली दिलचस्प चीजों में से एक "सच्चे मॉडल" की यह धारणा है। इसका तात्पर्य यह है कि हमारे "मॉडल प्रस्ताव" फॉर्म के हैं:

$$M_i^{(1)}:\text{The ith model is the true model}$$

$P(M_i^{(1)}|DI)$$M_i^{(1)}$

थकावट यहाँ महत्वपूर्ण है, क्योंकि यह संभावनाओं को 1 में जोड़ता है, जिसका अर्थ है कि हम मॉडल को हाशिए पर डाल सकते हैं।

लेकिन यह सब वैचारिक स्तर पर है - मॉडल औसत में अच्छा प्रदर्शन है। तो इसका मतलब है कि एक बेहतर अवधारणा होनी चाहिए।

व्यक्तिगत रूप से, मैं मॉडल को उपकरण के रूप में देखता हूं, जैसे हथौड़ा या ड्रिल। मॉडल मानसिक निर्माण हैं जिनका उपयोग हम उन चीजों के बारे में पूर्वानुमान लगाने या वर्णन करने के लिए करते हैं जिनका हम अवलोकन कर सकते हैं। एक "सच्चे हथौड़ा" की बात करना बहुत अजीब लगता है, और एक "सच्चे मानसिक निर्माण" की बात करने के लिए उतना ही अजीब है। इसके आधार पर, एक "सच्चे मॉडल" की धारणा मुझे अजीब लगती है। "सही" मॉडल और "गलत" मॉडल के बजाय "अच्छे" मॉडल और "बुरे" मॉडल के बारे में सोचना अधिक स्वाभाविक लगता है।

इस दृष्टिकोण को देखते हुए, हम समान रूप से अनिश्चित हो सकते हैं जैसे कि मॉडल के चयन से "सर्वश्रेष्ठ" मॉडल का उपयोग करना। इसलिए मान लीजिए कि हम प्रचार के बारे में तर्क देते हैं:

$$M_i^{(2)}:\text{Out of all the models that have been specified,}$$ $$\text{the ith model is best model to use}$$

$M_{i}^{(2)}$$M_{i}^{(2)}$

इस दृष्टिकोण में, आपको अपने "सर्वश्रेष्ठ" मॉडल को कितना अच्छा लगता है, यह पता लगाने के लिए आपको किसी प्रकार की उपयुक्तता की अच्छाई की आवश्यकता है। यह दो तरीकों से किया जा सकता है, "सुनिश्चित चीज़" मॉडल के खिलाफ परीक्षण करके, जो सामान्य गोफ़ सांख्यिकी (केएल विचलन, ची-वर्ग, आदि) की मात्रा है। इसे नापने का एक और तरीका है अपने मॉडल के वर्ग में एक अत्यंत लचीला मॉडल शामिल करना - शायद सैकड़ों घटकों के साथ एक सामान्य मिश्रण मॉडल, या एक डिरिचलेट प्रक्रिया मिश्रण। यदि यह मॉडल सर्वश्रेष्ठ के रूप में सामने आता है, तो यह संभावना है कि आपके अन्य मॉडल अपर्याप्त हैं।

इस पत्र में एक अच्छी सैद्धांतिक चर्चा है, और कदम से कदम, एक उदाहरण है कि आप वास्तव में मॉडल का चयन कैसे करते हैं।

Comments

एक बड़ा +1। बहुत विचारशील, स्पष्ट विश्लेषण।

— whuber

बहुत बढ़िया जवाब। मुझे यह उल्लेख करना चाहिए कि एक विशिष्ट वर्ग के मॉडल को देखते हुए, बीआईसी महान है। हालांकि, ज्यादातर बार, जैसा कि आप उल्लेख करते हैं, सच मॉडल मॉडल स्थान के बाहर है। फिर, जैसा कि आप उल्लेख करते हैं, सच्चे मॉडल और "सर्वश्रेष्ठ मॉडल" के बीच निकटता समझ में आती है। ये उत्तर एआईसी और अन्य आईसी जवाब देने की कोशिश करते हैं। BMA काम करता है, लेकिन यह भी काम नहीं करने के लिए दिखाया गया है। यह कहना नहीं है कि यह बुरा है, लेकिन हमें इसके बारे में एक सार्वभौमिक विकल्प के रूप में सोचते समय सावधान रहना चाहिए।

— सनकूल्सू

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$

Answer 4

मुझे पता है कि लोग डीआईसी और बेयस फैक्टर का उपयोग करते हैं, जैसा कि सनकूलू ने कहा। और मुझे दिलचस्पी थी जब उन्होंने कहा "ऐसे परिणाम हैं जो बताते हैं कि बीआईसी उच्च संभावना वाले सच्चे मॉडल का चयन करेगा" (संदर्भ)। लेकिन मैं केवल एक चीज का उपयोग करता हूं जो मुझे पता है, जो कि पूर्ववर्ती भविष्यवाणियां हैं, जो एंड्रयू गेलमैन द्वारा चलाई गई हैं। यदि आप एंड्रयू गेलमैन और बाद के पूर्वानुमानों की जांच करते हैं, तो आपको बहुत सी चीजें मिलेंगी। और मैं मॉडल पसंद के बारे में एबीसी पर क्रिश्चियन रॉबर्ट क्या लिख रहा है पर एक नज़र रखना होगा । किसी भी मामले में, यहां मुझे कुछ संदर्भ पसंद हैं, और जेलमैन के ब्लॉग में कुछ हालिया पोस्ट:

ब्लॉग

डीआईसी और एआईसी ; डीआईसी पर अधिक । मॉडल की जाँच और बाहरी सत्यापन

पूर्ववर्ती भविष्यवाणिय जाँच पर कागजात:

जेलमैन, एंड्रयू। (2003â)। "खोज डेटा विश्लेषण और अच्छाई-के-फिट परीक्षण के एक बायेसियन निरूपण"। अंतर्राष्ट्रीय सांख्यिकीय समीक्षा, वॉल्यूम। 71, एन .2, पीपी। 389-382।

जेलमैन, एंड्रयू। (2003b)। "जटिल मॉडल के लिए खोजपूर्ण डेटा विश्लेषण"। कम्प्यूटेशनल और ग्राफिक सांख्यिकी जर्नल, वॉल्यूम। 13, एन। 4, पीपी। 755/779।

जेलमैन, एंड्रयू; मेकलेन, इवेन वान; VERBEKE, Geert; हेतल, डेनियल एफ .; MEULDERS, मिशेल। (2005)। "मॉडल की जाँच के लिए एकाधिक प्रतिष्ठा: गुम और अव्यक्त डेटा के साथ पूर्ण-डेटा प्लॉट।" बायोमेट्रिक्स 61, 74-85, मार्च

जेलमैन, एंड्रयू; मेंग, जिओ-ली; स्टर्न, हाल। (1996)। "वास्तविक विसंगतियों के माध्यम से मॉडल फिटनेस का पूर्ववर्ती सकारात्मक आकलन"। स्टेटिस्टिका सिनिका, 6, पीपी। 733-807।