पदानुक्रमित बायेसियन मॉडल बनाम अनुभवजन्य बेयस

Question

क्या आप एचबीएम बनाम ईबी को दो विकल्प मानेंगे जिसमें हाइपरपरमेटर्स को "गेम" में सैंपल / अनुमानित / आदि के रूप में लिया जाता है? इन दोनों के बीच स्पष्ट रूप से एक संबंध है।

क्या आप ईबी की तुलना में एचबीएम को अधिक "पूरी तरह से बायेसियन" मानेंगे? क्या कोई ऐसी जगह है जहाँ मैं देख सकता हूँ कि "पूरी तरह से बायेसियन" और दूसरे विकल्प होने के बीच क्या अंतर हैं?

धन्यवाद।

Comments

"पूरी तरह से बायेसियन" और "एम्पैरिकल बेयस" के बारे में चर्चा करने के लिए इसका मतलब है "" पूरी तरह से बायेसियन "बनाम" बायेसियन "" में उत्तर देखें ।

धन्यवाद प्रोक्रिस्टिनेटर। यदि संभव हो तो मैं अभी भी पदानुक्रमित बायेसियन मॉडल के संबंध के बारे में प्रतिक्रिया सुनना चाहूंगा।

— सिंगेलटन

आप इसे विकिपीडिया प्रविष्टि एम्पिरिकल बेयस विधि में पा सकते हैं : "अनुभवजन्य बेयर्स को एक पदानुक्रमित मॉडल के पूरी तरह से बायेसियन उपचार के लिए एक सन्निकटन के रूप में देखा जा सकता है जिसमें पदानुक्रम के उच्चतम स्तर पर मापदंडों को उनके सबसे संभावित मूल्यों पर सेट किया जाता है, बजाय एकीकृत किया जा रहा है ”।

Answer 1

मैं कहूंगा कि ईबी की तुलना में एचबीएम निश्चित रूप से "अधिक बायेसियन" है, क्योंकि हाशिए का अनुकूलन की तुलना में अधिक बायेसियन दृष्टिकोण है। अनिवार्य रूप से यह मुझे लगता है कि ईबी हाइपर-मापदंडों में अनिश्चितता की अनदेखी करता है, जबकि एचबीएम इसे विश्लेषण में शामिल करने का प्रयास करता है। मुझे संदेह है कि एचएमबी एक अच्छा विचार है जहां बहुत कम डेटा है और इसलिए हाइपर-मापदंडों में महत्वपूर्ण अनिश्चितता है, जिसका हिसाब होना चाहिए। बड़े डेटासेट के लिए दूसरी ओर ईबी अधिक आकर्षक हो जाता है क्योंकि यह आमतौर पर कम कम्प्यूटेशनल रूप से महंगा होता है और डेटा की मात्रा अक्सर इसका मतलब है कि परिणाम हाइपर-पैरामीटर सेटिंग्स के प्रति बहुत कम संवेदनशील होते हैं।

मैंने गॉसियन प्रोसेस क्लासिफायर पर काम किया है और अक्सर हाइपर-मापदंडों को अनुकूलित करके एमएल को ओवर-फिटिंग करने और सामान्यीकरण प्रदर्शन में महत्वपूर्ण गिरावट के कारण सीमांत संभावना परिणाम को अधिकतम करने के लिए। मुझे उन मामलों में संदेह है, एक पूर्ण एचबीएम उपचार अधिक विश्वसनीय होगा, लेकिन बहुत अधिक महंगा भी।

Comments

ईबी के लिए +1 हाइपर-मापदंडों में अनिश्चितता की अनदेखी करता है । इसके अलावा, बायेसियन कट्टरपंथी ईबी विरोधी बायेसियन पर विचार करते हैं क्योंकि पूर्व अनुमान लगाने के लिए डेटा का उपयोग करना निन्दा है ।

जाहिर है कि मैं तब एक फंडी बायेसियन नहीं हूं! एचबीएम मुझे सही काम लगता है, बशर्ते कि यह वास्तव में कम्प्यूटेशनल रूप से व्यवहार्य हो, जिस दिन आपको एक हद तक व्यावहारिक होने की आवश्यकता होती है (उपलब्ध सबसे बड़ा कंप्यूटर खरीदने के बाद; ओ)।

— डिक्रान मार्सुपियल