Pareto को रोकना महत्वपूर्ण महत्व के नमूने (PSIS-LOO) को विफल करने से रोकता है

Question

मैंने हाल ही में इन पत्रों में वर्णित पारेटो के चिकने महत्त्व वाले नमूने का नमूना-वन-आउट क्रॉस-वैरिडेशन (PSIS-LOO) उपयोग करना शुरू किया:

• व्हीत्सारी, ए।, और गेलमैन, ए। (2015)। पारेतो ने महत्त्वपूर्ण नमूनाकरण किया। arXiv preprint ( लिंक )।
• व्हीत्सारी, ए।, गेलमैन, ए।, और गैब्री, जे। (2016)। प्रैक्टिकल बायेसियन मॉडल मूल्यांकन लीव-वन-आउट क्रॉस-वैलिडेशन और WAIC का उपयोग कर। आर्क्सिव प्रिन्प्रिंट ( लिंक )

यह आउट-ऑफ-सैंपल मॉडल मूल्यांकन के लिए एक बहुत ही मोहक दृष्टिकोण का प्रतिनिधित्व करता है क्योंकि यह एक एकल MCMC चलाने के साथ LOO-CV प्रदर्शन करने की अनुमति देता है, और यह WAIC जैसे मौजूदा सूचना मानदंडों से कथित रूप से बेहतर है।

PSIS-LOO में यह बताने के लिए एक डायग्नोस्टिक्स है कि अनुमानित प्रतिपादक द्वारा दिए गए अनुमान को विश्वसनीय बताया गया है, के के अनुभवजन्य वितरण की पूंछ (प्रति डेटा बिंदु पर एक वजन) पर फिट किए गए। संक्षेप में, यदि अनुमानित वजन , बुरी चीजें हो सकती हैं।$\hat{k}_i$$\hat{k}_i \gtrsim 0.7$

अफसोस की बात है, मैंने पाया कि मेरी समस्या के लिए इस पद्धति के आवेदन में, अधिकांश रुचि के मॉडल के लिए मुझे पता चलता है कि \ _ {k} _i \ gg 0.7 का एक बड़ा अंश $\hat{k}_i \gg 0.7$। अप्रत्याशित रूप से, रिपोर्ट किए गए कुछ लू-लॉग-लाइबिलिटीज स्पष्ट रूप से निरर्थक थे (अन्य डेटासेट की तुलना में)। एक डबल-चेक के रूप में, मैंने 10-पार क्रॉस-सत्यापन के लिए एक पारंपरिक (और समय लेने वाला) प्रदर्शन किया, यह पाते हुए कि वास्तव में उपरोक्त मामले में पीएसआईएस-एलओयू भयानक रूप से गलत परिणाम दे रहा था (उल्टा, परिणाम 10 के साथ बहुत अच्छे समझौते में थे उन मॉडलों के लिए CV जिसमें सभी $\hat{k}_i \ll 0.7$ ) शामिल हैं। रिकॉर्ड के लिए, मैं अकी व्हीत्सारी द्वारा PSIS-LOO के MATLAB कार्यान्वयन का उपयोग कर रहा हूं।

हो सकता है कि मैं अभी बहुत अशुभ हूं कि मेरी वर्तमान और पहली समस्या जिसमें मैं इस पद्धति को लागू करता हूं, PSIS-LOO के लिए "कठिन" है, लेकिन मुझे संदेह है कि यह मामला अपेक्षाकृत सामान्य हो सकता है। मेरे जैसे मामलों के लिए, वाहन, गेलमैन और गैबी पेपर बस कहता है:

यहां तक कि अगर PSIS अनुमान एक परिमित विचरण, जब है , उपयोगकर्ता से सीधे नमूने पर विचार करना चाहिए समस्याग्रस्त के लिए , उपयोग गुना पार सत्यापन, या अधिक मजबूत मॉडल का उपयोग करें।$\hat{k} > 0.7$$p(\theta^s |y_{−i})$$i$$k$

ये स्पष्ट हैं लेकिन वास्तव में आदर्श समाधान नहीं हैं क्योंकि वे सभी समय लेने वाली हैं या अतिरिक्त फ़िडलिंग की आवश्यकता है (मैं सराहना करता हूं कि एमसीएमसी और मॉडल मूल्यांकन सभी फ़िडलिंग के बारे में हैं, लेकिन कम बेहतर)।

क्या कोई सामान्य तरीका है जिसे हम पहले से लागू करने की कोशिश कर सकते हैं और PSIS-LOO को विफल होने से रोक सकते हैं? मेरे पास कुछ अस्थायी विचार हैं, लेकिन मुझे आश्चर्य है कि अगर पहले से ही एक अनुभवजन्य समाधान है जिसे लोग अपना रहे हैं।

Answer 1

रिकॉर्ड के लिए, मैंने स्टेन उपयोगकर्ताओं की मेलिंग सूची में एक समान प्रश्न पोस्ट किया , जिसे आप यहां पा सकते हैं । मुझे मूल PSIS-LOO पेपर के लेखकों में से एक और स्टेन के अन्य योगदानकर्ताओं द्वारा जवाब दिया गया था। मेरा व्यक्तिगत सारांश इस प्रकार है।

संक्षिप्त उत्तर यह है कि PSIS-LOO को विफल होने से रोकने के लिए कोई ज्ञात सामान्य विधि नहीं है । यदि PSIS-LOO विफल रहता है, तो यह आमतौर पर इसलिए होता है क्योंकि मॉडल में समस्याएं हैं , और इसे ठीक करना उपयोगकर्ता के लिए आवश्यक है।

विशेष रूप से, पीएसआईएस-एलओयू विफल होने का कारण आमतौर पर हो सकता है क्योंकि एक या एक से अधिक एलओयू वितरण स्थानांतरित हो जाते हैं और / या व्यापक रूप से पूर्ण पीछे, प्रभावशाली टिप्पणियों के कारण होने की संभावना होती है, और महत्व नमूना वितरण एक या कुछ बिंदुओं तक गिर जाता है।

मैं सोच रहा था कि आप इस मुद्दे को हल करने के लिए समांतर पश्चवर्ती तड़के के कुछ रूप को अपनाने की कोशिश कर सकते हैं । विचार आवश्यक रूप से गलत नहीं है, लेकिन यह मुझे बताया गया है कि:

• पाठ्यपुस्तक पश्च तड़के को अभी भी सही तापमान स्तर (s) खोजने के लिए बहुत सारे केस-बाय-केस फ़िडलिंग की आवश्यकता होगी, क्योंकि ऐसा करने का कोई स्पष्ट और ज्ञात तरीका नहीं है (संयोग से, इस कारण से स्टेन में समांतर टेम्परिंग शामिल नहीं है);
• यदि आप दो से अधिक तापमान स्तरों का उपयोग करते हैं (जैसा कि एक मजबूत दृष्टिकोण की आवश्यकता हो सकती है), अंतिम कम्प्यूटेशनल लागत के-गुना क्रॉस सत्यापन की समस्या है, या समस्याग्रस्त एलओयू वितरण पर एमसीएमसी चलाने की है।

संक्षेप में, यदि PSIS-LOO विफल रहता है, तो ऐसा तरीका प्राप्त करना कठिन प्रतीत होता है जो अन्य सरल पैचों की तरह मजबूत और सामान्य हो; इसीलिए व्हीत्सारी, गेलमैन और गेब्री ने मेरे मूल प्रश्न में पोस्ट किए गए उद्धरण के अनुसार उन तरीकों का सुझाव दिया।