एक अनुचित वितरण से नमूनाकरण (MCMC का उपयोग कर और अन्यथा)

15

मेरा मूल प्रश्न है: आप अनुचित वितरण से कैसे नमूना लेंगे? क्या यह भी अनुचित वितरण से नमूना लेने के लिए समझ में आता है?

शीआन की टिप्पणी यहाँ पतों की तरह सवाल है, लेकिन मैं इस पर कुछ अधिक जानकारी के लिए देख रहा था।

MCMC के लिए अधिक विशिष्ट:

MCMC और पढ़ने के कागजात के बारे में बात करते हुए, लेखक उचित पश्च वितरण प्राप्त करने पर जोर देते हैं। प्रसिद्ध गीयर (1992) का पेपर है, जहां लेखक यह जांचना भूल गया था कि क्या उनका उत्तर-काल उचित था (अन्यथा एक उत्कृष्ट पेपर)।

लेकिन, एक हम एक संभावना है लगता है और पर एक अनुचित पूर्व वितरण कि जिसके परिणामस्वरूप पीछे भी अनुचित है इस तरह के, और एमसीएमसी वितरण से नमूना करने के लिए प्रयोग किया जाता है। इस मामले में, नमूना क्या दर्शाता है? क्या इस नमूने में कोई उपयोगी जानकारी है? मुझे पता है कि मार्कोव श्रृंखला यहाँ या तो क्षणिक या अशक्त है। यदि यह शून्य-आवर्तक है तो क्या कोई सकारात्मक टेक- वे हैं ? $f(x|\theta)$ $\theta$

अंत में, नील जी के यहाँ उत्तर में , उन्होंने उल्लेख किया है

यदि आप अनुचित हैं तो भी आप आमतौर पर (पीछे से MCMC का) नमूना ले सकते हैं।

उन्होंने कहा कि इस तरह के नमूने गहरी शिक्षा में आम है। अगर यह सच है, तो यह कैसे समझ में आता है?

— Greenparker
स्रोत

1

यह jstor.org/stable/pdf/2246228.pdf?_=1462943547901 दिलचस्प हो सकता है

— peuhp

@peuhp निश्चित रूप से सहायक है। मैं कागज से जो समझ रहा हूं वह यह है कि यदि नमूनों से मूल्यांकन किए जाने वाले कार्यों में अंतर है, तो एक अनुचित पश्च से नमूना लेना समझ में आता है। क्या मेरी व्याख्या सही है?

— ग्रीनपार्क

3

हाँ। एक अनुचित मामले के एक तुच्छ मामले पर विचार करें, जहां वसा की पूंछ के कारण अभेद्यता होती है, और एक फ़ंक्शन जो

बाहर शून्य के बराबर होता है और इसमें

से अधिक पूर्णता के लिए सभी अच्छे गुण होते हैं । यह तथ्य कि पोस्टीरियर अनुचित है, पोस्टीरियर के एकमात्र भाग के रूप में अप्रासंगिक है जो मायने रखता है

से अधिक का हिस्सा ।

[0, 1]

$[0,1]$

[0, 1]

$[0,1]$

[0, 1]

$[0,1]$

— जूलमैन

10

एक अनुचित पश्च (सघनता) से नमूना लेने से एक संभाव्य / सैद्धांतिक दृष्टिकोण से कोई मतलब नहीं है। इसका कारण यह है कि फ़ंक्शन $f$ $f$ $(\Omega,\sigma,{\mathbb P})$

यदि आपके पास पहले से एक अनुचित के साथ एक मॉडल है जो एक अनुचित पोस्टीरियर की ओर जाता है, तो कई मामलों में आप अभी भी एमसीएमसी का उपयोग करके इसका नमूना ले सकते हैं, उदाहरण के लिए मेट्रोपोलिस-हेस्टिंग्स, और "पीछे के नमूने" उचित दिख सकते हैं। यह पहली नज़र में पेचीदा और विरोधाभासी लगता है। हालाँकि, इसका कारण यह है कि MCMC विधियाँ व्यवहार में कंप्यूटर की संख्यात्मक सीमाओं तक ही सीमित हैं, और इसलिए, सभी समर्थन कंप्यूटर के लिए बाध्य (और असतत!) हैं। फिर, उन प्रतिबंधों (सीमा और असावधानी) के तहत पश्चगामी वास्तव में ज्यादातर मामलों में उचित है।

हॉबर्ट और कैसला द्वारा एक महान संदर्भ है जो एक उदाहरण (थोड़ी अलग प्रकृति) प्रस्तुत करता है जहां आप एक पोस्टबियर के लिए एक गिब्स नमूना बना सकते हैं, पीछे के नमूने पूरी तरह से उचित दिखते हैं, लेकिन पीछे वाला अनुचित है!

http://www.jstor.org/stable/2291572

इसी तरह का एक उदाहरण हाल ही में यहां सामने आया है । वास्तव में, होबर्ट और कैसला पाठक को चेतावनी देते हैं कि एमसीएमसी विधियों का उपयोग पश्च की प्रतिकूलता का पता लगाने के लिए नहीं किया जा सकता है और इसे किसी भी एमसीएमसी तरीकों को लागू करने से पहले अलग से जांचना होगा। संक्षेप में:

मेट्रोपोलिस-हेस्टिंग्स जैसे कुछ एमसीएमसी नमूने, कंप्यूटर के सीमा के बाद से अनुचित रूप से खराब होने के बाद नमूना लेने के लिए इस्तेमाल किया जा सकता है (लेकिन नहीं होना चाहिए)। केवल अगर आपके पास विशाल नमूने हैं, तो आप कुछ अजीब चीजों का निरीक्षण करने में सक्षम हो सकते हैं। आप इन मुद्दों का कितनी अच्छी तरह से पता लगा सकते हैं, यह आपके नमूना में नियोजित "वाद्य" वितरण पर भी निर्भर करता है। बाद के बिंदु को अधिक व्यापक चर्चा की आवश्यकता है, इसलिए मैं इसे यहां छोड़ना पसंद करता हूं।
(होबर्ट और कैसला)। तथ्य यह है कि आप एक मॉडल के लिए एक गिब्स नमूना (सशर्त मॉडल) का निर्माण कर सकते हैं, जिसमें अनुचित पूर्व का अर्थ यह नहीं है कि पश्च (संयुक्त मॉडल) उचित है।
पीछे के नमूनों की एक औपचारिक संभाव्य व्याख्या के बाद की स्वामित्व की आवश्यकता होती है। कनवर्जेन्स परिणाम और प्रमाण केवल उचित संभाव्यता वितरण / उपायों के लिए स्थापित किए जाते हैं।

पीएस (गाल में एक बिट जीभ): मशीन लर्निंग में लोग क्या करते हैं, इस पर हमेशा विश्वास न करें। जैसा कि प्रो। ब्रायन रिप्ले ने कहा था: "मशीन लर्निंग आंकड़े माइनस किसी भी मॉडल और मान्यताओं की जाँच करता है"।

— छड़ी
स्रोत

(+1) शानदार उत्तर, और मैं जो सोच रहा था, उसमें से अधिकांश से सहमत हूँ। मैं हॉबर्ट + कसेला संदर्भ पढ़ूंगा। क्या आपको पता होगा कि कुछ बेहतर हो सकता है अगर मार्कोव श्रृंखला अशक्त है? इसके अलावा, पीएस की टिप्पणी से सहमत हैं।

— ग्रीनपार्क

@Greenparker नल आवर्तक मार्कोव श्रृंखला में कोई स्थिर वितरण नहीं है। फिर, वे MCMC (जहां आप लक्ष्य वितरण के बराबर स्टेशनरी वितरण के साथ मार्कोव श्रृंखला का निर्माण करते हैं) के संदर्भ में बेकार हैं, उदाहरण के लिए यहां और यहां देखें ।

— रॉड

5

ऊपर रॉड के उत्कृष्ट उत्तर से एक विकल्प, अधिक लागू, दृश्य देना -

बहुतों में, यदि अधिकांश नहीं हैं, तो मामले में, पश्च की अव्यवस्था सुविधा के लिए किए गए विकल्पों का एक परिणाम है, न कि एक सच्चा "मैं अपने संभावना कार्य और पूर्व वितरण के बारे में निश्चित हूं, और देखो क्या हुआ!" प्रभाव। इसे देखते हुए, हमें अपने लागू किए गए कार्यों में बहुत गंभीरता से नहीं लेना चाहिए, जब तक कि यह हमारी गणना को गड़बड़ाने वाला न हो । जैसा कि किसी ने प्रसिद्ध (ह्यूबर? टुकी?) को एक बार देखा, एक अलग संदर्भ में, एक मानक कॉची और एक कैची के बीच का अंतर पर छोटा $+/- 10^{100}$ जाता है, यह अनिश्चित है, लेकिन किसी के पास कोई क्षण नहीं है और अन्य सभी आदेशों के क्षण हैं।

इस संदर्भ में, यदि मेरे पास एटी एंड टी पार्क में गर्म कुत्तों की मांग के लिए अगले सप्ताह के अंत में ऊपरी पूंछ समानुपातिक वितरण के साथ है $1/x$ पूर्व - एक मैं गणना के लिए उपयोग करता हूं, जिसकी ऊपरी सीमा नहीं है, और इसकी "अतिरिक्त विशेषता" जहां यह सैन फ्रांसिस्को की आबादी के ऊपर शून्य के बराबर है ... "," अतिरिक्त सुविधा "के साथ लागू किया जा रहा है" नमूना की पीढ़ी के बाद एक कदम। वास्तविक पूर्व वह नहीं है जिसका उपयोग एमसीएमसी अभिकलन (मेरे उदाहरण में) में किया गया है।

इसलिए सिद्धांत रूप में, मैं लागू काम में एक अनुचित वितरण से MCMC- उत्पन्न नमूने का उपयोग करने के साथ काफी ठीक हो जाएगा, लेकिन मैं इस बात पर बहुत ध्यान दूंगा कि यह कैसे असंगतता के बारे में आया, और यादृच्छिक नमूना इससे कैसे प्रभावित होगा। । आदर्श रूप से, यादृच्छिक नमूना इससे प्रभावित नहीं होगा, जैसा कि मेरे हॉट-डॉग उदाहरण में, जहां एक उचित दुनिया में आप वास्तव में सैन फ्रांसिस्को में लोगों की संख्या से अधिक एक यादृच्छिक संख्या उत्पन्न नहीं करेंगे ...

आपको इस तथ्य के बारे में भी पता होना चाहिए कि आपके परिणाम पश्च की विशेषता के प्रति काफी संवेदनशील हो सकते हैं, जिसके कारण यह अनुचित था, भले ही आप इसे बाद में किसी बड़ी संख्या में (या आपके मॉडल के लिए जो भी उपयुक्त हो) ट्रंकट कर दें। ) आप अपने परिणामों को मामूली बदलावों के लिए मजबूत बनाना चाहेंगे जो आपके पोस्टीरियर को अनुचित से उचित में बदल दें। यह सुनिश्चित करना कठिन हो सकता है, लेकिन यह सुनिश्चित करने की बड़ी समस्या का हिस्सा है कि आपके परिणाम आपकी धारणाओं के लिए मजबूत हैं, विशेष रूप से वे जो सुविधा के लिए बनाए गए हैं।

— jbowman
स्रोत

+1, दिलचस्प रणनीति। आप ट्रंकेशन को अपने वास्तविक पूर्व के रूप में भी प्रदान कर सकते हैं। मुझे लगता है कि जब mcmc कर रहा है तो यह आपकी कई गणनाओं को बंजैक्स नहीं कर सकता है, और एक अनुमान के उपयोग पर चर्चा करने की आवश्यकता से बचना होगा।

— conjectures

@conjectures - निश्चित रूप से, इस मामले में! यह सिर्फ एक सरल उदाहरण था, इस बिंदु को स्पष्ट करने के लिए कि क) एमसीएमसी गणना में प्रयुक्त पूर्व और वास्तविक पूर्व के बीच अंतर हो सकता है, ख) एमसीएमसी नमूने के बाद के प्रसंस्करण द्वारा अंतर को हल किया जा सकता है ( "रिज़ॉल्यूशन" की एक उचित डिग्री), और सी) एमसीएमसी गणना में उपयोग किए जाने वाले पूर्व से परिणाम की असंगतता पोस्ट-प्रोसेसिंग होने के बाद परिणामों की असंगतता नहीं है।

— jbowman