क्या मैं हर MCMC पुनरावृत्ति पर एक बड़े डेटासेट की सदस्यता ले सकता हूँ?

समस्या: मैं एक बड़े डेटासेट पर कुछ पीछे हटने के लिए गिब्स नमूना प्रदर्शन करना चाहता हूं। Unfortunatelly, मेरा मॉडल बहुत सरल नहीं है और इस प्रकार नमूना बहुत धीमा है। मैं परिवर्तनशील या समानांतर दृष्टिकोणों पर विचार करूंगा, लेकिन उस दूर जाने से पहले ...

प्रश्न: मैं यह जानना चाहूंगा कि क्या मैं हर गिब्स पुनरावृत्ति में अपने डेटासेट से बेतरतीब ढंग से नमूना (प्रतिस्थापन के साथ) ले सकता हूं, ताकि मेरे पास हर कदम पर सीखने के लिए कम उदाहरण हैं।

मेरा अंतर्ज्ञान यह है कि अगर मैं नमूने बदल देता हूं, तो भी मैं संभावना घनत्व नहीं बदलूंगा और इसलिए गिब्स नमूना को चाल पर ध्यान नहीं देना चाहिए। क्या मैं सही हू? क्या ऐसा करने वाले लोगों के कुछ संदर्भ हैं?

— अल्बर्टो
स्रोत

एक तरफ के रूप में: एक और विचार बड़े डेटासेट के यादृच्छिक उपसमूह पर कई विश्लेषण करना होगा। इस तरह आप क्रॉस-वेलिडेट भी कर सकते हैं।

— अनुमान

मैं किसी भी प्राधिकरण के साथ आपके सटीक प्रश्न का उत्तर नहीं दे सकता (हालांकि मेरा संदेह यह है कि आप सिर्फ मोंटे कार्लो के साथ आने वाले सन्निकटन त्रुटि को बढ़ाएंगे), दुखद सच्चाई यह है कि यह बायेसियन एमसीएमसी विश्लेषण का सिर्फ एक दुर्भाग्यपूर्ण पहलू है: वे कम्प्यूटेशनल रूप से हैं महंगा। @ कॉन्जेक्ट्स टिप्पणी एक महान विचार है, लेकिन वास्तव में इस मुद्दे पर दिल में नहीं आता है: प्रत्येक व्यक्ति के लिए उन सभी नमूनों को आकर्षित करना बहुत महंगा है। मेरी सिफारिश है कि भारी काम (Rcpp in R, Cython in Python, आदि) के लिए अपना स्वयं का C कोड लिखें और साथ ही (जब कोई शाखा निर्भरता न हो) समानांतर करें।

@conjectures यह माइकल जॉर्डन के छोटे बूटस्ट्रैप के बैग की तरह लगता है।

— जरदनीमी

मैं पूरी तरह से अव्यक्त चर वृद्धि से बचने के लिए आपका नमूना बदलने का सुझाव दूंगा। अब आपके पास एक गिब्स नमूना नहीं होगा, लेकिन संभावना के लिए एक सामान्य सन्निकटन के आधार पर एक प्रस्ताव के साथ एक मेट्रोपोलिस-हेस्टिंग्स एल्गोरिदम बस ठीक काम करना चाहिए। बायेसियन डेटा विश्लेषण के दूसरे संस्करण की धारा 16.4 देखें।

— जरदनीमी जुं

यह सक्रिय अनुसंधान का एक क्षेत्र है जिसे मैं आपके लिए संक्षेप में अच्छी तरह से नहीं जानता। उदाहरण के लिए देखें jmlr.org/proceedings/papers/v32/bardenet14.pdf और arxiv.org/pdf/1304.5299v4.pdf

— एंड्रयू एम

सबसेंम्पलिंग रणनीतियों के बारे में: उदाहरण के लिए केवल दो टिप्पणियों पर विचार करें $X_1 \sim N(\mu_1, \sigma_1^2)$ तथा $X_2 \sim N(\mu_2,\sigma_2^2)$ और माध्य और विचरण पर कुछ पुजारी लगाने के लिए विचार करें। चलो $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$ हम जिस पद का मूल्यांकन करना चाहते हैं, वह है

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$ कॉन्सडर अब एक द्विपद चर है

δ \sim B (0.5)

$\delta \sim B(0.5)$ । अगर

δ = 0

$\delta=0$ हमने चुना है

X_{1}

$X_1$ , अगर

δ = 1

$\delta =1$ हमने चुना है

X_{2}

$X_2$ नई पोस्टीरियर है

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$ कहाँ पे

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$ तथा

f (δ) = 0.5

$f(\delta) = 0.5$ । अब अगर आप नमूना लेना चाहते हैं

δ

$\delta$ गिब्स कदम के साथ आपको गणना करनी होगी

f (X_{1} | θ)

$f(X_1|\theta)$ तथा

f (X_{2} | θ)

$f(X_2|\theta)$ चूंकि

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$ । यदि आप अन्यथा मेट्रोपोलिस हेस्टिंग्स का उपयोग करते हैं तो आप एक नए राज्य का प्रस्ताव करते हैं

δ^{*}

$\delta^*$ और आपको केवल एक के बीच गणना करनी है

f (X_{1} | θ)

$f(X_1|\theta)$ तथा

f (X_{2} | θ)

$f(X_2|\theta)$ एक प्रस्तावित राज्यों से जुड़ा है, लेकिन आपको बीच में एक की गणना करनी होगी

f (X_{1} | θ)

$f(X_1|\theta)$ तथा

f (X_{2} | θ)

$f(X_2|\theta)$ यहां तक कि अंतिम स्वीकृत स्थिति के लिए भी

δ

$\delta$ । तब मुझे यकीन नहीं है कि महानगर आपको कुछ लाभ देगा। इसके अलावा यहाँ हम एक द्विभाजित प्रक्रिया पर विचार कर रहे हैं, लेकिन एक बहुभिन्नरूपी प्रक्रिया के नमूने के साथ

δ

$\delta$ s महानगर के साथ बहुत जटिल हो सकता है।

— niandra82
स्रोत