MCMC नमूनों से सीमांत संभावना की गणना

यह एक आवर्ती प्रश्न है ( इस पोस्ट , इस पोस्ट और इस पोस्ट को देखें ), लेकिन मेरे पास एक अलग स्पिन है।

मान लीजिए कि मेरे पास एक सामान्य MCMC नमूना से नमूनों का एक गुच्छा है। प्रत्येक नमूने के लिए $\theta$ , मैं लॉग संभावना का मूल्य पता $\log f(\textbf{x} | \theta)$ और लॉग पूर्व की $\log f(\theta)$ । यदि यह मदद करता है, तो मैं डेटा बिंदु प्रति लॉग संभावना के मूल्य को भी जानता हूं, $\log f(x_i | \theta)$ (यह जानकारी कुछ विधियों के साथ मदद करता है, जैसे कि WAIC और PSIS-LOO)।

मैं सीमांत संभावना का एक (क्रूड) अनुमान प्राप्त करना चाहता हूं, बस मेरे पास जो नमूने हैं, और संभवत: कुछ अन्य फ़ंक्शन मूल्यांकन (लेकिन एक तदर्थ एमसीएमसी पुन: निर्देशित किए बिना )।

सबसे पहले, आइए तालिका को साफ़ करें। हम सभी जानते हैं कि हार्मोनिक अनुमानक सबसे खराब अनुमानक है । पर चलते हैं। यदि आप बंद रूप में पुजारियों और डाकियों के साथ गिब्स नमूना कर रहे हैं, तो आप चिब की विधि का उपयोग कर सकते हैं ; लेकिन मुझे यकीन नहीं है कि उन मामलों के बाहर सामान्यीकरण कैसे किया जाए। ऐसी विधियां भी हैं जिनके लिए आपको नमूनाकरण प्रक्रिया (जैसे कि टेम्पर्ड पोस्टेरियर्स के माध्यम से ) को संशोधित करने की आवश्यकता होती है , लेकिन मुझे इसमें दिलचस्पी नहीं है।

मैं एक पैरामीट्रिक (या nonparametric) आकार साथ अंतर्निहित वितरण का अनुमान $g(\theta)$ लगाने के बारे में सोच रहा हूं , और फिर सामान्यीकरण निरंतर $Z$ को 1-डी अनुकूलन समस्या (यानी, $Z$ बीच कुछ त्रुटि को कम करता है) $Z g(\theta)$ और $f(\textbf{x}|\theta) f(\theta)$ , नमूने पर मूल्यांकन)। सबसे सरल मामले में, मान लीजिए कि पश्च भाग लगभग सामान्य रूप से सामान्य है, मैं फिट कर सकता हूं $g(\theta)$ एक बहुभिन्नरूपी सामान्य के रूप में और लाप्लास सन्निकटन के समान कुछ मिलता है (मैं मोड की स्थिति को परिष्कृत करने के लिए कुछ अतिरिक्त फ़ंक्शन मूल्यांकन का उपयोग करना चाह सकता हूं)। हालाँकि, मैं रूप में उपयोग कर सकता है $g(\theta)$ एक अधिक लचीला परिवार जैसे कि बहुभिन्नरूपी $t$ वितरण का एक परिवर्तनीय मिश्रण ।

मुझे लगता है कि इस विधि को केवल तभी काम करता है की सराहना करते हैं $Z g(\theta)$ करने के लिए एक उचित अनुमान होता है $f(\textbf{x}|\theta) f(\theta)$ , लेकिन किसी भी कारण या कारण है कि यह बहुत यह करने के लिए मूर्ख होगा की चेतावनीपूर्ण कहानी? कोई भी रीडिंग जो आप सुझाएंगे?

पूरी तरह से गैरपारंपरिक दृष्टिकोण कुछ गैर-पैरामीट्रिक परिवार का उपयोग करता है, जैसे कि एक गाऊसी प्रक्रिया (जीपी), अनुमानित $\log f(\textbf{x}|\theta) + \log f(\theta)$ (या कुछ अन्य गैर-रेखीय परिवर्तन के रूप में, जैसे कि वर्गमूल), और बायसियन। अंतर्निहित लक्ष्य पर अंतर्निहित रूप से एकीकृत करने के लिए चतुर्भुज ( यहां और यहां देखें )। यह एक दिलचस्प वैकल्पिक दृष्टिकोण प्रतीत होता है, लेकिन आत्मा में अनुरूप (यह भी ध्यान दें कि जीपी मेरे मामले में अनपेक्षित होगा)।

— lacerbi
स्रोत

मुझे लगता है कि चिब, एस और जेल्ज़कोव, मैं। 2001 "मेट्रोपोलिस से मार्जिनल संभावना - हेस्टिंग्स आउटपुट" सामान्य एमसीएमसी आउटपुट को सामान्य करता है - इस दृष्टिकोण के साथ अनुभव सुनने के लिए दिलचस्पी होगी। जीपी के लिए - मूल रूप से, यह पीछे के उत्सर्जन को उबालता है, जिसे आप अन्य समस्याओं के लिए भी समझ सकते हैं। मुझे लगता है कि समस्या यह है कि आप सन्निकटन की गुणवत्ता के बारे में निश्चित नहीं हैं। मुझे भी आश्चर्य होता है कि क्या एक एमसीएमसी नमूना जीपी मॉडल के लिए आदर्श है, या क्या आपको पूंछ में अधिक निवेश करना चाहिए।

— फ्लोरियन हार्टिग

(+1) संदर्भ के लिए धन्‍यवाद, हाजिर है - मैं इसे देखूंगा। मैं मानता हूं कि सभी मॉडल-आधारित दृष्टिकोण समस्याग्रस्त हो सकते हैं (बायेसियन क्वाडरेचर के साथ अच्छी बात यह है कि आपको अनिश्चितता का अनुमान है, हालांकि यह सुनिश्चित नहीं है कि यह कैसे कैलिब्रेटेड है)। फिलहाल मेरा मामूली लक्ष्य कुछ ऐसा करना है जो "लैप्लस सन्निकटन से बेहतर" हो।

— लकेरबी

चिब और जेलियाकोव (2001) द्वारा विस्तार दुर्भाग्य से जल्दी महंगा या अत्यधिक परिवर्तनशील हो जाता है, यही कारण है कि यह गिब्स नमूनाकरण मामलों के बाहर बहुत अधिक उपयोग नहीं किया जाता है।

हालांकि सामान्यीकरण निरंतर आकलन समस्या के कई तरीके और दृष्टिकोण हैं (जैसा कि हम पिछले हफ्ते वारविक विश्वविद्यालय में चलाए गए अनुमानित कार्यशाला में काफी विविधतापूर्ण वार्ता द्वारा सचित्र हैं , वहां उपलब्ध स्लाइड्स ), कुछ समाधान सीधे MCMC आउटपुट का शोषण करते हैं । $\mathfrak{Z}$

जैसा कि आपने उल्लेख किया है, न्यूटन और Raftery (1994) के हार्मोनिक माध्य अनुमानक एक संक्रामक संक्रमण होने के लिए लगभग हमेशा खराब हैं। हालांकि, वहाँ हरात्मक माध्य पहचान में बजाय एक सीमित समर्थन लक्ष्य का उपयोग करके अनंत विचरण अभिशाप से बचने के लिए तरीके हैं को पीछे के लिए एक एचपीडी क्षेत्र के संकेतक के रूप में उठाकर। यह हार्मोनिक मतलब में पूंछ को हटाकर परिमित विचरण सुनिश्चित करता है। (विवरण में पाया जा सकता कर रहे हैंएक कागज मैं डैरेन व्रेथ के साथ लिखा थाऔर एक मेंसामान्य स्थिरांक के बारे में अध्यायसंक्षेप में जीन मिशेल मारिन के साथ लिखा।), विधि एमसीएमसी उत्पादन recyclesपहचान के द्वारा( 20% कहते हैं) लक्ष्य का सबसे बड़ा मानऔर बनाने
$\int \frac{α (θ)}{π (θ) f (x | θ)} d π (θ | x) = \frac{1}{Z}$ $\int \dfrac{\alpha(\theta)}{\pi(\theta)f(x|\theta)}\text{d}\pi(\theta|x)=\frac{1}{\mathfrak{Z}}$ $\alpha$ $\theta_1,\ldots,\theta_M$ $\beta$ $\pi(\theta)f(x|\theta)$ $\alpha$ के रूप में गेंदों के मिलन से अधिक एक समान उन सबसे बड़ा घनत्व पर केन्द्रित (HPD) सिमुलेशन और त्रिज्या के साथ , सामान्य निरंतर का अनुमान अर्थ द्वारा दिया जाता है $\theta^0_i$ $\rho$ $\mathfrak{Z}$ ${\hat{Z}}^{- 1} = \underset{double sum over β M ball centres θ_{i}^{0} and M simulations θ_{m}}{\underset{⏟}{\frac{1}{β M^{2}} \sum_{m = 1}^{M}}} \underset{\frac{β M α (θ_{m})}{π (θ_{m}) f (x | θ_{m})}}{\underset{⏟}{I_{(0, ρ)} (min_{i} | | θ_{m} - θ_{i}^{0} | |) {π (θ_{m}) f (x | θ_{m})}^{- 1} / \overset{volume of ball with radius ρ}{\overset{⏞}{π^{d / 2} ρ^{d} Γ (d / 2 + 1)^{- 1}}}}}$ $\hat{\mathfrak{Z}}^{-1}=\underbrace{\frac{1}{\beta M^2}\sum_{m=1}^M}_{\text{double sum over}\\\beta M\text{ ball centres }\theta_i^0\\\text{and $M$ simulations } \theta_m} \underbrace{\mathbb{I}_{(0,\rho)}(\min_i||\theta_m-\theta^0_i||)\{\pi(\theta_m)f(x|\theta_m)\}^{-1}\big/\overbrace{\pi^{d/2}\rho^d\Gamma(d/2+1)^{-1}}^{\text{volume of ball with radius $\rho$}}}_{\dfrac{\beta M\alpha(\theta_m)}{\pi(\theta_m)f(x|\theta_m)}}$ if $d$ is the dimension of $\theta$ (corrections apply for intersecting balls) and if $\rho$ is small enough for the balls to never intersect (meaning that at best only one indicator on the balls is different from zero). The explanation for the $\alpha M^2$ denominator is that this is a double sum of $\beta M^2$ terms: $\frac{1}{β M} \sum_{i = 1}^{β M} \underset{same as with min}{\underset{⏟}{\frac{1}{M} \sum_{m = 1}^{M} U (θ_{i}^{0}, ρ) (θ_{m})}} \times \frac{1}{π (θ_{m}) f (x | θ_{m})}$ $\frac{1}{\beta M}\sum_{i=1}^{\beta M} \underbrace{\frac{1}{M}\sum_{m=1}^M {\cal U}(\theta_i^0,\rho)(\theta_m)}_{\text{same as with $\min$}} \times \frac{1}{\pi(\theta_m)f(x|\theta_m)}$ with each term in $\theta_m$ integrating to ${\mathfrak{Z}}^{-1}$ .
Another approach is to turn the normalising constant $\mathfrak{Z}$ into a parameter. This sounds like a statistical heresy but the paper by Guttmann and Hyvärinen (2012) convinced me of the opposite. Without getting too much into details, the neat idea therein is to turn the observed log-likelihood
$\sum_{i = 1}^{n} f (x_{i} | θ) - n \log \int \exp f (x | θ) d x$ $\sum_{i=1}^n f(x_i|\theta) - n \log \int \exp f(x|\theta) \text{d}x$ into a joint log-likelihood $\sum_{i = 1}^{n} [f (x_{i} | θ) + ν] - n \int \exp [f (x | θ) + ν] d x$ $\sum_{i=1}^n[f(x_i|\theta)+\nu]-n\int\exp[f(x|\theta)+\nu]\text{d}x$ which is the log-likelihood of a Poisson point process with intensity function $\exp {f (x | θ) + ν + \log n}$ $\exp\{ f(x|\theta) + \nu +\log n\}$ This is an alternative model in that the original likelihood does not appear as a marginal of the above. Only the modes coincide, with the conditional mode in ν providing the normalising constant. In practice, the above Poisson process likelihood is unavailable and Guttmann and Hyvärinen (2012) offer an approximation by means of a logistic regression. To connect even better with your question, Geyer's estimate is a MLE, hence solution to a maximisation problem.
$\pi(\theta|x)$ $\pi(\theta|x)$ , $g(\theta)$ , and to run logistic regression on the index of the distribution behind the data (1 for $\pi(\theta|x)$ and 0 for $g(\theta)$ ). With the regressors being the values of both densities, normalised or not. This happens to be directly linked with Gelman and Meng (1997) bridge sampling, which also recycles samples from different targets. And later versions, like Meng's MLE.
A different approach that forces one to run a specific MCMC sampler is Skilling's nested sampling. While I [and others] have some reservations on the efficiency of the method, it is quite popular in astrostatistics and cosmology, with software available like multinest.
A last [potential if not always possible] solution is to exploit the Savage-Dickey representation of the Bayes factor in the case of an embedded null hypothesis. If the null writes as $H_0: \theta=\theta_0$ about a parameter of interest and if $\xi$ is the remaining [nuisance] part of the parameter of the model, assuming a prior of the form $\pi_1(\theta)\pi_2(\xi)$ , the Bayes factor of $H_0$ against the alternative writes as $B_{01} (x) = \frac{π^{θ} (θ_{0} | x)}{π_{1} (θ_{0})}$ $\mathfrak{B}_{01}(x)=\dfrac{\pi^\theta(\theta_0|x)}{\pi_1(\theta_0)}$ where $\pi^\theta(\theta_0|x)$ denotes the marginal posterior density of $\theta$ at the specific value $\theta_0$ . In case the marginal density under the null $H_0: \theta=\theta_0$ $m_{0} (x) = \int_{Ξ} f (x | θ_{0}, ξ) π_{2} (ξ) d ξ$ $m_0(x)=\int_\Xi f(x|\theta_0,\xi)\pi_2(\xi)\text{d}\xi$ is available in closed form, one can derive the marginal density for the unconstrained model $m_{a} (x) = \int_{Θ \times Ξ} f (x | θ, ξ) π_{1} (θ) π_{2} (ξ) d θ d ξ$ $m_a(x)=\int_{\Theta\times\Xi} f(x|\theta,\xi)\pi_1(\theta)\pi_2(\xi)\text{d}\theta\text{d}\xi$ from the Bayes factor. (This Savage-Dickey representation relies on specific versions of three different densities and so is fraught with danger, not even mentioning the computational challenge of producing the marginal posterior.)

[Here is a set of slides I wrote about estimating normalising constants for a NIPS workshop last December.]

— Xi'an
स्रोत

(+1) Incredibly rich answer, thank you. This will be useful to me and, I suppose, many other people. It will take me some time to have a look at the various approaches, and then I might come back with specific questions.

— lacerbi

Starting from point (1)... I read the relevant articles. The "corrected" harmonic mean estimator seems exactly what I was looking for. It's neat and easy to compute given a MCMC output. So... what's the catch? It doesn't look like the method is being widely used, judging from a quick search on Google Scholar. What are its limitations? (besides the need to identify the HPD regions, which I imagine might become an issue for very complicated posteriors in high dimension). I am definitely going to give it a try -- but I wonder if there is something I need to be wary of.

— lacerbi

I added a few more details: the issue in implementing the HPD uniform is to figure out a proper compact approximation for the HPD region. The convex hull of points with high posterior values is (NP?) hard to determine while balls centred at those points may intersect, which creates a secondary normalising constant problem.

— Xi'an

@Xi'an : very helpful, thanks! Can I ask: of all the mentioned approaches, what would currently be your recommendation if one looks for a general approach that tends to work out of the box (i.e. no tuning / checking required from the user)? I would be especially interested in the case of models with a low (< 50) number of parameters, non-normal posteriors, and strong correlations between parameters.

— Florian Hartig

@FlorianHartig: the fact that a generic software like BUGS does not return a generic estimate of

Z

$\mathfrak{Z}$ is sort of revealing the extent of the problem. The many solutions that one can find in the specialised literature have not produced a consensus estimate. Hence, my recommendation would be to opt for Geyer's logistic regression solution, which is somewhat insensitive to dimension.

— Xi'an