अधिकतम संभावना पैरामीटर पश्च वितरण से विचलन करते हैं

Question

मैं एक संभावना समारोह है अपने डेटा की संभावना के लिए कुछ मॉडल मापदंडों दिया , जो मैं अनुमान लगाने के लिए चाहते हैं। मापदंडों पर फ्लैट पुजारियों को मानते हुए, संभावना पूर्ववर्ती संभावना के लिए आनुपातिक है। मैं इस संभावना का नमूना लेने के लिए एक MCMC विधि का उपयोग करता हूं।$\mathcal{L}(d | \theta)$$d$$\theta \in \mathbf{R}^N$

परिणामी रूपांतरित श्रृंखला को देखते हुए, मुझे लगता है कि अधिकतम संभावना पैरामीटर पश्च वितरण के अनुरूप नहीं हैं। उदाहरण के लिए, एक पैरामीटर के लिए हाशिए पर पीछे प्रायिकता वितरण हो सकता है , जबकि का मूल्य अधिकतम संभावना बिंदु पर है , अनिवार्य रूप से लगभग एमसीएमसी नमूना द्वारा ट्रेस किया गया का अधिकतम मूल्य है ।$\theta_0 \sim N(\mu=0, \sigma^2=1)$$\theta_0$$\theta_0^{ML} \approx 4$$\theta_0$

यह एक उदाहरण है, मेरे वास्तविक परिणाम नहीं हैं। असली वितरण कहीं अधिक जटिल हैं, लेकिन कुछ एमएल मापदंडों में उनके संबंधित पश्च वितरण में समान रूप से पी-मान नहीं हैं। ध्यान दें कि मेरे कुछ पैरामीटर हैं (जैसे ); सीमा के भीतर, पुजारी हमेशा एक समान होते हैं।$0 \leq \theta_1 \leq 1$

मेरे प्रश्न हैं:

1. क्या इस तरह के विचलन से प्रति समस्या है ? स्पष्ट रूप से मैं एमएल मापदंडों की बिल्कुल संयोग की उम्मीद नहीं करता हूं जो उनके प्रत्येक हाशिए के बाद के वितरण की अधिकतमता है, लेकिन सहजता से ऐसा महसूस होता है कि उन्हें पूंछ में भी गहरा नहीं पाया जाना चाहिए। क्या यह विचलन स्वचालित रूप से मेरे परिणामों को अमान्य करता है?

2. यह आवश्यक रूप से समस्याग्रस्त है या नहीं, क्या यह डेटा विश्लेषण के कुछ चरण में विशिष्ट विकृति का लक्षण हो सकता है? उदाहरण के लिए, क्या इस तरह के विचलन को अनुचित रूप से परिवर्तित श्रृंखला, एक गलत मॉडल या मापदंडों पर अत्यधिक तंग सीमा से प्रेरित किया जा सकता है, इस बारे में कोई भी सामान्य बयान देना संभव है?

Answer 1

फ्लैट पुजारियों के साथ, पीछे का भाग एक स्थिर तक की संभावना के समान है। इस प्रकार

1. MLE (एक ऑप्टिमाइज़र के साथ अनुमानित) MAP के समान होना चाहिए (अधिकतम एक पोस्टीरियर मूल्य = पीछे के मल्टीवेरेट मोड, MCMC के साथ अनुमानित)। यदि आपको समान मूल्य नहीं मिलता है, तो आपको अपने नमूना या अनुकूलक के साथ समस्या है।

2. जटिल मॉडल के लिए, यह बहुत सामान्य है कि सीमांत मोड एमएपी से अलग हैं। ऐसा होता है, उदाहरण के लिए, यदि मापदंडों के बीच सहसंबंध गैर-अस्पष्ट हैं। यह पूरी तरह से ठीक है, लेकिन सीमांत मोड्स को इसलिए उच्चतम घनत्व के बिंदुओं के रूप में व्याख्या नहीं किया जाना चाहिए, और इसकी तुलना MLE से नहीं की जानी चाहिए।

3. आपके विशिष्ट मामले में, हालांकि, मुझे संदेह है कि पूर्व सीमा के खिलाफ पीछे दौड़ता है। इस मामले में, पश्चगामी दृढ़ता से असममित होगा, और इसका मतलब, एसडी के संदर्भ में व्याख्या करने का कोई मतलब नहीं है। इस स्थिति के साथ कोई सिद्धांत समस्या नहीं है, लेकिन व्यवहार में यह अक्सर मॉडल प्रक्षेपन, या खराब तरीके से चुने गए पुजारियों की ओर संकेत करता है।

Answer 2

इस कथित विसंगति के लिए कुछ संभावित सामान्य स्पष्टीकरण, यह मानते हुए कि कोड या संभावना परिभाषा या MCMC कार्यान्वयन या MCMC पुनरावृत्तियों की संख्या या संभावना मैक्सिमाइज़र (धन्यवाद, याकूब दाढ़ ) के अभिसरण के साथ कोई मुद्दा नहीं है :

1. बड़े आयामों , पीछे की ओर अधिकतम, लेकिन मोड से ऑर्डर की दूरी के कुछ पर ध्यान केंद्रित नहीं करता है, जिसका अर्थ है कि एमसीएमसी नमूनाकर्ता द्वारा सामना किए जाने वाले संभावित फ़ंक्शन के सबसे बड़े मूल्य अक्सर मूल्य से काफी नीचे हैं इसकी अधिकतम संभावना है। उदाहरण के लिए, यदि पश्च भाग , कम से कम दूरी मोड से, ।$N$$\sqrt{N}$$\theta|\mathbf x\sim\mathcal N_N(0,I_N)$$\theta$$N-2\sqrt{2N}$$0$

2. हालांकि एमएपी और एमएलई वास्तव में एक फ्लैट से पहले भ्रमित होते हैं, मॉडल के विभिन्न मापदंडों के सीमांत घनत्व में (सीमांत) मोड हो सकते हैं जो संबंधित MLE (यानी MAPs) से बहुत दूर हैं।

3. MAP पैरामीटर स्पेस में एक स्थिति है, जहां पश्च घनत्व घनत्व सबसे अधिक है, लेकिन यह MAP के पड़ोस के लिए पीछे वजन या मात्रा के किसी भी संकेत को व्यक्त नहीं करता है। एक बहुत ही पतली स्पाइक बिना पीछे के वजन के चलती है। यही कारण है कि एमसीएमसी के बाद के उत्खनन के बाद के मोड की पहचान करने में कठिनाइयों का सामना करना पड़ सकता है।

4. तथ्य यह है कि अधिकांश मापदंडों को बाध्य किया जाता है MAP = MLE के कुछ घटकों को एक सीमा पर हो सकता है।

देखें, उदाहरण के लिए, MAP अनुमानकों के संयुक्त राष्ट्र-बेयसियन प्रकृति पर तर्क के लिए ड्रिहलेट और मारिन (2007) । एक इन आकलनकर्ताओं पर हावी होने की माप पर निर्भरता है, एक अन्य पुनर्मूल्यांकन (एमएलई के विपरीत) के तहत अप्रभावी की कमी है।

ऊपर दिए गए बिंदु 1 के उदाहरण के रूप में, यहाँ एक छोटा R कोड है

N=100
T=1e4
lik=dis=rep(0,T)
mu=rmvnorm(1,mean=rep(0,N))
xobs=rmvnorm(1,mean=rep(0,N))
lik[1]=dmvnorm(xobs,mu,log=TRUE)
dis[1]=(xobs-mu)%*%t(xobs-mu)
for (t in 2:T){
  prop=rmvnorm(1,mean=mu,sigma=diag(1/N,N))
  proike=dmvnorm(xobs,prop,log=TRUE)
  if (log(runif(1))<proike-lik[t-1]){
    mu=prop;lik[t]=proike
     }else{lik[t]=lik[t-1]}
    dis[t]=(xobs-mu)%*%t(xobs-mu)}

जो आयाम N = 100 में मेट्रोपोलिस-हेस्टिंग्स क्रम से एक यादृच्छिक-चाल की नकल करता है। MAP पर लॉग-लाइबिलिटी का मान -91.89 है, लेकिन विज़िट की गई संभावनाएं कभी भी करीब नहीं आती हैं:

> range(lik)
[1] -183.9515 -126.6924

इस तथ्य से समझाया गया है कि अनुक्रम कभी भी अवलोकन के पास नहीं आता है:

> range(dis)
[1]  69.59714 184.11525

Comments

मैं सिर्फ कोड या संभावना परिभाषा या MCMC कार्यान्वयन के बारे में चिंता करने के अलावा, ओपी यह भी चिंता कर सकता हूं कि एमएल अनुमान प्राप्त करने के लिए उपयोग किया जाने वाला सॉफ़्टवेयर स्थानीय इष्टतम में फंस गया या नहीं। आँकड़े.स्टैकएक्सचेंज.com

— जेकब सोकोलर