बायेसियन सेटिंग में पूर्व की "भूलने की बीमारी"?

यह अच्छी तरह से ज्ञात है कि जैसा कि आपके पास अधिक साक्ष्य हैं ( आईआईडी उदाहरणों के लिए बड़े के रूप में कहते हैं), बायेसियन पूर्व "भूल" हो जाता है, और अधिकांश अनुमान सबूत (या संभावना) से प्रभावित होते हैं। $n$ $n$

विभिन्न विशिष्ट मामलों के लिए इसे देखना आसान है (जैसे कि बीटा पूर्व या अन्य प्रकार के उदाहरणों के साथ बर्नौली) - लेकिन क्या सामान्य मामले में इसे साथ देखने का एक तरीका है और कुछ पूर्व ? $x_1,\ldots,x_n \sim p(x|\mu)$ $p(\mu)$

संपादित करें: मैं यह अनुमान लगा रहा हूं कि इसे किसी भी मामले में सामान्य मामले में नहीं दिखाया जा सकता है (उदाहरण के लिए, एक बिंदु-पूर्व पूर्व एक बिंदु-द्रव्यमान को बनाए रखेगा)। लेकिन शायद कुछ शर्तें हैं जिनके तहत एक पूर्व को भुला दिया जाता है।

यहाँ "पथ" की तरह मैं कुछ ऐसा दिखाने के बारे में सोच रहा हूँ:

मान लें कि पैरामीटर स्थान , और और को दो पुजारी होने दें जो सभी पर गैर-शून्य संभाव्यता द्रव्यमान रखते हैं । तो, प्रत्येक पूर्व राशि के लिए दो पीछे की गणना: $\Theta$ $p(\theta)$ $q(\theta)$ $\Theta$

p (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) p (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) p(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) p(\theta) d\theta}$

और

q (θ | x_{1}, \dots, x_{n}) = \frac{\prod_{i} p (x_{i} | θ) q (θ)}{\int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}

$q(\theta | x_1,\ldots,x_n) = \frac{\prod_i p(x_i | \theta) q(\theta)}{\int_{\theta} \prod_i p(x_i | \theta) q(\theta) d\theta}$

यदि आप को (डाकुओं) से विभाजित करते हैं , तो आपको मिलता है: $p$ $q$

p (θ | x_{1}, \dots, x_{n}) / q (θ | x_{1}, \dots, x_{n}) = \frac{p (θ) \int_{θ} \prod_{i} p (x_{i} | θ) q (θ) d θ}{q (θ) \int_{θ} \prod_{i} p (x_{i} | θ) p (θ) d θ}

$p(\theta | x_1,\ldots,x_n)/q(\theta | x_1,\ldots,x_n) = \frac{p(\theta)\int_{\theta} \prod_i p(x_i | \theta) q(\theta)d \theta}{q(\theta)\int_{\theta} \prod_i p(x_i | \theta) p(\theta)d \theta}$

अब मैं उपरोक्त शब्द की खोज करना चाहूंगा क्योंकि को जाता है । आदर्श रूप से यह लिए एक निश्चित जो "समझ में आता है" या कुछ अन्य अच्छा व्यवहार करता है, लेकिन मैं यह पता नहीं लगा सकता कि वहां कुछ भी कैसे दिखाया जाए। $n$ $\infty$ $1$ $\theta$

bayesian prior

— bayesianOrFrequentist
स्रोत

कुछ अंतर्ज्ञान के लिए, ध्यान दें कि संभावना आकार के नमूने के साथ तराजू जबकि पूर्व नहीं।

— मैक्रो

@ मैक्रो, धन्यवाद, मेरे पास भी वह अंतर्ज्ञान था, लेकिन मैं इसे आगे नहीं बढ़ा सका। ऊपर मेरे संपादन देखें।

— बेयसियनऑफ्रीक्वेंटिस्ट

घोष और राममूर्ति की पाठ्यपुस्तक बेयसियन नोनपामेट्रिक्स के पहले कुछ अध्यायों में उन चीजों के बारे में बताया गया है, जिनके बारे में आप बात कर रहे हैं (पहली बार एक पैरामीट्रिक सेटिंग में, फिर एक नॉनपामेट्रिक एक); यह स्प्रिंगर के माध्यम से ऑनलाइन उपलब्ध है यदि आप एक उपयुक्त संस्थान में हैं। पूर्व स्पर्शोन्मुख रूप से निर्भरता की कमी को औपचारिक रूप देने के कई तरीके हैं, लेकिन निश्चित रूप से कुछ नियमितता की स्थिति है।

— लड़का

ध्यान दें कि पूर्ववर्ती अनुपात केवल पूर्व अनुपात के लिए आनुपातिक है, इसलिए संभावना और न ही साक्ष्य अनुपात वास्तव में इसे प्रभावित नहीं करते हैं।

— प्रोबेबिलिसोलॉजिक

जवाबों:

बस एक मोटा, लेकिन उम्मीद है कि सहज जवाब।

लॉग-स्पेस बिंदु से इसे देखें: जहाँ एक स्थिरांक है जो डेटा पर निर्भर करता है, लेकिन पैरामीटर पर नहीं, और जहाँ आपकी संभावनाएँ iid टिप्पणियों को मानती हैं। इसलिए, केवल उस भाग पर ध्यान केंद्रित करें जो आपके पोस्टीरियर के आकार को निर्धारित करता है, जिसका नाम है
$- \log P (θ | x_{1}, \dots, x_{n}) = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ) - C_{n}$ $-\log P(\theta|x_1, \ldots, x_n) = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta) - C_n$ $C_n>0$ $S_{n} = - \log P (θ) - \sum_{i = 1}^{n} \log P (x_{i} | θ)$ $S_n = -\log P(\theta) -\sum_{i=1}^n \log P(x_i|\theta)$
मान लें एक है कि वहाँ ऐसी है कि । यह असतत वितरण के लिए उचित है। $D>0$ $-\log P(\theta) \leq D$
चूंकि शब्द सभी सकारात्मक हैं, "बढ़ेगा" (मैं यहां की तकनीकी को छोड़ रहा हूं)। लेकिन पूर्व के योगदान को द्वारा बाध्य किया जाता है । इसलिए, पूर्व द्वारा योगदान किया गया अंश, जो कि अधिकतम , प्रत्येक अतिरिक्त अवलोकन के साथ एक-दूसरे से कम हो जाता है। $S_n$ $D$ $D/S_n$

पाठ्यक्रम के कठोर प्रमाणों को तकनीकीताओं का सामना करना पड़ता है (और वे बहुत मुश्किल हो सकते हैं), लेकिन ऊपर की सेटिंग IMHO बहुत ही बुनियादी हिस्सा है।

— पेड्रो ए। ओर्टेगा
स्रोत

मैं इस बात से कुछ उलझन में हूँ कि "पूर्वगामी भुलक्कड़" कथनों का क्या अर्थ है और "अधिकांश निष्कर्ष साक्ष्यों से प्रभावित होते हैं" का अर्थ माना जाता है। मेरा मानना है कि डेटा की मात्रा बढ़ने के साथ ही आप अनुमान लगाते हैं कि अनुमानक (अनुक्रम) का क्रम हमारे पूर्व की परवाह किए बिना पैरामीटर के सही मूल्य पर पहुंचता है।

बाद के वितरण के रूप में कुछ नियमितता स्थितियों को मानते हुए, बेयस एस्टिमेटर्स सुसंगत और विषम रूप से निष्पक्ष हैं (देखें जेलमैन एट अल, अध्याय 4 )। इसका मतलब है कि नमूना आकार बढ़ने से बेयस अनुमानक पैरामीटर के सही मूल्य पर पहुंचता है। संगति का अर्थ है कि बेसे अनुमानक सही पैरामीटर मान के लिए प्रायिकता में रूपांतरित होता है और अस्मितापूर्ण निष्पक्षता का अर्थ है, मान लेना कि पैरामीटर का सही मूल्य है, $\theta_0$

\frac{E [\hat{θ} | θ_{0}] - θ_{0}}{\sqrt{V a r (\hat{θ})}} \overset{p}{\to} 0

$\frac{E[\hat{\theta}|\theta_0]-\theta_0}{\sqrt{\mathrm{Var}(\hat{\theta})}}\overset{p}\rightarrow0$

अभिसरण पूर्व के विशिष्ट रूप पर निर्भर नहीं करता है, लेकिन केवल यह कि पूर्व से प्राप्त वितरण वितरण और संभावना नियमितता की शर्तों को पूरा करती है।

गेलमैन एट अल में उल्लिखित सबसे महत्वपूर्ण नियमितता की स्थिति यह है कि संभावना पैरामीटर का एक निरंतर कार्य है और पैरामीटर का सही मान पैरामीटर स्थान के इंटीरियर में होना चाहिए । इसके अलावा, जैसा कि आपने उल्लेख किया है, पोस्टीरियर को पैरामीटर के वास्तविक मूल्य के वास्तविक मूल्य के एक खुले पड़ोस में होना चाहिए। आमतौर पर, आपके पूर्व को पूरे पैरामीटर स्पेस पर नॉनज़रो होना चाहिए।

— caburke
स्रोत

धन्यवाद, बहुत ही व्यावहारिक। मैं वास्तव में एक परिणाम के लिए उम्मीद कर रहा था जो "सच्चे" पैरामीटर मान से भी संबंधित नहीं होगा। बस यह दिखाते हुए कि तकनीकी रूप से, जैसा कि आपके पास अधिक साक्ष्य हैं, आपको जो पदवी मिलने वाली है, वह उसी अनियमितता के साथ है जो आपने शुरू की थी। मैं कुछ संपादनों को प्रतिबिंबित करने जा रहा हूं।

— बेयसियनऑफ्रीक्वेंटिस्ट

@bayesianOrFrequentist तथाकथित बायेसियन केंद्रीय सीमा प्रमेय पर एक नज़र डालें ।

— स्टीफन लॉरेंट