लाप्लास स्मूथिंग और डिरिचलेट से पहले

11

लाप्लास स्मूदी (या एडिटिव स्मूदी) के विकिपीडिया लेख पर, यह कहा जाता है कि एक बायसियन दृष्टिकोण से,

यह पूर्ववर्ती के रूप में पैरामीटर साथ एक सममित डिरिचलेट वितरण का उपयोग करके, पीछे के वितरण के अपेक्षित मूल्य से मेल खाता है । $\alpha$

मैं हैरान हूं कि वास्तव में यह कैसे सच है। क्या कोई मुझे यह समझने में मदद कर सकता है कि वे दो चीजें कैसे समान हैं?

धन्यवाद!

— DanielX2010
स्रोत

10

ज़रूर। यह अनिवार्य रूप से अवलोकन है कि ड्यूरिच वितरण बहुराष्ट्रीय वितरण से पहले एक संयुग्म है । इसका मतलब है कि उनके पास एक ही कार्यात्मक रूप है। लेख में इसका उल्लेख है, लेकिन मैं सिर्फ इस बात पर जोर दूंगा कि यह बहुराष्ट्रीय नमूनाकरण मॉडल से आता है। तो, यह करने के लिए नीचे हो रही है ...

अवलोकन पोस्टीरियर के बारे में है, इसलिए चलो कुछ डेटा, को प्रस्तुत करते हैं, जो कि अलग-अलग आइटम हैं। हम नमूने देखें। हम मान लेंगे कि को एक अज्ञात वितरण से तैयार किया गया है (जिस पर हम -simplex पर पहले एक डालेंगे)। $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

दिए गए और डेटा की पिछली संभावना है $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

संभावना, , बहुपद वितरण है। अब आइये पीडीएफ लिखते हैं: $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

तथा

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

जहाँ । गुणा, हम पाते हैं कि, $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

दूसरे शब्दों में, पोस्टीरियर भी डिरिचलेट है। प्रश्न पश्च माध्य के बारे में था। चूँकि पोस्टीरियर ड्यूरिचलेट है, हम उसे खोजने के लिए एक डिरिचलेट के माध्यम के लिए फार्मूला लागू कर सकते हैं,

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

उम्मीद है की यह मदद करेगा!

— हां
स्रोत

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ इसलिए यह कहना गलत नहीं है किवे संबंध में आनुपातिक हैं , लेकिन एक समानता लिखना मेरे विचार से सच नहीं है।

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

— -'१६

मैं लंबे समय से इस बारे में उलझन में था, और मैं अपना अहसास साझा करना चाहता हूं। Dirichlet द्वारा लाप्लास स्मूथिंग के लिए प्रेरित करने वाले ये लोग MAP नहीं बल्कि पोस्टीरियर मीन का उपयोग कर रहे हैं। सादगी के लिए, बीटा वितरण ( का सबसे सरल मामला) मान लें कि पीछे का मतलब जबकि एमएपी है । इसलिए अगर कोई कहता है कि 1 से 1 अंश और 2 को हर से जोड़ने के लिए मेल खाता है, यह इसलिए है क्योंकि वे पोस्टीरियर मीन का उपयोग कर रहे हैं।

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

— RMurphy

0

एक साइड नोट के रूप में, मैं उपरोक्त व्युत्पत्ति में एक और बिंदु जोड़ना चाहूंगा, जो वास्तव में मुख्य प्रश्न से संबंधित नहीं है। हालांकि, बहुराष्ट्रीय वितरण पर डिरिचलेट के पुजारियों के बारे में बात करते हुए, मैंने यह उल्लेख करने के लायक सोचा कि यदि उपद्रव चर के रूप में हम संभावनाओं को लेने जा रहे हैं तो संभावना फ़ंक्शन का रूप क्या होगा।

के रूप में इसे सही ढंग से sydeulissie द्वारा द्वारा बताया गया है, है आनुपातिक करने के लिए । अब यहाँ मैं गणना करना चाहूंगा । $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

गामा फ़ंक्शंस के लिए एक अभिन्न पहचान का उपयोग करते हुए, हमारे पास:

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

श्रेणीबद्ध डेटा के लिए संभावना की उपरोक्त व्युत्पत्ति मामलों के लिए इस डेटा से निपटने के अधिक मजबूत तरीके का प्रस्ताव करती है कि नमूना आकार इतना बड़ा नहीं है। $N$

— omidi
स्रोत