एक बेयस कारक अद्यतन करना

एक बेयस फैक्टर को दो सीमांत संभावना के अनुपात द्वारा परिकल्पना और बायेसियन मॉडल के चयन के बायेसियन परीक्षण में परिभाषित किया गया है: एक iid नमूना और संबंधित नमूना घनत्व और , संबंधित और , दो मॉडल की तुलना करने के लिए बेयस कारक एक पुस्तक जिसकी मैं वर्तमान में समीक्षा कर रहा हूं उसमें ऊपर बेयर्स कारक अजीब कथन है $(x_1,\ldots,x_n)$ $f_1(x|\theta)$ $f_2(x|\eta)$ $\pi_1$ $\pi_2$

B_{12} (x_{1}, \dots, x_{n}) \overset{def}{=} \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \overset{def}{=} \frac{\int \prod_{i = 1}^{n} f_{1} (x_{i} | θ) π_{1} (d θ)}{\int \prod_{i = 1}^{n} f_{2} (x_{i} | η) π_{2} (d η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ "अलग-अलग [Bayes कारकों] को एक साथ गुणा करके बनाया जाता है" (p.118)। यह औपचारिक रूप से सही है यदि कोई अपघटन लेकिन मुझे इस में कम्प्यूटेशनल लाभ के रूप में द्वारा अद्यतन के रूप में नहीं को समान कम्प्यूटेशनल प्रयास की आवश्यकता होती है, जैसा कि

की मूल गणना है।

\begin{aligned} B_{12} (x_{1}, \dots, x_{n}) & = \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \\ = \frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})} \times \frac{m_{1} (x_{n - 1} | x_{n - 2}, \dots, x_{1})}{m_{2} (x_{n - 1} | x_{n - 2}, \dots, x_{1})} \times \dots \\ \dots \times \frac{m_{1} (x_{1})}{m_{2} (x_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$

\frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$

\frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ कृत्रिम खिलौना उदाहरण के बाहर।

प्रश्न: वहाँ से Bayes कारक को अद्यतन करने की एक सामान्य और computationally कारगर तरीका है $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ को $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ जिसमें संपूर्ण $m_1(x_1,\ldots,x_n)$ $m_2(x_1,\ldots,x_n)$ और को पुन: सम्मिलित करने की आवश्यकता नहीं है ?

मेरा अंतर्ज्ञान है, कण फिल्टर के अलावा, जो कि वास्तव में बेस कारकों $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ को एक बार में एक नए अवलोकन का अनुमान लगाने के साथ आगे बढ़ता है , इस प्रश्न का उत्तर देने का कोई प्राकृतिक तरीका नहीं है ।

— शीआन
स्रोत

मुझे यह स्पष्ट प्रतीत नहीं होता है कि शब्द का अर्थ अनिवार्य रूप से अनुक्रमिक गुणनखंडन है, क्योंकि अवलोकन आईड हैं। स्नातक स्तर की पढ़ाई के दौरान, एक प्रोफेसर ने उल्लेख किया कि उत्पाद का अर्थ है कि बायेसियन विश्लेषण के लिए एसिम्प्टोटिक सन्निकटन का उपयोग किया जा सकता है, लेकिन अजीब तरह से यह (व्यंग्य) पर नहीं पकड़ा गया था। शायद किताब उस पर इशारा कर सकती है?

— क्लिफ एबी

@ क्लिफ़ैब: हाँ, आप व्यक्तिगत वितरण के एक औसत के रूप में संभावना को फिर से लिख सकते हैं, सही वितरण से कुल्बैक-लीब्लर की दूरी के लिए। लेकिन मुझे नहीं लगता कि यह मामला है, भले ही पुस्तक सभी विकल्पों को खुला रखने के लिए पर्याप्त अस्पष्ट है।

— शीआन

मेरा मानना है कि दूसरे प्रदर्शित समीकरण में एक टाइपो है: क्या यह दूसरी पंक्ति के दूसरे कारक में ?

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$

— जॉचेन

संभवत: बेयस फैक्टर के लिए एक पुनरावर्ती समीकरण का उद्देश्य तब होगा जब आपने पहले से ही डेटा बिंदुओं के लिए बेयस कारक की गणना की है , और आप इसे एक अतिरिक्त डेटा बिंदु के साथ अपडेट करने में सक्षम होना चाहते हैं। ऐसा लगता है कि पिछले डेटा वेक्टर के को से किए बिना ऐसा करना संभव है, इसलिए जब तक कि पीछे के कार्य का रूप ज्ञात हो। यह मानते हुए कि हम इस फ़ंक्शन के रूप को जानते हैं (और IID डेटा को अपने प्रश्न के रूप में मानते हैं), भविष्य कहनेवाला घनत्व लिखा जा सकता है: $n$ $\pi_n$

\begin{aligned} m (x_{n + 1} | x_{1}, . . ., x_{n}) & = \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

इसलिए, आपके पास:

\begin{aligned} m (x_{1}, . . ., x_{n + 1}) & = m (x_{1}, . . ., x_{n}) \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

बेयस फैक्टर के माध्यम से दो मॉडल वर्गों की तुलना करते हुए, हम फिर से पुनरावर्ती समीकरण प्राप्त करते हैं:

\begin{aligned} B_{12} (x_{1}, . . ., x_{n + 1}) & = B_{12} (x_{1}, . . ., x_{n}) \cdot \frac{\int_{Θ_{1}} f (x_{n + 1} | θ) π_{1, n} (d θ | x_{1}, . . ., x_{n})}{\int_{Θ_{2}} f (x_{n + 1} | θ) π_{2, n} (d θ | x_{1}, . . ., x_{n})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

इसमें अभी भी पैरामीटर रेंज पर एकीकरण शामिल है, इसलिए मैं आपके विचार से सहमत हूं कि आपके द्वारा दिए गए प्रारंभिक सूत्र के माध्यम से बेयस कारक को फिर से क्रिप्टो करने पर कोई कम्प्यूटेशनल लाभ नहीं दिखता है। फिर भी, आप देख सकते हैं कि इससे आपको पिछले डेटा वेक्टर के लिए मार्जिन की पुन: गणना करने की आवश्यकता नहीं है। (इसके बजाय हम प्रत्येक मॉडल वर्गों के तहत, पिछले डेटा पर नए डेटा बिंदु सशर्त की भविष्य कहनेवाला घनत्व की गणना करते हैं।) आपकी तरह, मुझे वास्तव में इसका कोई कम्प्यूटेशनल लाभ नहीं दिखता है, जब तक कि ऐसा नहीं होता है कि यह अभिन्न सूत्र आसानी से सरल हो जाता है। किसी भी मामले में, मुझे लगता है कि यह आपको बेयस कारक को अपडेट करने के लिए एक और सूत्र देता है।

— बेन - बहाल मोनिका
स्रोत

धन्यवाद। यह सच है कि हाशिये पर फिर से गणना करने, सख्त होश रखने की जरूरत नहीं है , लेकिन गणना की मात्रा वैसी ही प्रतीत होती है, जैसा कि आप टिप्पणी करते हैं।

— शीआन

मैं केवल इतना ही सोच सकता हूं कि अब हम केवल एक ही घनत्व (उत्पाद के बजाय) पर एकीकृत कर रहे हैं

n

$n$ घनत्व), इंटीग्रैंड कम अस्थिर होगा, और इसलिए यह बाद वाला सूत्र गणना में कम प्रवाह समस्याओं से बचने में आसान बना सकता है। यह सब एक बड़ी शायद है।

— बेन -