संभावना अनुपात बनाम बेयस फैक्टर

मैं बल्कि एक घटना के लिए / के खिलाफ उद्देश्य सबूत का प्रतिनिधित्व करने के लिए संभावना अनुपात के उपयोग के संबंध में प्रचारक हूं। हालाँकि, मुझे हाल ही में पता चला है कि बेयस फैक्टर बायेसियन तरीकों के संदर्भ में एक समान कार्य करता है (यानी व्यक्तिपरक पूर्व उद्देश्य बेयस फैक्टर के साथ संयुक्त रूप से अद्यतन किया जाता है ताकि विश्वास की एक व्यक्तिपरक अद्यतन व्यक्तिपरक स्थिति उत्पन्न हो सके)। मैं अब एक संभावना अनुपात और एक बेयस कारक के बीच कम्प्यूटेशनल और दार्शनिक मतभेदों को समझने की कोशिश कर रहा हूं।

कम्प्यूटेशनल स्तर पर, मैं समझता हूं कि जबकि संभावना अनुपात का उपयोग आमतौर पर उन संभावनाओं का उपयोग करके किया जाता है जो प्रत्येक मॉडल के संबंधित पैरामीटर के लिए अधिकतम संभावना का प्रतिनिधित्व करते हैं (या तो क्रॉस सत्यापन द्वारा अनुमानित है या एआईसी का उपयोग करके मॉडल जटिलता के अनुसार दंडित किया जाता है), जाहिरा तौर पर बेयस फैक्टर किसी तरह का उपयोग करता है संभावनाएं जो प्रत्येक मॉडल की संभावना का प्रतिनिधित्व करती हैं, यह संपूर्ण पैरामीटर स्पेस पर एकीकृत होती है (यानी केवल MLE में नहीं)। यह एकीकरण वास्तव में आमतौर पर कैसे प्राप्त किया जाता है? क्या कोई वास्तव में पैरामीटर स्पेस से यादृच्छिक नमूनों के हजारों (लाखों) में से प्रत्येक पर संभावना की गणना करने की कोशिश करता है, या क्या पैरामीटर स्थान पर संभावना को एकीकृत करने के लिए विश्लेषणात्मक तरीके हैं? इसके अलावा, जब बायस कारक की गणना करता है,

इसके अलावा, संभावना अनुपात और बेयस कारक के बीच दार्शनिक अंतर क्या हैं (नायब मैं संभावना अनुपात और बायेसियन तरीकों के बीच सामान्य रूप से दार्शनिक मतभेदों के बारे में नहीं पूछ रहा हूं, लेकिन विशेष रूप से उद्देश्य साक्ष्य के प्रतिनिधित्व के रूप में बेयस कारक)। संभावना के अनुपात की तुलना में बेयस कारक के अर्थ को कैसे चित्रित किया जाएगा?

likelihood-ratio bayes-factors

— माइक लॉरेंस
स्रोत

क्या आपने विकिपीडिया पर उदाहरण दिया है

— हेनरी

चेन, शाओ और इब्राहिम की किताब (2000) बेयस कारकों के मोंटे कार्लो अभिकलन को समर्पित है।

— शीआन

जवाबों:

जाहिरा तौर पर बेयस फैक्टर किसी भी तरह से संभावना का उपयोग करता है जो प्रत्येक मॉडल की संभावना को दर्शाता है यह पूरे पैरामीटर स्पेस पर एकीकृत होता है (यानी केवल एमएलई पर नहीं)। यह एकीकरण वास्तव में आमतौर पर कैसे प्राप्त किया जाता है? क्या कोई वास्तव में पैरामीटर स्पेस से यादृच्छिक नमूनों के हजारों (लाखों) में से प्रत्येक पर संभावना की गणना करने की कोशिश करता है, या क्या पैरामीटर स्थान पर संभावना को एकीकृत करने के लिए विश्लेषणात्मक तरीके हैं?

$P(D|M)$ $D$ $M$

बेयर्स कारकों को उनकी सही सेटिंग में रखना महत्वपूर्ण है। जब आपके पास दो मॉडल होते हैं, कहते हैं, और आप संभावनाओं से बाधाओं में बदल जाते हैं, तो बेयर्स कारक पूर्व विश्वासों पर एक ऑपरेटर की तरह काम करते हैं:

P o s t e r i o r O d d s = B a y e s F a c t o r * P r i o r O d d s

$Posterior Odds = Bayes Factor * Prior Odds$

\frac{P (M_{1} | D)}{P (M_{2} | D)} = B . F . \times \frac{P (M_{1})}{P (M_{2})}

$\frac{P(M_{1}|D)}{P(M_{2}|D)} = B.F. \times \frac{P(M_{1})}{P(M_{2})}$

वास्तविक अंतर यह है कि संभावना अनुपात गणना करने के लिए सस्ता है और आमतौर पर निर्दिष्ट करने के लिए वैचारिक रूप से आसान है। MLE में संभावना क्रमशः बेस कारक अंश और हर का एक बिंदु अनुमान है। अधिकांश बार-बार किए गए निर्माणों की तरह, इसे बायेसियन विश्लेषण के एक विशेष मामले के रूप में देखा जा सकता है, जो कि पहले से ही कठिन है। लेकिन ज्यादातर यह उत्पन्न हुआ क्योंकि यह विश्लेषणात्मक रूप से सुगम्य है और गणना करने में आसान है (लगभग बाइसियन कम्प्यूटेशनल दृष्टिकोण से पहले युग में पैदा हुआ)।

अभिकलन के बिंदु पर, हाँ: आप व्यावहारिक हित के लगभग किसी भी मामले में बड़े पैमाने पर मोंटे कार्लो प्रक्रिया के साथ बायेसियन सेटिंग में विभिन्न संभावना अभिन्नताओं का मूल्यांकन करेंगे। कुछ विशेष सिमुलेटर हैं, जैसे कि जीएचके, यह काम करता है यदि आप कुछ वितरणों को मानते हैं, और यदि आप इन धारणाओं को बनाते हैं, तो कभी-कभी आप विश्लेषणात्मक रूप से ट्रैक्टेबल समस्याएं पा सकते हैं जिनके लिए पूरी तरह से विश्लेषणात्मक बेयर्स कारक मौजूद हैं।

लेकिन कोई भी इनका उपयोग नहीं करता है; कोई कारण नहीं है। अनुकूलित मेट्रोपोलिस / गिब्स सैंपलर्स और अन्य एमसीएमसी विधियों के साथ, इन समस्याओं को पूरी तरह से डेटा संचालित तरीके से दृष्टिकोण करना और अपने अभिन्नों की संख्यात्मक रूप से गणना करना पूरी तरह से ट्रैक्टेबल है। वास्तव में, एक अक्सर यह पदानुक्रम करता है और मेटा-पुजारियों पर परिणामों को एकीकृत करता है जो डेटा संग्रह तंत्र, गैर-अज्ञानी प्रयोगात्मक डिजाइन आदि से संबंधित होते हैं।

मैं इस पर अधिक के लिए पुस्तक बायेसियन डेटा विश्लेषण की सिफारिश करता हूं । हालांकि, लेखक, एंड्रयू जेलमैन, बेयस कारकों की बहुत अधिक परवाह नहीं करता है । एक तरफ के रूप में, मैं जेलमैन से सहमत हूं। यदि आप बायेसियन जाने जा रहे हैं, तो पूर्ण पश्च का शोषण करें। बायेसियन विधियों के साथ मॉडल का चयन करना उन्हें विकलांग बनाने जैसा है, क्योंकि मॉडल चयन एक कमजोर और अधिकतर बेकार रूप है। मुझे लगता है कि अगर मैं कर सकता हूँ, तो मॉडल विकल्पों पर वितरण को जानता हूँ ... जो "मॉडल ए को मॉडल बी की तुलना में बेहतर है" बयान की परवाह करता है जब आपको नहीं करना है?

इसके अलावा, जब बेयस कारक की गणना करते हैं, तो क्या जटिलता के लिए सुधार लागू होता है (स्वचालित रूप से संभावना के क्रॉस-वैलिडेटेड आकलन के माध्यम से या एआईसी के माध्यम से विश्लेषणात्मक रूप से) जैसा कि एक संभावना अनुपात के साथ होता है?

$M_{1}$ $M_{2}$ $d_{1}$ $d_{2}$ $d_{1} < d_{2}$ $N$

$B_{1,2}$ $M_{1}$ $M_{1}$ $N\to\infty$ $B_{1,2}$ $\infty$

B_{1, 2} = O (N^{\frac{1}{2} (d_{2} - d_{1})})

$B_{1,2} = \mathcal{O}(N^{\frac{1}{2}(d_{2}-d_{1})})$

मैं इस व्युत्पत्ति से परिचित हूं और सिल्विया फ्रुविर्थ-श्नाइटर की किताब फ़िनाइट मिश्रण और मार्कोव स्विचिंग मॉडल से चर्चा कर रहा हूं , लेकिन संभवत: अधिक सीधे सांख्यिकीय खाते हैं जो इसे महामारी में शामिल करते हैं।

मैं उन्हें यहां देने के लिए विवरण को अच्छी तरह से नहीं जानता, लेकिन मेरा मानना है कि इस और एआईसी की व्युत्पत्ति के बीच कुछ काफी गहरे सैद्धांतिक संबंध हैं। कवर और थॉमस द्वारा दी गई सूचना सिद्धांत पुस्तक ने इस पर कम से कम संकेत दिया।

इसके अलावा, संभावना अनुपात और बेयस कारक के बीच दार्शनिक अंतर क्या हैं (नायब मैं संभावना अनुपात और बायेसियन तरीकों के बीच सामान्य रूप से दार्शनिक मतभेदों के बारे में नहीं पूछ रहा हूं, लेकिन विशेष रूप से उद्देश्य साक्ष्य के प्रतिनिधित्व के रूप में बेयस कारक)। संभावना के अनुपात की तुलना में बेयस कारक के अर्थ को कैसे चित्रित किया जाएगा?

"व्याख्या" पर विकिपीडिया लेख के खंड इस (विशेष रूप से सबूत पैमाने के जेफ्रेय्स 'ताकत दिखा चार्ट) पर चर्चा का एक अच्छा काम करता है।

हमेशा की तरह, बेयसियन तरीकों और अक्सरवादी तरीकों (जो आप पहले से परिचित लगते हैं) के बीच बुनियादी अंतर से परे बहुत अधिक दार्शनिक सामान नहीं है।

मुख्य बात यह है कि संभावना अनुपात एक डच पुस्तक अर्थ में सुसंगत नहीं है। आप उन परिदृश्यों को मनगढ़ंत कर सकते हैं जहां संभावना अनुपात से मॉडल चयन निष्कर्ष एक दांव को स्वीकार करने के लिए नेतृत्व करेंगे। बायेसियन विधि सुसंगत है, लेकिन एक पूर्व पर संचालित होती है जो बेहद खराब हो सकती है और इसे विषय के रूप में चुना जाना चाहिए। Tradeoffs .. Tradeoffs ...

FWIW, मुझे लगता है कि इस तरह के भारी पैरामीटर वाले मॉडल का चयन बहुत अच्छा अनुमान नहीं है। मैं बेयसियन विधियों को पसंद करता हूं और मैं उन्हें अधिक पदानुक्रम में व्यवस्थित करना पसंद करता हूं, और मैं चाहता हूं कि पूर्ण पश्च वितरण पर केंद्र की अगर यह ऐसा करने के लिए सभी कम्प्यूटेशनल संभव है। मुझे लगता है कि बेयस कारकों में कुछ साफ-सुथरे गणितीय गुण हैं, लेकिन खुद एक बायेसियन के रूप में, मैं उनसे प्रभावित नहीं हूं। वे बायेसियन विश्लेषण के वास्तव में उपयोगी भाग को छुपाते हैं, जो यह है कि यह आपको अपने पुजारियों के साथ खुले में बाहर निकलने के बजाय गलीचा के नीचे से निपटने के लिए मजबूर करता है, और आपको पूर्ण पोस्टएयर पर अनुमान लगाने की अनुमति देता है।

— Ely
स्रोत

"हमेशा की तरह, बेयसियन तरीकों और अक्सरवादी तरीकों (जो आप परिचित हैं) के बीच बुनियादी अंतर से परे बहुत ज्यादा दार्शनिक सामान नहीं हैं। मुख्य बात यह है कि संभावना अनुपात परीक्षण ..." बस स्पष्टीकरण का एक बिंदु, मैंने किया। 'लाइसेबिलिटी अनुपात परीक्षण के साथ बेयस कारकों की तुलना करने का इरादा नहीं है , लेकिन बिना किसी निरंतरता / शून्य परिकल्पना परीक्षण सामान के साथ अपने आप में संभावना अनुपात के साथ।

— माइक लॉरेंस

उपरोक्त मेरे स्पष्टीकरण के लिए: इसलिए, यह मुझे लगता है कि बीएफ और एलआर के बीच बड़ा अंतर यह है कि जैसा कि आप कहते हैं, जटिलता के लिए पूर्व ऑटो-सही लेकिन बहुत अधिक संगणना की आवश्यकता होती है जबकि बाद में बहुत कम गणना की आवश्यकता होती है - स्पष्ट सुधार की आवश्यकता होती है मॉडल जटिलता के लिए (या तो एआईसी का उपयोग करना, जो कम्प्यूटेशनल रूप से त्वरित है, या क्रॉस-मान्यता है, जो कि अधिक कम्प्यूटेशनल रूप से महंगा है)।

— माइक लॉरेंस

क्षमा करें, संभावना अनुपात परीक्षण एक टाइपो था, बस संभावना अनुपात होना चाहिए था। मुझे लगता है कि आप ज्यादातर सही हैं, लेकिन आप अभी भी बड़ी तस्वीर को याद कर रहे हैं कि संभावना अनुपात सिर्फ एक बिंदु अनुमान है। यह केवल उपयोगी होने जा रहा है यदि अंतर्निहित संभावना वितरण MLE के पड़ोस में एक द्विघात सन्निकटन के लिए अच्छा व्यवहार करता है .. बेयर्स कारकों को इस तरह के स्पर्शोन्मुख वितरण गुणों की परवाह करने की आवश्यकता नहीं है, इसलिए यह विशेष रूप से अधिक सामान्य है। यह MLE- आधारित मॉडल चयन अनुमान को सब्सक्राइब करता है।

— इली

इसे दूसरे तरीके से रखने के लिए, MLE को अधिकतम पोस्टीरियर अनुमानक (MAP) के रूप में देखा जा सकता है, बस एक अनुचित पूर्व (जब एकीकरण इसके लिए अनुमति देता है) के साथ, और MAP एक अधिक सम्मोहक बिंदु अनुमान है क्योंकि यह पूर्व सूचना को शामिल करता है। अब, केवल पीछे के मोड को चुनने के बजाय ... पोस्टीरियर के सभी मूल्यों को उनकी पूर्व संभाव्यता के अनुसार क्यों नहीं जोड़ा जाए? यह आपको मापदंडों का एक बिंदु अनुमान नहीं देगा, लेकिन ज्यादातर लोग वास्तव में एक बिंदु अनुमान नहीं चाहते हैं। मापदंडों से अधिक वितरण हमेशा बिंदु अनुमानों की तुलना में अधिक उपयोगी जब आप उन्हें प्राप्त करने के लिए खर्च कर सकते हैं कर रहे हैं

— Ely

संभावना अनुपात और बेयस कारकों के बीच के अंतर को समझने में, अधिक कारकों में बेयस कारकों की एक प्रमुख विशेषता पर विचार करना उपयोगी है:

बेयस कारक अंतर्निहित मॉडलों की जटिलता के लिए स्वचालित रूप से कैसे खाते हैं?

इस प्रश्न पर एक दृष्टिकोण निर्धारक अनुमानित अनुमान के तरीकों पर विचार करना है। वैराइटी बेयस ऐसी ही एक विधि है। यह केवल स्टोकेस्टिक सन्निकटन (जैसे, एमसीएमसी नमूनाकरण) की कम्प्यूटेशनल जटिलता को नाटकीय रूप से कम नहीं कर सकता है। भिन्न बेयर्स भी एक बेयस कारक क्या बनाता है की एक सहज ज्ञान युक्त समझ प्रदान करते हैं।

पहले याद करें कि एक बेयस फैक्टर दो प्रतिस्पर्धी मॉडल के मॉडल साक्ष्य पर आधारित है,

\begin{aligned} B F_{1, 2} = \frac{p (data ∣ M_{1})}{p (data ∣ M_{2})}, \end{aligned}

$\begin{align} BF_{1,2} = \frac{p(\textrm{data} \mid M_1)}{p(\textrm{data} \mid M_2)}, \end{align}$

जहां व्यक्तिगत मॉडल साक्ष्यों की गणना एक जटिल अभिन्न अंग द्वारा की जानी होगी:

\begin{aligned} p (data ∣ M_{i}) = \int p (data ∣ θ, M_{i}) p (θ ∣ M_{i}) d θ \end{aligned}

$\begin{align} p(\textrm{data} \mid M_i) = \int p(\textrm{data} \mid \theta,M_i ) \ p(\theta \mid M_i) \ \textrm{d}\theta \end{align}$

$p(\theta \mid \textrm{data}, M_i)$

$q(\theta)$ $p(\theta \mid \textrm{data},M_i)$

$\mathcal{F}$

\begin{aligned} F = log p (data ∣ M_{i}) - KL [q (θ) | | p (θ ∣ data, M_{i})] \end{aligned}

$\begin{align} \mathcal{F} = \textrm{log} \; p(\textrm{data} \mid M_i) - \textrm{KL}\left[q(\theta) \; || \; p(\theta \mid \textrm{data},M_i) \right] \end{align}$

$q(\theta) \approx p(\theta \mid \textrm{data},M_i)$ $\mathcal{F}$

अब हम मूल सवाल पर लौट सकते हैं कि कैसे एक बेयस फैक्टर फिट और शामिल मॉडलों की जटिलता की स्वचालितता को संतुलित करता है। यह पता चला है कि नकारात्मक मुक्त ऊर्जा को फिर से लिखा जा सकता है:

\begin{aligned} F = {⟨ p (data ∣ θ, M_{i}) ⟩}_{q} - KL [q (θ) | | p (θ ∣ M_{i})] \end{aligned}

$\begin{align} \mathcal{F} = \left\langle p(\textrm{data} \mid \theta,M_i) \right\rangle_q - \textrm{KL}\left[ q(\theta) \; || \; p(\theta \mid M_i) \right] \end{align}$

पहला पद अनुमानित आसन्न के तहत अपेक्षित डेटा का लॉग-लाइक है; यह मॉडल की फिट (या सटीकता ) की अच्छाई का प्रतिनिधित्व करता है । दूसरा पद लगभग पूर्व और पूर्व के बीच केएल विचलन है; यह मॉडल की जटिलता का प्रतिनिधित्व करता है , इस विचार के तहत कि एक सरल मॉडल वह है जो हमारी पूर्व मान्यताओं के साथ अधिक सुसंगत है, या इस दृष्टिकोण के तहत कि डेटा को समायोजित करने के लिए एक सरल मॉडल को अधिक खींचना नहीं पड़ता है।

लॉग मॉडल साक्ष्य के लिए मुफ्त-ऊर्जा सन्निकटन से पता चलता है कि मॉडल सबूत डेटा (यानी, फिट की अच्छाई) और हमारे पूर्व (यानी, सादगी या नकारात्मक जटिलता) के अनुरूप शेष के बीच एक व्यापार-बंद को शामिल करता है।

एक बेयस फैक्टर (एक संभावना अनुपात के विपरीत) इस प्रकार कहता है कि दो प्रतिस्पर्धी मॉडलों में से कौन सा डेटा का एक सरल अभी तक सटीक विवरण प्रदान करने में बेहतर है ।

— के ब्रोडर्सन
स्रोत