क्यों बेईमान प्रमेय में सामान्यीकरण कारक आवश्यक है?

Question

बेयस प्रमेय

$$P(\textrm{model}|\textrm{data}) = \frac{P(\textrm{model}) \times P(\textrm{data}|\textrm{model})}{P(\textrm{data})}$$

यह सब ठीक है। लेकिन, मैंने कहीं पढ़ा है:

मूल रूप से, P (डेटा) एक सामान्यीकृत स्थिरांक के अलावा कुछ भी नहीं है, अर्थात, एक स्थिरांक जो एक के बाद के घनत्व को एकीकृत करता है।

हम जानते हैं कि और । 0 ≤ पी ( डेटा | मॉडल ) ≤ $0 \leq P(\textrm{model}) \leq 1$$0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

इसलिए, 0 और 1 के बीच होना चाहिए। ऐसे मामले में, हमें किसी को पीछे करने के लिए एक सामान्य बनाने की आवश्यकता क्यों है?$P(\textrm{model}) \times P(\textrm{data}|\textrm{model})$

Comments

जब आप संभाव्यता घनत्व के साथ काम कर रहे हैं , जैसा कि इस पोस्ट में बताया गया है, तो आप अब 0 <= P(model) <= 1न 0 <= P(data/model) <= 1तो निष्कर्ष निकाल सकते हैं और न ही , क्योंकि उनमें से या तो (या दोनों!) से अधिक हो सकते हैं (और अनंत भी हो सकते हैं)। आँकड़े देखें ।stackexchange.com/questions/4220 । $1$

— whuber

ऐसा नहीं है कि क्योंकि यह अस्पष्ट संकेतन डेटा की एकीकृत संभावना का प्रतिनिधित्व करता है, न कि प्रायिकता का। $$P(\textrm{data}|\textrm{model})\le 1$$

— शीआन

Answer 1

सबसे पहले , "संभावना एक्स पूर्व" का अभिन्न अंग 1 आवश्यक नहीं है ।

यह सच नहीं है कि यदि:

$0 \leq P(\textrm{model}) \leq 1$ और$0 \leq P(\textrm{data}|\textrm{model}) \leq 1$

तब मॉडल के संबंध में इस उत्पाद का अभिन्न अंग (मॉडल के मापदंडों के लिए, वास्तव में) 1 है।

प्रदर्शन। दो असतत घनत्वों की कल्पना करें:

$$P(\textrm{model}) = [0.5, 0.5] \text{ (this is called "prior")}\\ P(\textrm{data | model}) = [0.80, 0.2] \text{ (this is called "likelihood")}\\ $$

यदि आप इन दोनों को गुणा करते हैं: जो एक वैध घनत्व नहीं है क्योंकि यह एक को एकीकृत नहीं करता है: 0.40 + 0.25 =

$$[0.40, 0.25]$$ $$0.40 + 0.25 = 0.65$$

तो, हम अभिन्न को 1 होने के लिए मजबूर करने के लिए क्या करना चाहिए? सामान्यकरण कारक का उपयोग करें, जो है:

$$\sum_{\text{model_params}} P(\text{model}) P(\text{data | model}) = \sum_\text{model_params} P(\text{model, data}) = P(\text{data}) = 0.65$$

(गरीब अंकन के बारे में खेद है। मैंने एक ही चीज़ के लिए तीन अलग-अलग भाव लिखे हैं क्योंकि आप उन्हें साहित्य में देख सकते हैं)

दूसरा , "संभावना" कुछ भी हो सकता है, और भले ही यह एक घनत्व हो, इसमें 1 से अधिक मूल्य हो सकते हैं ।

जैसा कि @whuber ने कहा है कि इस कारकों को 0 और 1 के बीच होने की आवश्यकता नहीं है। उन्हें इसकी आवश्यकता है कि उनका अभिन्न (या योग) 1 हो।

तीसरा [अतिरिक्त], "संयुग्म" आपके मित्र हैं जो आपको सामान्य बनाने में मदद करते हैं ।

आप अक्सर देखेंगे: क्योंकि लापता डाइनोमेटर आसानी से हो सकता है इस उत्पाद को एकीकृत करके प्राप्त करें। ध्यान दें कि इस एकीकरण का एक प्रसिद्ध परिणाम होगा यदि पूर्व और संभावना संयुग्म हैं ।

$$P(\textrm{model}|\textrm{data}) \propto P(\textrm{data}|\textrm{model}) P(\text{model})$$

Comments

+1। यह एकमात्र उत्तर है जो वास्तव में मूल प्रश्न को संबोधित करता है कि सामान्यीकरण स्थिरांक को एक के बाद के एकीकरण के लिए क्यों आवश्यक है । बाद में आप के साथ क्या करते हैं (उदाहरण के लिए MCMC निष्कर्ष या पूर्ण संभावनाओं की गणना) एक अलग मामला है।

— पेड्रो मेडियानो

मुझे नोटेशन के बाद मुश्किलें हैं। इसका क्या मतलब है ? मान लीजिए कि हमें दिया विचरण के साथ एक गाऊसी मॉडल का उपयोग , और हम मतलब खोजने के लिए इच्छा । इसका क्या अर्थ है ? $P(model)=[0.5,0.5]$$\sigma^2=1$$\mu$$P(\mu) = [0.5, 0.5]$

— rtrtrt

मैंने ओपी की धारणा का पालन करने की कोशिश की। मेरा मतलब है कि आपके पास अपने मॉडल पैरामीटर के लिए दो संभावित मान हैं, और दोनों समान रूप से संभव हैं। उदाहरण के लिए, क्या एक चायदानी पृथ्वी के चारों ओर घूम रही है? हाँ नही? आपके मामले में इसका कोई मतलब नहीं है क्योंकि आपका पैरामीटर निरंतर है और अनंत मान ले सकता है। $\mu$

— अलबर्टो

Answer 2

अपने प्रश्न का संक्षिप्त उत्तर है कि भाजक के बिना, दाएँ हाथ की ओर पर अभिव्यक्ति महज एक है संभावना है, न कि संभावना है, जो केवल 0 से 1. "सामान्य निरंतर" करने के लिए रेंज कर सकते हैं के लिए संभावना प्राप्त करने के लिए हमें की अनुमति देता है किसी घटना की घटना, केवल दूसरे की तुलना में उस घटना की सापेक्ष संभावना के बजाय।

Answer 3

आपको पहले से ही दो वैध उत्तर मिल गए हैं लेकिन मुझे अपने दो सेंट जोड़ने चाहिए।

बेयस प्रमेय को अक्सर निम्न के रूप में परिभाषित किया जाता है:

$$P(\text{model}~ | ~\text{data}) \propto P(\text{model}) \times P(\text{data}~|~\text{model})$$

क्योंकि एकमात्र कारण है कि आपको निरंतरता की आवश्यकता है ताकि यह 1 से एकीकृत हो (दूसरों द्वारा उत्तर देखें)। बेसेसियन विश्लेषण के लिए अधिकांश एमसीएमसी सिमुलेशन दृष्टिकोणों में इसकी आवश्यकता नहीं है और इसलिए निरंतर समीकरण से गिरा दिया जाता है। इसलिए अधिकांश सिमुलेशन के लिए भी इसकी आवश्यकता नहीं है।

मैं प्यार से वर्णन Kruschke : पिछले पिल्ला (स्थिर) नींद है क्योंकि वह सूत्र में लेना देना नहीं है।

एंड्रयू जेलमैन की तरह कुछ भी, "ओवररेटेड" के रूप में स्थिरांक पर विचार करते हैं और "मूल रूप से अर्थहीन जब लोग फ्लैट पुजारी का उपयोग करते हैं" ( यहां चर्चा की जांच करें )।

Comments

पिल्लों की शुरूआत के लिए +1। "इस उत्तर के लेखन में किसी भी जानवर को नुकसान नहीं पहुँचाया गया" :)

— अल्बर्टो