एक "अनइनफॉर्मेटिव प्रीवियस" क्या है? क्या हम कभी भी सही मायने में कोई जानकारी नहीं रख सकते?

73

इस सवाल से एक टिप्पणी से प्रेरित :

हम पूर्व में "अनइनफॉर्मेटिव" पर क्या विचार करते हैं - और क्या जानकारी अभी भी एक कथित रूप से अनइनफॉर्मेटिव में निहित है?

मैं आम तौर पर एक विश्लेषण में पूर्व को देखता हूं जहां यह या तो एक बार-बार किया जाने वाला विश्लेषण है जो बेयसियन विश्लेषण से कुछ अच्छे भागों को उधार लेने की कोशिश कर रहा है (यह 'अपनी गर्म चीज को करने के लिए सभी तरह से आसान व्याख्या), निर्दिष्ट पूर्व एक है प्रभाव माप की सीमा में समान वितरण, 0. पर केंद्रित है, लेकिन यहां तक कि पूर्व के लिए एक आकृति का दावा करता है - यह सिर्फ फ्लैट होने के लिए होता है।

क्या उपयोग करने से पहले बेहतर असंक्रामक है?

bayesian prior

— Fomite
स्रोत

2

हो सकता है कि आप तथाकथित एंट्री के तथाकथित सिद्धांत पर एक नज़र डालेंगे । मुझे ऐसा नहीं लगता है कि पूर्ण उत्तर में - विकिपीडिया लेख अच्छी गुणवत्ता का लगता है। मुझे पूरा विश्वास है कि कुछ योगदानकर्ता इस पर विस्तार करेंगे कि मैं जितना बेहतर करूंगा उतना बेहतर होगा।

— एल्विस

93

[चेतावनी: ISBA के ऑब्जेक्टिव बेयस सेक्शन के कार्ड ले जाने वाले सदस्य के रूप में , मेरे विचार सभी बायेसियन स्टेटिस्टिशियन के प्रतिनिधि नहीं हैं !, बिलकुल विपरीत ...]

संक्षेप में, "वास्तव में कोई जानकारी नहीं" के साथ पूर्व जैसी कोई चीज नहीं है।

वास्तव में, "अनइनफॉर्मेटिव" पूर्व दुख की बात है कि एक मिथ्या नाम है। किसी भी पूर्व वितरण में कुछ विनिर्देश होते हैं जो कुछ मात्रा में जानकारी के समान होते हैं। यहां तक कि (या विशेष रूप से) वर्दी पहले। वास्तव में, समस्या के एक दिए गए मापदण्ड के लिए वर्दी पहले केवल सपाट है। यदि कोई दूसरे पैरामीटर में बदलाव करता है (यहां तक कि एक बाउंडेड भी), तो चर का जैकबियन परिवर्तन तस्वीर और घनत्व में आता है और पूर्व फ्लैट नहीं रह जाता है।

जैसा कि एल्विस द्वारा बताया गया है, अधिकतम एन्ट्रापी एक दृष्टिकोण है जो तथाकथित "अनइनफॉर्मेटिव" पादरियों का चयन करने की वकालत करता है। हालाँकि, कुछ समय पहले (a) कुछ जानकारी पर पूर्व वितरण लिए पर्याप्त जानकारी की आवश्यकता है ताकि बाधाएं निर्दिष्ट करें ata जो मैक्सनेट से पहले और (b) तक ले जाता है एक संदर्भ उपाय की प्रारंभिक पसंद [निरंतर सेटिंग्स में], एक विकल्प जो बहस को अपने प्रारंभिक चरण में वापस लाता है! (इसके अलावा, अड़चन के पैराट्रिसिएशन (यानी, की पसंद) $h(\theta)$ $\pi(\cdot)$

\int_{Θ} h (θ) d π (θ) = h_{0}

$\int_{\Theta} h(\theta)\,\text{d}\pi(\theta) = \mathfrak{h}_0$

π^{*} (θ) \propto \exp {λ^{T} h (θ)}

$\pi^*(\theta)\propto \exp\{ \lambda^\text{T}h(\theta) \}$

d μ (θ)

$\text{d}\mu(\theta)$

h

$h$ ) परिणामी MaxEnt से पहले के आकार को प्रभावित करता है ।)

जोस बर्नार्डो ने संदर्भ पुजारियों के एक मूल सिद्धांत का उत्पादन किया है जहां वह पूर्व में और पीछे के बीच के कुल्बैक दूरी को अधिकतम करके डेटा द्वारा लाई गई जानकारी को अधिकतम करने के लिए पूर्व चुनता है। कोई उपद्रव मापदंडों के साथ सरलतम मामलों में, समाधान जेफ्रीज़ के पूर्व है। अधिक जटिल समस्याओं में, (ए) ब्याज के मापदंडों का एक विकल्प (या यहां तक कि उनके हित के क्रम की रैंकिंग) बनाया जाना चाहिए; (बी) पूर्व की गणना काफी शामिल है और अनुचित मुद्दों से बचने के लिए एम्बेडेड कॉम्पैक्ट सेट के अनुक्रम की आवश्यकता होती है। ( विवरण के लिए बायसन पसंद देखें।)

एक दिलचस्प मोड़ में, बायेसियन परिप्रेक्ष्य के बाहर कुछ शोधकर्ता विश्वास वितरण नामक प्रक्रिया विकसित कर रहे हैं जो पैरामीटर स्पेस पर संभाव्यता वितरण हैं, एक स्पष्ट पूर्व संरचना के बिना आवृत्ति-आधारित प्रक्रियाओं से उलटा द्वारा निर्मित या यहां तक कि इस पैरामीटर स्पेस पर एक हावी उपाय। उनका तर्क है कि अच्छी तरह से परिभाषित पूर्व की यह अनुपस्थिति एक से अधिक है, हालांकि परिणाम निश्चित रूप से प्रारंभिक आवृत्ति-आधारित प्रक्रिया की पसंद पर निर्भर करता है

संक्षेप में, पहले "" अनइंफॉर्मेटिव "" के लिए कोई "सर्वश्रेष्ठ" (या यहां तक कि "बेहतर") विकल्प नहीं है। और मैं इस पर विचार करता हूं कि चीजें कैसी होनी चाहिए क्योंकि बायेसियन विश्लेषण की बहुत प्रकृति का अर्थ है कि पूर्व वितरण मामलों का विकल्प। और यह कि पुजारियों की कोई तुलना नहीं है: एक दूसरे की तुलना में "बेहतर" नहीं हो सकता। (डेटा का अवलोकन करने से पहले कम से कम: एक बार जब यह देखा जाता है, तो पुजारियों की तुलना मॉडल की पसंद बन जाती है।) जोस बर्नार्डो, जिम बर्जर, डोंगचू सन, और कई अन्य "उद्देश्य" बायेसियन का निष्कर्ष यह है कि मोटे तौर पर समकक्ष संदर्भ एक हो सकते हैं। किसी की पूर्व सूचना के बारे में अनिश्चित होने या बेंचमार्क बायेसियन इंट्रेंस पाने के लिए उपयोग करने के लिए, उन पुजारियों में से कुछ को आंशिक रूप से सूचना सिद्धांत तर्कों द्वारा समर्थित किया जाता है,

— शीआन
स्रोत

14

(+1) आपकी किताब? ओह लानत। मैं तो आप के लिए :) 387 प्रश्न हैं

— एल्विस

4

(+1) एक उद्देश्य के लिए (कोई कम नहीं!), सीधा जवाब।

— कार्डिनल

2

+1 समस्याओं के अच्छे और अच्छी तरह से सूचित अवलोकन के लिए धन्यवाद।

— whuber

2

एक उत्कृष्ट जवाब। धन्यवाद। और फिर भी इच्छा सूची पर जाने के लिए एक और किताब।

— फोमाइट

1

यह लगभग अनुचित है। आखिरकार, वह ईसाई रॉबर्ट है! मजाक कर रहा हूं। बहुत बढ़िया जवाब। और मुझे अच्छा लगेगा अगर @ शीआन अपने ब्लॉग पर एक पोस्ट में इसका विस्तार कर सके, विशेष रूप से "असंगत" पुरोहितों के विषय के लिए पैराड्राइज़ेशन कितना महत्वपूर्ण है।

— मानोएल गेल्डिनो

16

औपचारिक noninformative पादरियों की एक आकर्षक संपत्ति "लगातार-मिलान करने वाली संपत्ति" है: इसका मतलब है कि एक पिछले 95% -credibility अंतराल भी है (कम से कम, लगभग) 95% आत्मविश्वास अक्सर अर्थ में अंतराल। यह संपत्ति पहले बर्नार्डो के संदर्भ के लिए है, हालांकि इन गैर-सूचनात्मक पुजारियों के फंड एक अच्छे लगातार मिलान वाले संपत्ति की उपलब्धि के लिए उन्मुख नहीं हैं, यदि आप एक "भोले" ("फ्लैट") गैर-संवाहक पूर्व का उपयोग करते हैं जैसे कि वर्दी वितरण या गॉसियन एक विशाल संस्करण के साथ वितरण तब कोई गारंटी नहीं है कि लगातार मिलान करने वाली संपत्ति रखती है। हो सकता है कि पहले बर्नार्डो के संदर्भ को गैर-सुधारक के "सर्वश्रेष्ठ" विकल्प के रूप में नहीं माना जा सकता था, लेकिन इसे सबसे सफल माना जा सकता था।

— स्टीफन लॉरेंट
स्रोत

9

जेफ़रीज़ वितरण भी विसंगतियों से ग्रस्त हैं: जेफ़रीज़ पुजारी एक चर या अधिक लिए अनुचित हैं, जो कि जेफ़रीज़ के लिए प्रायिकता पैरामीटर पहले मामला नहीं है : माप में over का द्रव्यमान होता है । $(-\infty,\infty)$ $(0,\infty)$ $p$ $\text{d}p/\sqrt{p(1-p)}$ $\pi$ $(0,1)$

रेनी ने दिखाया है कि गैर-सूचनात्मक वितरण को अनुचित अभिन्न के साथ जोड़ा जाना चाहिए। इसके बजाय Lhoste के वितरण देखें जो इस कठिनाई से बचते हैं और चर के परिवर्तन के तहत अपरिवर्तनीय हैं (उदाहरण के लिए, , माप is )। $p$ $\text{d}p/p(1-p)$

सबसे पहले, अनुवाद अच्छा है!

ई। एलएचएसटीई के लिए: "ले गणना देस प्रोबेबिलिटेस एप्लाइके ए लार्टिलरी", रिव्यू डी'र्टिलरी, टोम 91, माई एओट 1923

ए। रेनी के लिए: "प्रायिकता के एक नए स्वयंसिद्ध सिद्धांत पर" एक्टा मैथमेटिका, एकेडेमी डेस साइंसेज hongroises, tome VI, fasc.3-4, 1955

मैं जोड़ सकता हूं: एम। ड्युमस: "लोइस डे प्रोबेबिलिटी ए प्राइरी डी ल्होस्टे", विज्ञान एट तकनीक डी लार्मेंट, 56, 4è फेयिकुल, 1982, पीपी 687-715

— Heymann
स्रोत

3

क्या आपके लिए अंग्रेजी में इसे फिर से लिखना संभव है, भले ही यह Google अनुवाद जैसी स्वचालित अनुवाद सेवा के माध्यम से बहुत खराब तरीके से किया गया हो? अन्य उपयोगकर्ता, जो फ्रेंच और अंग्रेजी दोनों में अधिक धाराप्रवाह हैं, आपके लिए इसे कॉपी-एडिट करने में मदद कर सकते हैं।

— सिल्वर फिश

3

जहाँ तक मुझे याद है, ल्होस्ते का अदृश्य परिणाम क्रमशः और पर पैरामीटर्स के लिए ट्रांसफॉर्म और तक सीमित है । अन्य परिवर्तन और से अलग-अलग पुजारियों में परिणत होंगे।

\log σ

$\log\sigma$

\log p / (1 - p)

$\log p/(1-p)$

(0, \infty)

$(0,\infty)$

(0, 1)

$(0,1)$

(0, \infty)

$(0,\infty)$

(0, 1)

$(0,1)$

R

$\mathbb{R}$

— शीआन

2

1990 के दशक की शुरुआत में मौरिस डुमास के साथ मेरे संक्षिप्त पत्राचार से, मुझे याद है कि उन्होंने एक नोट ऐक्स कॉम्पटेस-रेंडस डे l'Académie डेस साइंसेस लिखा था, जहां वह और को व्युत्पन्न करने के लिए रूपांतरित करता है " अपरिवर्तनीय "पुजारी।

\log ()

$\log()$

logit ()

$\text{logit}()$

— शीआन

3

मैं शीआन के उत्कृष्ट उत्तर से सहमत हूं , यह इंगित करता है कि कोई भी पूर्व नहीं है जो बिना किसी जानकारी के ले जाने के अर्थ में "असंगत" है। इस विषय पर विस्तार करने के लिए, मैं यह इंगित करना चाहता था कि एक विकल्प बेसिक संभावना फ्रेमवर्क के भीतर बेयसियन विश्लेषण करने का है (esp। वॉली 1991 , वॉली 2000 )। इस ढांचे के भीतर पूर्व विश्वास को संभाव्यता वितरण के एक समूह द्वारा दर्शाया गया है, और यह पश्च वितरण के एक संबंधित सेट की ओर जाता है। यह लग सकता है कि यह बहुत उपयोगी नहीं होगा, लेकिन यह वास्तव में काफी आश्चर्यजनक है। पूर्व वितरण के एक बहुत व्यापक सेट के साथ भी (जहां कुछ निश्चित समय सभी संभावित मूल्यों को पार कर सकते हैं) आप अक्सर अभी भी एक ही पीछे के लिए रूप में पीछे के अभिसरण प्राप्त करते हैं । $n \rightarrow \infty$

इस विश्लेषणात्मक ढाँचे को वाल्ब्ली ने अपने स्वयं के विशेष रूप के संभाव्य विश्लेषण के रूप में स्वयंसिद्ध किया है, लेकिन अनिवार्य रूप से पुजारियों के एक सेट का उपयोग करके मजबूत बायेसियन विश्लेषण के समतुल्य है, जो पोस्टीरियर के संबंधित सेट का उत्पादन करता है। कई मॉडलों में पुजारियों का एक "अनइनफॉर्मेटिव" सेट तैयार करना संभव है जो कुछ क्षणों (उदाहरण के लिए, पूर्व अर्थ) को मूल्यों की पूरी संभव सीमा पर अलग-अलग करने की अनुमति देता है, और यह फिर भी मूल्यवान पश्च परिणाम उत्पन्न करता है, जहां पीछे के क्षणों की सीमा होती है। अधिक कसकर। यकीनन विश्लेषण का यह रूप "अनइंफॉर्मेटिव" कहे जाने का एक बेहतर दावा है, कम से कम उन क्षणों के संबंध में जो अपनी पूरी स्वीकार्य सीमा से अधिक में सक्षम हैं।

एक सरल उदाहरण - बर्नोली मॉडल: मान लीजिए कि हम डेटा का निरीक्षण करते हैं जहां ब्याज का अज्ञात पैरामीटर है। आमतौर पर हम पूर्व के रूप में एक बीटा घनत्व का उपयोग करेंगे (जेफरी के पूर्व और संदर्भ दोनों इस फॉर्म के हैं)। हम पूर्व मी और दूसरे पैरामीटर रूप में पूर्व घनत्व के इस रूप को निर्दिष्ट कर सकते हैं : $X_1,...,X_n | \theta \sim \text{IID Bern}(\theta)$ $\theta$ $\mu$ $\kappa > 1$

\begin{aligned} π_{0} (θ | μ, κ) = Beta (θ | μ, κ) = Beta (θ | α = μ (κ - 1), β = (1 - μ) (κ - 1)) . \end{aligned}

$\begin{equation} \begin{aligned} \pi_0(\theta | \mu, \kappa) = \text{Beta}(\theta | \mu, \kappa) = \text{Beta} \Big( \theta \Big| \alpha = \mu (\kappa - 1), \beta = (1-\mu) (\kappa - 1) \Big). \end{aligned} \end{equation}$

(यह प्रपत्र पूर्व क्षणों और ।) अब, एक अव्यवस्थित मॉडल में हम कर सकते हैं। इन सभी पूर्व वितरणों के सेट को सभी संभावित अपेक्षित मानों से युक्त करने के लिए पहले सेट करें , लेकिन माध्य मानों की सीमा पर परिशुद्धता को नियंत्रित करने के लिए तय किए गए अन्य पैरामीटर के साथ। उदाहरण के लिए, हम पुजारियों के सेट का उपयोग कर सकते हैं: $\mathbb{E}(\theta) = \mu$ $\mathbb{V}(\theta) = \mu(1-\mu) / \kappa$

P_{0} \equiv {Beta (μ, κ) | 0 ⩽ μ ⩽ 1} .

$\mathscr{P}_0 \equiv \Big\{ \text{Beta}(\mu, \kappa) \Big| 0 \leqslant \mu \leqslant 1 \Big\}. \quad \quad \quad \quad \quad$

मान लीजिए कि हम डेटा में पॉजिटिव इंडिकेटर देखते हैं। फिर, बर्नौली-बीटा मॉडल के लिए अद्यतन नियम का उपयोग करके, इसके बाद का सेट निम्न है: $s = \sum_{i=1}^n x_i$

P_{x} = {Beta (\frac{s + μ (κ - 1)}{n + κ - 1}, n + κ) | 0 ⩽ μ ⩽ 1} .

$\mathscr{P}_\mathbf{x} = \Big\{ \text{Beta}\Big( \tfrac{s + \mu(\kappa-1)}{n + \kappa -1}, n+\kappa \Big) \Big| 0 \leqslant \mu \leqslant 1 \Big\}.$

प्रत्याशित अपेक्षा के लिए संभावित मूल्यों की सीमा है:

\frac{s}{n + κ - 1} ⩽ E (θ | x) ⩽ \frac{s + κ - 1}{n + κ - 1} .

$\frac{s}{n + \kappa-1} \leqslant \mathbb{E}(\theta | \mathbb{x}) \leqslant \frac{s + \kappa-1}{n + \kappa-1}.$

यहां जो महत्वपूर्ण है वह यह है कि भले ही हमने एक ऐसे मॉडल के साथ शुरुआत की, जो पैरामीटर के अपेक्षित मूल्य के संबंध में "असंगत" था (पूर्व संभावित सभी मूल्यों पर आधारित उम्मीद थी), फिर भी हम सम्मान के साथ सूचनाओं के साथ अंतःसंबंधों को समाप्त करते हैं। पैरामीटर के पीछे की उम्मीद (वे अब मूल्यों के एक संकीर्ण सेट पर सीमा होती है)। जैसा कि , मानों की इस श्रेणी को एक एकल बिंदु तक निचोड़ा जाता है, जो कि का सही मान है । $n \rightarrow \infty$ $\theta$

— बेन
स्रोत

+1। दिलचस्प। अंतिम समीकरण में कप्पा क्या है? क्या यह कप्पा सितारा होना चाहिए?

— अमीबा

मैंने एक सरल मॉडल देने के लिए में भिन्नता को हटाने के लिए संपादन किया है । यह अब ठीक होना चाहिए।

κ

$\kappa$

— बेन