बायेसियन विश्वसनीय अंतराल प्रक्रियाओं के लिए निर्णय-सैद्धांतिक औचित्य क्या है?

(यह देखने के लिए कि मैंने यह क्यों लिखा है, इस प्रश्न के उत्तर के नीचे टिप्पणियों की जाँच करें ।)

III त्रुटियां और सांख्यिकीय निर्णय सिद्धांत टाइप करें

गलत प्रश्न का सही उत्तर देने को कभी-कभी टाइप III त्रुटि कहा जाता है। सांख्यिकीय निर्णय सिद्धांत अनिश्चितता के तहत निर्णय लेने का एक औपचारिककरण है; यह एक वैचारिक ढांचा प्रदान करता है जो टाइप III त्रुटियों से बचने में मदद कर सकता है। ढांचे के प्रमुख तत्व को नुकसान फ़ंक्शन कहा जाता है । यह दो तर्क लेता है: पहला है (प्रासंगिक उपसमुच्चय) दुनिया की सच्ची स्थिति (उदाहरण के लिए, पैरामीटर अनुमान समस्याओं में, वास्तविक पैरामीटर मान ); दूसरा संभावित क्रियाओं के सेट में एक तत्व है (जैसे, पैरामीटर प्राक्कलन समस्याओं में, एस्टीमेट $\theta$ $\hat{\theta})$ । आउटपुट दुनिया के हर संभव सच्चे राज्य के संबंध में हर संभव कार्रवाई से जुड़े नुकसान को दर्शाता है। उदाहरण के लिए, पैरामीटर अनुमान समस्याओं में, कुछ प्रसिद्ध नुकसान कार्य हैं:

पूर्ण त्रुटि हानि $L(\theta, \hat{\theta}) = |\theta - \hat{\theta}|$
चुकता त्रुटि हानि $L(\theta, \hat{\theta}) = (\theta - \hat{\theta})^2$
हैल वैरियन के लिनेक्स लॉस $L(\theta, \hat{\theta}; k) = \exp(k(\theta - \hat{\theta})) - k(\theta - \hat{\theta}) - 1,\text{ } k \ne0$

प्रश्न खोजने के लिए उत्तर की जांच करना

ऐसा मामला है कि कोई व्यक्ति तृतीय प्रकार की त्रुटियां करने से बचने के लिए एक सही नुकसान फ़ंक्शन तैयार करने पर ध्यान केंद्रित करके और बाकी निर्णय-सिद्धांत दृष्टिकोण (यहां विस्तृत नहीं) के माध्यम से आगे बढ़ने का प्रयास कर सकता है। यह मेरा संक्षेप नहीं है - आखिरकार, सांख्यिकीविद कई तकनीकों और विधियों से अच्छी तरह से सुसज्जित हैं जो अच्छी तरह से काम करते हैं, भले ही वे इस तरह के दृष्टिकोण से उत्पन्न न हों। लेकिन अंतिम परिणाम, यह मुझे लगता है, यह है कि अधिकांश सांख्यिकीय विशेषज्ञ नहीं जानते हैं और सांख्यिकीय निर्णय सिद्धांत के बारे में परवाह नहीं करते हैं, और मुझे लगता है कि वे गायब हैं। उन सांख्यिकीविदों से, मैं तर्क करूंगा कि टाइप III त्रुटि से बचने के संदर्भ में वे सांख्यिकीय निर्णय सिद्धांत को मूल्यवान मान सकते हैं क्योंकि यह एक रूपरेखा प्रदान करता है जिसमें किसी भी प्रस्तावित डेटा विश्लेषण प्रक्रिया के बारे में पूछना है:क्या हानि कार्य (यदि कोई है) प्रक्रिया आशा के साथ सामना करती है? अर्थात्, निर्णय लेने की स्थिति में, वास्तव में, क्या यह सबसे अच्छा उत्तर प्रदान करता है?

प्रत्याशित हानि

एक बायेसियन परिप्रेक्ष्य से, नुकसान फ़ंक्शन हम सभी की जरूरत है। हम काफी निर्णय सिद्धांत के बाकी को छोड़ सकते हैं - लगभग परिभाषा के द्वारा, तो सबसे अच्छा होगा कम से कम पीछे नुकसान की उम्मीद है, यह है कि, कार्रवाई को खोजने के है कि कम करता । $a$ $\tilde{L}(a) = \int_{\Theta}L(\theta, a)p(\theta|D)d\theta$

(और गैर-बायेसियन दृष्टिकोणों के लिए, खैर, यह लगातार निर्णय सिद्धांत का एक प्रमेय है - विशेष रूप से, वाल्ड की पूर्ण कक्षा की प्रमेय - कि इष्टतम कार्रवाई हमेशा कुछ के संबंध में बेएज़ियन पश्चगामी हानि को कम करने के लिए होगी (संभवतः अनुचित) पूर्व। इस परिणाम के साथ कठिनाई यह है कि यह एक अस्तित्व प्रमेय है जिसका उपयोग करने से पहले कोई मार्गदर्शन नहीं दिया जाता है। लेकिन यह पूरी तरह से प्रक्रियाओं के वर्ग को प्रतिबंधित करता है कि हम "इनवर्ट" कर सकते हैं यह जानने के लिए कि यह कौन सा प्रश्न है। जवाब देना। विशेष रूप से, किसी भी गैर-बायेसियन प्रक्रिया को निकालने का पहला कदम यह पता लगाना है कि (यदि कोई हो) बायेसियन प्रक्रिया इसकी प्रतिकृति या अनुमान लगाती है।)

हे सियान, तुम्हें पता है कि यह एक क्यू एंड ए साइट है, है ना?

जो मुझे एक सांख्यिकीय प्रश्न के लिए आखिरकार - लाता है। बायेसियन आँकड़ों में, जब असमान मापदंडों के लिए अंतराल अनुमान प्रदान करते हैं, तो दो सामान्य विश्वसनीय अंतराल प्रक्रियाएँ क्वांटाइल-आधारित विश्वसनीय अंतराल और उच्चतम पोस्टीरियर घनत्व विश्वसनीय अंतराल हैं। इन प्रक्रियाओं के पीछे नुकसान के कार्य क्या हैं?

bayesian credible-interval decision-theory

— सियान
स्रोत

बहुत अच्छा। लेकिन क्या वे इन प्रक्रियाओं को सही ठहराते हुए केवल नुकसान के कार्य हैं?

— अतिथि

@ केन्या >> मेरे लिए सवाल पूछने और जवाब देने के लिए धन्यवाद :) मैं यह सब पढ़ूंगा और जब भी संभव हो उठूंगा।

— स्टीफन लॉरेंट

बर्जर के सांख्यिकीय निर्णय सिद्धांत और बेयसियन विश्लेषण से दिलचस्प उद्धरण : "हम स्पष्ट निर्णय-सिद्धांत की भूमिका के रूप में विश्वसनीय सेट नहीं देखते हैं, और इसलिए एक विश्वसनीय सेट के चयन के लिए 'इष्टतमता' के दृष्टिकोण का उपयोग करते हैं"

— साइमन बायर

@ साइमन बर्न >> 1985 बहुत पहले था; मुझे आश्चर्य है कि अगर वह अभी भी सोचता है।

— सियान

@ ज्ञान: मुझे नहीं पता, लेकिन निर्णय सिद्धांत बायेसियन आंकड़ों का एक हिस्सा है जो पिछले 27 वर्षों में बहुत अधिक नहीं बदला है (कुछ दिलचस्प परिणाम आए हैं, लेकिन बर्जर की पुस्तक अभी भी मानक संदर्भ है), विशेष रूप से जब लोकप्रियता की तुलना में कम से कम लगातार आंकड़ों में परिणाम होता है।

— शमौन बर्न

जवाबों:

अविभाजित अंतराल आकलन में, संभावित क्रियाओं का समूह अंतराल के अंत बिंदुओं को निर्दिष्ट करने वाले आदेशित युग्मों का समूह है। उस सेट के एक तत्व को द्वारा दर्शाया जाए । $(a, b),\text{ } a \le b$

उच्चतम पश्च घनत्व घनत्व

पश्च घनत्व घनत्व । सबसे अधिक घनत्व घनत्व अंतराल हानि फ़ंक्शन के अनुरूप होता है जो एक अंतराल को दंडित करता है जो सही मूल्य शामिल करने में विफल रहता है और अंतराल को उनकी लंबाई के अनुपात में भी दंडित करता है: $f(\theta)$

$L_{HPD}(\theta, (a, b); k) = I(\theta \notin [a, b]) + k(b – a), \text{} 0 < k \le max_{\theta} f(\theta)$ ,

जहां है सूचक समारोह । इससे अपेक्षित उत्तरोत्तर हानि होती है $I(\cdot)$

$\tilde{L}_{HPD}((a, b); k) = 1 - \Pr(a \le \theta \le b|D) + k(b – a)$ ।

स्थापना एक के लिए पैदावार आवश्यक शर्त पैरामीटर स्थान के इंटीरियर में स्थानीय इष्टतम: - बिल्कुल एचपीडी अंतराल के लिए नियम, जैसा कि अपेक्षित था। $\frac{\partial}{\partial a}\tilde{L}_{HPD} = \frac{\partial}{\partial b}\tilde{L}_{HPD} = 0$ $f(a) = f(b) = k$

के रूप क्यों HPD अंतराल एक लय में वृद्धि परिवर्तन करने के लिए अपरिवर्तनीय नहीं हैं में कुछ अंतर्दृष्टि देता पैरामीटर का। -अंतरिक्ष HPD अंतराल में तब्दील अंतरिक्ष से अलग है -अंतरिक्ष HPD अंतराल क्योंकि दो अंतराल विभिन्न नुकसान कार्यों के अनुरूप: -अंतरिक्ष HPD अंतराल मेल खाती है करने के लिए रूपांतरित लंबाई का दंड । $\tilde{L}_{HPD}((a, b); k)$ $g(\theta)$ $\theta$ $g(\theta)$ $g(\theta)$ $g(\theta)$ $k(g(b) – g(a))$

मात्रात्मक-आधारित विश्वसनीय अंतराल

हानि फ़ंक्शन के साथ बिंदु अनुमान पर विचार करें

$L_q(\theta, \hat{\theta};p) = p(\hat{\theta} - \theta)I(\theta < \hat{\theta}) + (1-p)(\theta - \hat{\theta})I(\theta \ge \hat{\theta}), \text{ } 0 \le p \le 1$ ।

नुकसान के बाद की उम्मीद है

$\tilde{L}_q(\hat{\theta};p)=p(\hat{\theta}-\text{E}(\theta|\theta < \hat{\theta}, D)) + (1 - p)(\text{E}(\theta | \theta \ge \hat{\theta}, D)-\hat{\theta})$ ।

स्थापना पैदावार निहित समीकरण $\frac{d}{d\hat{\theta}}\tilde{L}_q=0$

$\Pr(\theta < \hat{\theta}|D) = p$ ,

अर्थात , अपेक्षित वितरण के अनुसार, इष्टतम है १०० % वितरण। $\hat{\theta}$ $(100p)$

इस प्रकार मात्रात्मक-आधारित अंतराल अनुमान प्राप्त करने के लिए, हानि कार्य है

$L_{qCI}(\theta, (a,b); p_L, p_U) = L_q(\theta, a;p_L) + L_q(\theta, b;p_U)$ ।

— सियान
स्रोत

इसे प्रेरित करने का एक और तरीका है कि अंतराल के चौड़ाई की दूरी (वेटेड) योग के रूप में नुकसान फ़ंक्शन को फिर से लिखना है, यदि कोई हो, जिसके द्वारा अंतराल सही को कवर करने में विफल रहता है ।

θ

$\theta$

— अतिथि

क्या क्वांटाइल आधारित अंतराल के बारे में सोचने का कोई और तरीका है जो सीधे क्वांटाइल्स या अंतराल की लंबाई को संदर्भित नहीं करता है। मैं "क्वांटाइल अंतराल को अधिकतम / न्यूनतम / अधिकतम / आदि। कुछ-माप" जैसे कुछ के लिए उम्मीद कर रहा था

— रासमस बैथ

@ RasmusBåth, आप मूल रूप से पूछ रहे हैं, "क्वांटाइल अंतराल के लिए नुकसान के कार्य पर आवश्यक शर्तें क्या हैं, जो पोस्टीरियर अपेक्षित नुकसान के न्यूनतमकरण का समाधान है?" मेरा अंतर्ज्ञान, जिस तरह से गणित आगे की दिशा में काम करता है, वह यह है कि यह बहुत अधिक है। हालांकि यह साबित नहीं हुआ है।

— सियान

इसलिए मुझे नुकसान फ़ंक्शन के बारे में निश्चित नहीं है, लेकिन मुझे एक ऐसी प्रक्रिया के बारे में पता है, जो बिंदु हानि फ़ंक्शन आधार पर , एचपीडी या एक मात्रात्मक अंतराल के परिणामस्वरूप होगा। मान लें कि आप यादृच्छिक नमूने है पीछे से ड्रा। 1 में बिंदु का चयन करें न्यूनतम पीछे हानि के साथ और अपने अंतराल के उस बिंदु जोड़ें। 2. हटाएँ कि से बिंदु , इसलिए इसे निकालने की वजह से में शेष अंक के लिए पीछे नुकसान अब परिवर्तन (के आधार पर हो सकता है )। 3. खुश रहें यदि आपके अंतराल में आवश्यक कवरेज है, अन्यथा (1) से दोहराएं। L = L0 HPD देता है, L = L1 क्वांटाइल इंटरवल देता है।

L

$L$

s

$s$

s

$s$

s

$s$

s

$s$

L

$L$

— रासमस बैस्ट

सिर्फ यह उल्लेख करते हुए कि बेयसियन चॉइस की धारा 5.5.3 में विश्वसनीय सेटों की हानि-आधारित व्युत्पत्ति शामिल है ...

— शीआन

न्यूनतम आकार के अंतराल

अंतराल चयन के लिए एक नुकसान समारोह का एक स्पष्ट विकल्प (बायेसियन और लगातार दोनों) मार्जिन के वितरण के संदर्भ में अंतराल के आकार का उपयोग करना है। इस प्रकार, वांछित संपत्ति या हानि फ़ंक्शन के साथ शुरू करें, और उन अंतरालों को प्राप्त करें जो इष्टतम हैं। यह संभव नहीं है, जैसा कि वर्तमान प्रश्न से छूट दी गई है, भले ही यह संभव है। बायेसियन विश्वसनीय सेट के लिए, यह अंतराल की पूर्व संभावना को कम करने के लिए, या संबंधित विश्वास को अधिकतम करने के लिए मेल खाता है, उदाहरण के लिए, इवांस (2016) में उल्लिखित। आकार का उपयोग बार-बार होने वाले आत्मविश्वास सेट (शफ़र 2009) का चयन करने के लिए भी किया जा सकता है। दो दृष्टिकोण संबंधित हैं और निर्णय नियमों के माध्यम से काफी आसानी से लागू किए जा सकते हैं जिसमें अधिमानतः बड़े बिंदुवार पारस्परिक जानकारी (बार्टेल्स 2017) के साथ निर्णय शामिल हैं।

बार्टेल्स, सी।, 2017। लगातार परीक्षणों में पूर्व ज्ञान का उपयोग करना। figshare। https://doi.org/10.6084/m9.figshare.4819597.v3

इवांस, एम।, 2016। सापेक्ष विश्वास का उपयोग करके सांख्यिकीय साक्ष्य को मापना। कम्प्यूटेशनल और संरचनात्मक जैव प्रौद्योगिकी पत्रिका, 14, पीपी.91-96।

शेफर, मुख्यमंत्री और स्टार्क, पीबी, 2009. इष्टतम अपेक्षित आकार के विश्वास क्षेत्रों का निर्माण। जर्नल ऑफ द अमेरिकन स्टेटिस्टिकल एसोसिएशन, 104 (487), पीपी .1080-1089।

— user36160
स्रोत

मैं देख रहा हूँ कि आप कीथ ओ'रोरके के सुझाव ( andrewgelman.com/2016/07/17/… ) के अनुसार इवांस का हवाला दे रहे हैं । मुझे वास्तव में इवांस का सामान पसंद है।

— सियान

मुझे बहुत खुशी है कि कीथ द्वारा काम पर सूचित किया गया है जो अलग-अलग शुरू होता है लेकिन समान निष्कर्ष पर समाप्त होता है! इसे उद्धृत करना महत्वपूर्ण है।

— user36160