क्या एक बेयस अनुमानक की आवश्यकता है कि सच्चा पैरामीटर पूर्व का एक संभावित संस्करण है?

यह थोड़ा दार्शनिक सवाल हो सकता है, लेकिन यहाँ हम जाते हैं: निर्णय सिद्धांत में, बेयस अनुमानक का जोखिम $\hat\theta(x)$ के लिये $\theta\in\Theta$ एक पूर्व वितरण के संबंध में परिभाषित किया गया है $\pi$ पर $\Theta$ ।

अब, एक ओर, सच्चे के लिए $\theta$ डेटा उत्पन्न करने के लिए (यानी "मौजूद"), $\theta$ के तहत एक संभावित परिवर्तन होना चाहिए $\pi$ , जैसे गैर-शून्य संभावना, गैर-शून्य घनत्व, आदि; दूसरी ओर, $\theta$ ज्ञात नहीं है, इसलिए पूर्व की पसंद है, इसलिए हमारे पास कोई गारंटी नहीं है कि यह सच है $\theta$ के तहत एक संभावित रूपांतर है $\pi$ हमने चुना है।

अब, यह मुझे प्रतीत होता है कि हमें किसी तरह चयन करना है $\pi$ ऐसा है कि $\theta$ एक संभावित रूपांतर होगा। अन्यथा, कुछ प्रमेय धारण नहीं करेंगे। उदाहरण के लिए, न्यूनतम अनुमान कम से कम पहले के लिए एक बेयस अनुमान नहीं होगा, क्योंकि हम उस बड़े क्षेत्र को छोड़कर और आसपास के क्षेत्रों को छोड़कर मनमाने ढंग से बुरा बना सकते हैं $\theta$ अपने डोमेन से। हालाँकि, गारंटी है कि $\theta$ वास्तव में डोमेन को प्राप्त करना कठिन हो सकता है।

तो मेरे सवाल हैं:

क्या आमतौर पर यह माना जाता है कि वास्तविक $\theta$ का संभावित संस्करण है $\pi$ ?
क्या इसकी गारंटी दी जा सकती है?
क्या इसका उल्लंघन करने वाले मामलों को कम से कम किसी भी तरह से पता लगाया जा सकता है, इसलिए जब कोई स्थिति नहीं होती है, तो न्यूनतम रूप में प्रमेयों पर भरोसा नहीं किया जाता है?
यदि इसकी आवश्यकता नहीं है, तो निर्णय सिद्धांत में मानक परिणाम क्यों हैं?

— user32849
स्रोत

जवाबों:

बहुत अच्छा सवाल! यह वास्तव में समझ में आएगा कि "अच्छा" पूर्व वितरण सकारात्मक संभावना या सकारात्मक घनत्व मान को "सही" पैरामीटर देता है $\theta_0$ , लेकिन विशुद्ध रूप से निर्णायक दृष्टिकोण से यह मामला नहीं है। इस "अंतर्ज्ञान" के लिए एक सरल प्रति-उदाहरण

π (θ_{0}) > 0

$\pi(\theta_0)>0$ आवश्यक होना चाहिए, जब

π (\cdot)

$\pi(\cdot)$ पूर्व घनत्व है और

θ_{0}

$\theta_0$ पैरामीटर का "सही" मान है, कैसाला और स्ट्रॉडरमैन (1981) का शानदार न्यूनतम परिणाम है : जब एक सामान्य औसत का अनुमान लगाया जाता है

μ

$\mu$ एक अवलोकन के आधार पर

x \sim N (μ, 1)

$x\sim{\cal N}(\mu,1)$ अतिरिक्त बाधा के साथ

| μ | < ρ

$|\mu|<\rho$ , अगर

ρ

$\rho$ काफी छोटा है,

ρ \leq 1.0567

$\rho\le 1.0567$ विशेष रूप से, न्यूनतम अनुमानक पहले से कम (कम से कम अनुकूल) वर्दी से मेल खाती है

{- ρ, ρ}

$\{-\rho,\rho\}$ , जिसका अर्थ है कि

π

$\pi$ के बराबर वजन देता है

- ρ

$-\rho$ तथा

ρ

$\rho$ (और माध्य के किसी अन्य मान से कोई भी नहीं

μ

$\mu$ )

π (θ) = \frac{1}{2} δ_{- ρ} (θ) + \frac{1}{2} δ_{ρ} (θ)

$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$ कब

ρ

$\rho$ कम से कम अनुकूल पहले अपने समर्थन को बढ़ता हुआ देखता है, लेकिन संभावित मूल्यों के एक सीमित सेट को शेष रखता है। हालाँकि पीछे की अपेक्षा,

E [μ | x]

$\mathbb{E}[\mu|x]$ , किसी भी मूल्य पर ले जा सकते हैं

(- ρ, ρ)

$(-\rho,\rho)$ ।

चर्चा का मूल (टिप्पणी देखें) हो सकता है कि, बेयस अनुमानक समर्थन के समर्थन में एक बिंदु बनने के लिए विवश थे $\pi(\cdot)$ , इसके गुण काफी भिन्न होंगे।

इसी तरह, जब स्वीकार्य अनुमानकों पर विचार करते हैं, तो कॉम्पैक्ट सेट पर एक उचित पूर्व से जुड़े बेयस अनुमानक आमतौर पर स्वीकार्य होते हैं, हालांकि उनके पास एक प्रतिबंधित समर्थन होता है।

दोनों मामलों में, अक्सर धारणा (न्यूनतमता या स्वीकार्यता) को मापदंडों की संभावित सीमा पर परिभाषित किया जाता है, बल्कि पैरामीटर के "सही" मूल्य पर (जो प्रश्न 4 का उत्तर लाता है) उदाहरण के लिए, पीछे के जोखिम को देखते हुए

\int_{Θ} L (θ, δ) π (θ | x) d θ

$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$ या बेयस जोखिम में

\int_{X} \int_{Θ} L (θ, δ) π (θ) f (x | θ) d θ d x

$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$ सही मूल्य शामिल नहीं है

θ_{0}

$\theta_0$ ।

इसके अलावा, जैसा कि ऊपर दिए गए उदाहरण में बताया गया है, जब बेयस अनुमानक को एक औपचारिक अभिव्यक्ति द्वारा परिभाषित किया गया है जैसे कि पश्च मीन

{\hat{θ}}^{π} (x) = \int_{Θ} θ π (θ | x) d θ

$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$ द्विघात के लिए (या

L_{2}

$L_2$ ) हानि, यह अनुमानक के समर्थन के बाहर मान ले सकता है

π

$\pi$ मामलों में यह समर्थन उत्तल नहीं है।

एक तरफ, जब पढ़ने के रूप में

सही exist के लिए डेटा उत्पन्न किया है (यानी "मौजूद"), π π के तहत एक संभावित चर होना चाहिए, उदाहरण के लिए गैर-शून्य संभावना, गैर-शून्य घनत्व है

मैं इसे पूर्व के अर्थ का गलत चित्रण मानता हूं। पूर्व वितरण को वास्तविक भौतिक (या वास्तविक) तंत्र के लिए खड़ा नहीं होना चाहिए जिसने एक पैरामीटर मान देखा $\theta_0$ से उत्पन्न $\pi$ एक अवलोकन के बाद $x$ से उत्पन्न $f(x|\theta_0)$ । पूर्व पैरामीटर स्पेस पर एक संदर्भ उपाय है जो पैरामीटर के बारे में पूर्व सूचना और व्यक्तिपरक मान्यताओं को शामिल करता है और यह अद्वितीय नहीं है। एक बायेसियन विश्लेषण हमेशा इस बायेसियन विश्लेषण का संचालन करने के लिए चुने गए पूर्व के सापेक्ष होता है। इसलिए, सच्चे पैरामीटर के समर्थन से संबंधित होने के लिए एक परम आवश्यकता नहीं है $\pi$ । जाहिर है, जब यह समर्थन एक कॉम्पैक्ट कनेक्टेड सेट है, ${\mathscr A}$ , सेट के बाहर पैरामीटर का कोई भी मूल्य ${\mathscr A}$ लगातार पश्च माध्य से अनुमान नहीं लगाया जा सकता है $\hat{\theta}^\pi$ लेकिन यह भी अनुमानक को स्वीकार्य होने से नहीं रोकता है।

— शीआन
स्रोत

अपने अंतिम बिंदु के बारे में, यही मुझे भ्रमित करता है: कहते हैं कि मेरा कुछ सामान्य वितरण है

μ

$\mu$ कुछ पर्याप्त रूप से छोटी नकारात्मक संख्या होना। यदि किसी अजीब कारण के लिए मैंने पहले लॉग-सामान्य रखा (समर्थन)

[0, + \infty)

$[0,+\infty)$ ) पर

μ

$\mu$ (इस बात की परवाह किए बिना कि यह कितना समझ में आता है), इस तरह के एक पूर्व के तहत एक बेयस अनुमानक निश्चित रूप से न्यूनतम अनुमान से भी बदतर होगा, जो होने वाला नहीं है। लेकिन शायद मैं यहाँ कुछ गलत कर रहा हूँ ...

— user32849

आमतौर पर, Cf बर्जर (1985), एक न्यूनतम अनुकूल न्यूनतम न्यूनतम जोखिम से मेल खाती है।

— शीआन

मैं वास्तव में यहाँ उलझन में था: आपकी पुस्तक (अध्याय 2) ऐसा मानती थी

θ \sim π (θ)

$\theta \sim \pi(\theta)$ , और विशेष रूप से, प्रमेय 2.4.17 में,

Θ = [- m, m]

$\Theta=[-m, m]$ , जहां कम से कम अनुकूल पूर्व एक असतत वितरण है

Θ

$\Theta$ । लेकिन मुझे लगता है कि मुझे पेज 10 और अधिक ध्यान से पढ़ना चाहिए ;-)

— user32849

एकीकृत जोखिम में किसी भी स्तर पर "सही" पैरामीटर शामिल नहीं है। तो इस लिहाज से यह मायने नहीं रखता।

— शियान

तो, एक अर्थ में, जोखिम हमें उस नुकसान को पकड़ लेता है जिसकी हम अपेक्षा करते हैं, न कि वह जो हम वास्तव में अनुभव करते हैं। यह काफी मददगार रहा है, बहुत बहुत धन्यवाद!

— user32849

हां, यह आमतौर पर माना जाता है कि सच है $\theta$ पूर्व के डोमेन में है। यह देखने के लिए सांख्यिकीविद् की जिम्मेदारी है कि यह मामला है।
आमतौर पर, हाँ। उदाहरण के लिए, किसी माध्य या स्थान पैरामीटर का अनुमान लगाते समय, किसी भी पूर्व पर $(-\infty, \infty)$ अपने डोमेन में सही मूल्य होगा। (यदि पैरामीटर शून्य से अधिक जाना जाता है, उदाहरण के लिए, "प्रति दिन बे ब्रिज पर ट्रैफ़िक दुर्घटनाओं की संख्या", तो पूर्व में नकारात्मक मूल्यों को शामिल करने की आवश्यकता नहीं है, जाहिर है।) यदि हम एक संभावना का अनुमान लगा रहे हैं, तो कोई भी। पर पहले से $[0,1]$ अपने डोमेन में सही मूल्य होगा। यदि हम किसी पूर्ववर्ती अवधि से पहले, किसी भी पूर्व निर्माण कर रहे हैं $(0, \infty)$ इसके डोमेन में सही मूल्य होगा ... और इसी तरह।
यदि आपका पोस्टीरियर पूर्व के डोमेन के एक किनारे पर "स्टैक्ड अप" है, और आपका पूर्व उसी किनारे पर डोमेन पर एक अनावश्यक प्रतिबंध लगाता है, तो यह एक तदर्थ संकेतक है जो अनावश्यक प्रतिबंध आपको समस्याएं पैदा कर सकता है। लेकिन यह तब ही होना चाहिए जब a) आपने एक पूर्व का निर्माण किया हो, जिसका रूप वास्तविक पूर्व ज्ञान के बजाय बड़े पैमाने पर सुविधा द्वारा संचालित हो, और b) पूर्व का सुविधा-प्रेरित रूप पैरामीटर के डोमेन को इसके उप-भाग में प्रतिबंधित करता है, जो इसके " प्राकृतिक "डोमेन माना जा सकता है।

इस तरह का एक उदाहरण एक पुरानी, उम्मीद के मुताबिक लंबी अवधि के लिए है, संभावित कम्प्यूटेशनल कठिनाइयों से बचने के लिए, शून्य से थोड़ा दूर एक विचरण शब्द पर पूर्व को बाध्य करने का अभ्यास। यदि विचरण का सही मान बाउंड और ज़ीरो के बीच है, तो ठीक है ... लेकिन वास्तव में दिए गए वैरिएंट के संभावित मूल्यों के बारे में सोचते हुए, या (उदाहरण के लिए) इसके बजाय विचरण के लॉग पर पहले से अनुमति देंगे। आप इस समस्या से बचने के लिए, और इसी तरह की सौम्य चतुराई आपको सामान्य रूप से डोमेन-सीमित पुजारियों से बचने की अनुमति देनी चाहिए।

# 1 द्वारा उत्तर दिया गया।

— jbowman
स्रोत

इस मौके पर कि जो कोई भी उत्तर देता है, उसने जवाब दिया - "उपयोगी क्यों नहीं"?

— जूलमैन

सरल, सहज उत्तर यह है कि पूर्व के बारे में आपके पूर्व ज्ञान को दर्शाता है $\theta$ और आपके पास जो न्यूनतम ज्ञान होना चाहिए, वह डोमेन के बारे में है। यदि आप पहले से बंधे हुए का उपयोग करते हैं, तो आप मानते हैं कि सीमा के बाहर के मूल्यों में शून्य संभावना है, असंभव है, और यह एक बहुत मजबूत धारणा है जिसे अच्छे तर्क के बिना नहीं बनाया जाना चाहिए। यही कारण है कि जो लोग मजबूत पूर्व धारणा बनाना नहीं चाहते हैं, वे अस्पष्ट पुजारियों का उपयोग करते हैं $-\infty$ सेवा $\infty$ ।

बंधे हुए मामले के अलावा, जब आपका नमूना बढ़ता है, या अधिक सटीक रूप से अधिक जानकारी प्राप्त करता है, तो आपके पोस्टीरियर को अंत में परिवर्तित करना चाहिए $\theta$ पहले की कोई बात नहीं ।

— टिम
स्रोत