बेयसियन और लगातार बिंदु अनुमानक किस परिस्थितियों में मेल खाते हैं?

Question

पहले एक फ्लैट के साथ, एमएल (अक्सरवादी - अधिकतम संभावना) और एमएपी (बायेसियन - अधिकतम पोस्टीरियर) अनुमानक मेल खाते हैं।

अधिक सामान्यतः, हालांकि, मैं कुछ नुकसान फ़ंक्शन के ऑप्टिमाइज़र के रूप में व्युत्पन्न बिंदु आकलनकर्ताओं के बारे में बात कर रहा हूं। अर्थात

(बायेसियन)  एक्स

$$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) \qquad \; \,\text{ (Bayesian) }$$ $$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x-\hat x(Y)) \; | \; x \right) \qquad \text{(Frequentist)}$$

जहां उम्मीद ऑपरेटर है, एल नुकसान समारोह (शून्य पर कम से कम), है एक्स ( y ) है आकलनकर्ता, डेटा दिया y पैरामीटर का,$\mathbb{E}$$L$$\hat x(y)$$y$ , और यादृच्छिक परिवर्तनीय बड़े अक्षरों के साथ चिह्नित हैं।$x$

क्या किसी को , x और y के pdf पर कोई भी स्थिति पता है$L$$x$$y$ , लीनियरिटी और / या निष्पक्षता , जहां अनुमानक संयोग करेंगे?

संपादित करें

जैसा कि टिप्पणियों में कहा गया है, निष्पक्षता जैसी निष्पक्षता की आवश्यकता होती है, जिसे फ्रीक्वेंटिस्ट समस्या को सार्थक करने के लिए आवश्यक है। फ्लैट पुजारी भी एक समानता हो सकती है।

कुछ उत्तरों द्वारा प्रदान की गई सामान्य चर्चाओं के अलावा, प्रश्न वास्तव में वास्तविक उदाहरण प्रदान करने के बारे में भी है । मुझे लगता है कि एक महत्वपूर्ण रेखीय प्रतिगमन से आता है:

• एक्स = ( डी ' डी ) - 1 डी ' y नीले (है गॉस-मार्कोव प्रमेय$\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$ ), यानी यह रेखीय-निष्पक्ष आकलनकर्ता के बीच frequentist एमएसई कम करता है।
• अगर गाऊसी है और उसे पूर्व फ्लैट, है x = ( डी ' डी ) - 1 डी ' y है "पीछे" मतलब कम करता है किसी भी उत्तल नुकसान समारोह के लिए बायेसियन मतलब नुकसान।$(X,Y)$$\mathbf{\hat{x}} = (\mathbf{D}'\mathbf{D})^{-1}\mathbf{D}'\mathbf{y}$

यहाँ, को क्रमशः / बायेसियन लिंगो में क्रमशः डेटा / डिज़ाइन मैट्रिक्स के रूप में जाना जाता है।$\mathbf{D}$

Comments

मुझे लगता है कि आप एक फ्लैट से पहले मान लेना चाहते हैं? अन्यथा निश्चित रूप से ऐसा कोई तरीका नहीं है कि अनुमानों को दिलचस्प सामान्य मामलों में समान होने की उम्मीद की जा सकती है।

— user56834

आप इसे पोज देते हैं

— Jeremias K

@JeremiasK, शायद आप एक उत्तर में उसके बारे में कुछ समझा सकते हैं?

— user56834

@ Programmer2134 यदि मैं सामग्री के साथ पर्याप्त आराम महसूस करता, तो मैं ऐसा नहीं करता। मुझे पता है कि वे जो कुछ करते हैं वह एक CLT के बायेसियन समकक्ष को प्राप्त होता है, जिसमें कुछ 'पोस्टीरियर कॉन्सनट्रेशन रेट्स' होते हैं, जो आपको बताते हैं कि नमूना आकार को बढ़ाने के साथ-साथ पैरामीटर आपके पॉइंट स्पेस में एक बिंदु पर कितनी तेजी से केंद्रित होता है और फिर मूल रूप से समाप्त हो जाता है। अपने बायेसियन अनुमानकों के लिए लगातार-प्रकार की निरंतरता की गारंटी देता है।

— येरेमिया के

Answer 1

सवाल दिलचस्प है, लेकिन कुछ हद तक निराशाजनक है जब तक कि लगातार अनुमान लगाने वाले की धारणा सटीक न हो। यह निश्चित रूप से में प्रश्न एक सेट नहीं है x ( के बाद से न्यूनतम करने के लिए जवाब है एक्स ( y ) = x सभी के लिए y 'में उठाई बाहर के रूप में एसProgrammer2134 के जवाब

$$\hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x,\hat x(Y)) \; | \; x \right)$$ $\hat{x}(y)=x$$y$ । मूल मुद्दा यह है कि एक अनुमान समस्या के लिए कोई भी लगातार मूल्यांकनकर्ता नहीं है, बिना पूरक बाधाओं या अनुमानकों के वर्गों को पेश किए बिना। उन लोगों के बिना, सभी बेयस अनुमानक भी लगातार अनुमानक हैं।

जैसा कि टिप्पणियों में कहा गया है, निष्पक्षता एक ऐसी बाधा हो सकती है, जिस स्थिति में बेयस अनुमानक को बाहर रखा जाता है। लेकिन यह लगातार धारणा अन्य लगातार धारणाओं के साथ टकराती है जैसे कि

1. स्वीकार्यता, चूंकि जेम्स-स्टीन घटना ने प्रदर्शित किया कि निष्पक्ष अनुमानकर्ता अनजाने हो सकते हैं (हानि फ़ंक्शन के आधार पर और समस्या के आयाम पर);
2. पुनर्मूल्यांकन के तहत उलटा, चूंकि निष्पक्षता परिवर्तन के तहत नहीं रहती है।

प्लस निष्पक्षता केवल अनुमान समस्याओं के एक प्रतिबंधित वर्ग पर लागू होती है। इस करके, मेरा मतलब है कि एक निश्चित पैरामीटर के निष्पक्ष आकलनकर्ता के वर्ग या बदलने की ज ( θ ) समय की सबसे खाली है।$\theta$$h(\theta)$

प्रशंसनीयता की बात करें तो एक और लगातार धारणा है, ऐसी सेटिंग्स मौजूद हैं जिनके लिए एकमात्र स्वीकार्य अनुमानकर्ता बेयस अनुमानक और इसके विपरीत हैं। इस प्रकार की सेटिंग्स 1950 के दशक में अब्राहम वाल्ड द्वारा स्थापित पूर्ण वर्ग प्रमेयों से संबंधित हैं। (यही बात सबसे अच्छे आक्रमणकारी आकलनकर्ताओं पर भी लागू होती है, जो कि उचित दाईं ओर के उपाय के तहत बेयस हैं।)

Comments

क्या अनुमानकों के वर्ग को प्रतिबंधित करने के अन्य विहित तरीके हैं ताकि कम से कम समस्या को अच्छी तरह से परिभाषित किया जाए और अधोगामी न हो (निष्पक्षता की आवश्यकता के अलावा), जो कि बेज़ियन एक के करीब हैं?

— user56834

Answer 2

सामान्य तौर पर, अक्सर और बायसीयन अनुमानक मेल नहीं खाते हैं, जब तक कि आप पहले से पतित फ्लैट का उपयोग नहीं करते हैं। इसका मुख्य कारण यह है: आवृत्तिवादी अनुमानक अक्सर निष्पक्ष होने का प्रयास करते हैं। उदाहरण के लिए, आव्रजक अक्सर न्यूनतम भिन्न निष्पक्ष अनुमानक ( http://en.wikipedia.org/wiki/Minimum-variance_unbiased_estimator ) को खोजने का प्रयास करते हैं । इस बीच, सभी गैर-पतित बेयस अनुमानक पक्षपाती हैं (पूर्वाग्रह के लगातार अर्थ में)। उदाहरण के लिए देखें, http://www.stat.washington.edu/~hoff/courses/581/LectureNotes/bayes.pdf , प्रमेय 5।

सारांशित करने के लिए: अधिकांश लोकप्रिय अक्सर अनुमानक निष्पक्ष होने का प्रयास करते हैं, जबकि सभी बेयर्स अनुमानक पक्षपाती होते हैं। इस प्रकार, बेयस और लगातार अनुमान लगाने वाले शायद ही कभी मेल खाते हैं।

Comments

मुझे आश्चर्य है कि इन सिद्धांतों की शुद्धता के बारे में, यह देखते हुए कि "अधिकांश लोकप्रिय अक्सरवादी अनुमानक" एमएल हैं और वे पक्षपाती (पैरामीटर के आधार पर) होते हैं। इसके अलावा, एक अच्छा व्यक्ति अक्सर नुकसान और प्रशंसा के बारे में चिंतित होता है; इस सिद्धांत का एक महत्वपूर्ण हिस्सा यह स्वीकार करता है कि स्वीकार्य प्रक्रियाएं बेयस प्रक्रियाओं से आती हैं, जहां - कम से कम उस व्यापक अर्थ में - लगातार सिद्धांत का बहुत दिल बेयस अनुमानकों पर निर्भर करता है! यदि आप "अक्सर," "सबसे", "और" शायद ही कभी, के बारे में स्पष्ट हो सकते हैं, तो मुझे आपके दृष्टिकोण से सहमत किया जा सकता है और सबूतों के साथ वापस आ सकता है।

— whuber

@ शुभांक अच्छा बिंदु - मेरा जवाब शायद थोड़ा सरल था। वास्तविक आव्रजनकर्ता पक्षपाती प्रक्रियाओं (जैसे एल 1 या एल 2 दंडित प्रतिगमन) का उपयोग करते हैं, या औपचारिक रूप से बायेसियन प्रक्रियाओं का भी उपयोग कर सकते हैं। हालांकि, मुझे लगता है कि निष्पक्ष अनुमानकर्ता सबसे अक्सर विश्लेषण के लिए शुरुआती बिंदु हैं। उदाहरण के लिए, लेहमन एंड कैसेला द्वारा बिंदु अनुमान के सिद्धांत का पहला भावपूर्ण अध्याय (लगातार आकलन पर मानक ग्रंथों में से एक) सभी निष्पक्षता के बारे में है।

— स्टीफन दांव

खैर, ठीक है (+1)। लेकिन मुझे आपके अंतिम तर्क को मनोरंजक लगता है: आखिरकार, एक किताब को कहीं से शुरू करना पड़ता है और आमतौर पर उस शुरुआती बिंदु को इसकी सादगी और पहुंच के लिए चुना जाता है, इसके व्यावहारिक महत्व के लिए नहीं। उसी तर्क से आप दावा कर सकते हैं कि अधिकांश आधुनिक गणित मुख्य रूप से तर्क और निर्धारित सिद्धांत से संबंधित है, क्योंकि वे अक्सर कई गणित की पुस्तकों में पहला अध्याय बनाते हैं! सांख्यिकीय अभ्यास का एक बेहतर प्रतिबिंब लेहमैन और कैसलेला का अंतिम आधा या तो हो सकता है - वहां पर चर्चा पर एक नज़र डालें :-)।

— whuber

"जब तक आप पतित फ्लैट का उपयोग नहीं करते हैं"। वैसे यह सोचने के लिए एक दिलचस्प विशेष मामला है, है ना?

— user56834

इसके अलावा, उनका प्रश्न इस बारे में है कि क्या वे सैद्धांतिक रूप से कुछ शर्तों के तहत मेल खाते हैं, न कि क्या वे अनुमानक जो अभ्यास संयोग में उपयोग किए जाते हैं।

— user56834

Answer 3

यह एक पूरा जवाब नहीं है, लेकिन, जबकि इन दोनों की नज़र बहुत समान हैं, वे एक तरह से मौलिक रूप से अलग कर रहे हैं: बायेसियन एक कम करता है एक भी मूल्य के संबंध में अभिव्यक्ति (यह है कि, के मूल्य में एक्स ( y ) , y पर निर्भर करता है )।$\text{argmin}$$\hat x(y)$$y$

लेकिन फ़्रीक्वेंटिस्ट को बिना, हर मूल्य के लिए एक एकल मान के संबंध में नुकसान फ़ंक्शन को कम करना होगा, बिना एक्स को जाने । इसका कारण यह है समारोह की न्यूनतम है च ( एक्स , एक्स ) = ई ( एल ( एक्स - एक्स ( वाई ) ) | एक्स ) पर निर्भर करता है एक्स , भले ही हम जाने बिना उसे कम से कम करने के लिए है एक्स । (ध्यान दें कि अगर हम बस कम होगा च ( एक्स , एक्स$x$$x$$f(x,\hat x)=E(L(x-\hat x(Y))|x)$$x$$x$$f(x, \hat x)$$\hat x$$\hat x = x$

Comments

अच्छे अंक। मुझे लगता है कि आप लगातार समस्या के बारे में सही हैं। इसे अच्छी तरह से प्रस्तुत करने का तरीका अनुमानकर्ताओं के वर्ग को प्रतिबंधित करना है। लेहमैन और कैसेला से: "अब तक, हम अनुमान लगाने वालों के साथ संबंध रखते हैं जो जोखिम आर (δ, value) को हर मूल्य पर कम करते हैं θ यह केवल निष्पक्षता की आवश्यकता द्वारा विचार किए जाने वाले आकलनकर्ताओं के वर्ग को प्रतिबंधित करने से संभव था। निष्पक्षता या समानता के रूप में। "

— पैट्रिक

Answer 4

इस सवाल का कोई जवाब नहीं हो सकता है।

एक विकल्प हाथ में किसी भी समस्या के लिए कुशलतापूर्वक दो अनुमानों को निर्धारित करने के तरीकों के लिए पूछना हो सकता है। बायेसियन तरीके इस आदर्श के काफी करीब हैं। हालाँकि, भले ही न्यूनतम बिंदु अनुमान को निर्धारित करने के लिए न्यूनतम तरीकों का इस्तेमाल किया जा सके, सामान्य तौर पर, न्यूनतम विधि का अनुप्रयोग कठिन बना रहता है, और व्यवहार में उपयोग नहीं किया जाता है।

एक अन्य विकल्प इस प्रश्न को फिर से समझना होगा कि किन परिस्थितियों में बायेसियन और लगातार अनुमानक "संगत" परिणाम प्रदान करते हैं और उन अनुमानकों की कुशलता से गणना करने के तरीकों की पहचान करने का प्रयास करते हैं। यहाँ "सुसंगत" का अर्थ यह लगाया जाता है कि बेइज़ियन और अक्सरवादी अनुमानक एक सामान्य सिद्धांत से प्राप्त होते हैं और यह कि दोनों ही अनुमानकर्ताओं के लिए एकरूपता का एक ही मानदंड प्रयोग किया जाता है। यह बेयसियन और लगातार आंकड़ों का विरोध करने की कोशिश करने से बहुत अलग है, और उपरोक्त प्रश्न को शानदार रूप से प्रस्तुत कर सकता है। एक संभावित दृष्टिकोण लक्ष्यवादी मामले और बेयसियन मामले दोनों के लिए है, निर्णय के सेट पर जो किसी दिए गए आकार के नुकसान को कम करता है, अर्थात, जैसा कि प्रस्तावित है

शेफर, चाड एम और फिलिप बी स्टार्क। "इष्टतम अपेक्षित आकार के विश्वास क्षेत्रों का निर्माण।" जर्नल ऑफ़ द अमेरिकन स्टैटिस्टिकल एसोसिएशन 104.487 (2009): 1080-1089।

यह पता चलता है कि यह संभव है - लगातारवादी और बेयसियन मामले के लिए - वरीयता बिंदुओं और बड़े बिंदुवार पारस्परिक जानकारी के साथ मापदंडों को शामिल करके। निर्णय सेट समान नहीं होंगे, क्योंकि पूछे जाने वाले प्रश्न अलग हैं:

• सच्चा पैरामीटर क्या है, इससे स्वतंत्र होकर गलत निर्णय लेने के जोखिम को सीमित करें (लगातार देखें)
• कुछ अवलोकनों को देखते हुए, निर्णय सेट में गलत मापदंडों को शामिल करने के जोखिम को सीमित करें (बायेसियन देखें)

हालांकि सेट बड़े पैमाने पर ओवरलैप हो जाएंगे और कुछ स्थितियों में समान हो जाएंगे, अगर फ्लैट पुजारियों का उपयोग किया जाता है। इस विचार में एक कुशल अक्षमता के साथ और अधिक विस्तार से चर्चा की गई है

बार्टेल्स, क्रिस्चियन (2015): सामान्य और सुसंगत आत्मविश्वास और विश्वसनीय क्षेत्र। figshare। https://doi.org/10.6084/m9.figshare.1528163

जानकारीपूर्ण पुजारियों के लिए, निर्णय अधिक विचलन करता है (जैसा कि आमतौर पर जाना जाता है और प्रश्न में और ऊपर के उत्तर में बताया गया था)। हालांकि, सुसंगत ढांचे के भीतर, कोई व्यक्ति लगातार परीक्षण प्राप्त करता है, जो वांछित निरंतरवादी कवरेज की गारंटी देता है, लेकिन पूर्व ज्ञान को ध्यान में रखता है।

बार्टल्स, क्रिश्चियन (2017): लगातार परीक्षणों में पूर्व ज्ञान का उपयोग करना। figshare। https://doi.org/10.6084/m9.figshare.4819597

प्रस्तावित विधियों में अभी भी हाशिए के कुशल कार्यान्वयन का अभाव है।

Comments

क्या आप अपने प्रश्न में अधिक विशेष रूप से विस्तृत कर सकते हैं जब वे "सुसंगत" होंगे?

— user56834

@ Programmer2134। धन्यवाद, उत्तर में स्पष्ट करने की कोशिश की।

— user36160