बिना किसी पूर्व सिद्धांत के इतिहास

Question

मैं एक बेनेसियन स्टेटिस्टिक्स कोर्स (इन इकोनॉमिक्स एम.एससी।) के लिए एक छोटा सैद्धांतिक निबंध लिख रहा हूं।

अब तक, मेरे समयरेखा को तीन मुख्य चरण बनाए गए हैं: लाप्लास का उदासीनता सिद्धांत (1812), गैर-अनौपचारिक पादरी (जेफ्रीस (1946)), बर्नार्डो संदर्भ पूर्व (1979)।

मेरे साहित्य की समीक्षा से, मुझे समझ में आया है कि उदासीनता सिद्धांत (लाप्लास) पहले उपकरण था जिसका उपयोग पूर्व सूचना की कमी का प्रतिनिधित्व करने के लिए किया जाता था, लेकिन अदृश्य होने की आवश्यकता को 40 के दशक तक छोड़ दिया गया, जब जेफ्रीस ने अपना तरीका पेश किया, जिसमें इसकी विधि है वांछित की संपत्ति। 70 के दशक से पहले अनुचित के लापरवाह उपयोग के कारण हाशिए के विरोधाभासों की उत्पत्ति ने इस मुद्दे से निपटने के लिए अपने संदर्भ पूर्व सिद्धांत को विस्तृत करने के लिए बर्नार्डो को आगे बढ़ाया।

साहित्य को पढ़ना, हर लेखक अलग-अलग योगदानों का हवाला देता है: जेनेस की अधिकतम एन्ट्रापी, बॉक्स और टियाओ के डेटा-अनुवादित संभावना, ज़ेलनर, ...

आपकी राय में, मुझे कौन से महत्वपूर्ण कदम याद आ रहे हैं?

संपादित करें : अगर कोई जरूरत है, तो मैं अपने (मुख्य) संदर्भ जोड़ता हूं:

1) औपचारिक नियमों से पहले का चयन, कास, वासरमैन

2) गैर सूचनात्मक पुजारियों, यांग, बर्जर की एक सूची

3) noninformative Bayesians Priors व्याख्या और निर्माण और अनुप्रयोगों के साथ समस्याएं

Comments

एक बार जब आप उस सैद्धांतिक निबंध को समाप्त कर लेते हैं, तो क्या आप इसे लिंक करने के लिए किसी तरह का होगा?

— निकोलस रिबेबल

यह बहुत अच्छा होगा अगर आप अपने प्रश्न का उत्तर अपने शोध को संक्षेप में दे सकें।

— टिम

मैंने इस लेख को पहले भी लिंक किया है, लेकिन अधिकतम संभावना का महाकाव्य इतिहास , लाप्लास और जेफरी के बीच ऐतिहासिक "गैप" को कवर करता है: जहां गॉस, हॉटेलिंग, फिशर, बर्नौली, और अन्य लोगों के काम ने उस समय के दौरान अधिकतम गिरावट का अनुमान लगाया।

— AdamO

@alessandro यह वर्णन करता है कि गॉस के विकसित होने और एक समान प्रिंट (गैर-सुधारक के रूप में गर्भ धारण करने) का उपयोग करने के बाद एक सदी के लिए लैपेलियन दृष्टिकोण को कैसे बनाए रखा गया था। पियर्सन और क्रिस्टीन स्मिथ ने एमएल को तबाह कर दिया क्योंकि परिणामस्वरूप अनुमान बायेसियन की इच्छा के अनुसार संभावनाओं से नहीं निपटता था।

— एडम एनओ

मिनट (पांडित्य, यदि आपको पसंद है) लेकिन संभवतः उपयोगी बिंदु: जेफरीस = (प्रोफेसर सर) हेरोल्ड जेफरीस, ब्रिटिश ने गणितज्ञ, भूभौतिकीविद और बहुत कुछ लागू किया; उन्होंने मुझे 40 साल पहले एक पत्र में समझाया था कि वह जेफ्रीज़ को पसंद करते हैं क्योंकि जेफ्रीज़ 'काफी गलत जेफरी के उत्परिवर्तन के लिए उत्तरदायी थे। ऊपर हमारे पास एक उदाहरण है! (यह मदद नहीं करता है कि रिचर्ड सी। जेफरी, अमेरिकी दार्शनिक, एक पूरी तरह से अलग व्यक्ति, संभावना पर भी लिखा है।)

— निक कॉक्स

Answer 1

जो आपको याद आ रहा है वह प्रारंभिक इतिहास है। आप फेनबर्ग (2006) द्वारा पेपर की जांच कर सकते हैं कि बायेसियन इंट्रेंस "बायेसियन" कब बना? । सबसे पहले, उन्होंने नोटिस किया कि थॉमस बेयस पहले व्यक्ति थे जिन्होंने पहले एक वर्दी का उपयोग करने का सुझाव दिया था:

वर्तमान सांख्यिकीय भाषा में, Bayes के कागज द्विपद पैरामीटर, पर एक समान पहले वितरण का परिचय , के सिद्धांत पर एक "बिलियर्ड टेबल" के साथ तुलना करके तर्क और द्विपद यादृच्छिक चर के सीमांत वितरण के रूप में भरते है, और नहीं "अपर्याप्त कारण," जैसा कि कई अन्य लोगों ने दावा किया है।$\theta$

पियरे साइमन लाप्लास इस पर चर्चा करने वाला अगला व्यक्ति था:

$\theta$

$$f(\theta\mid x_1,x_2,\dots,x_n) \propto f(x_1,x_2,\dots,x_n\mid\theta)$$

$\theta$

इसके अलावा कार्ल फ्रेडरिक गॉस ने अपनी पुस्तक एनोटेटिड रीडिंग इन स्टैटिस्टिक्स ऑफ हिस्टरी में डेविड और एडवर्ड्स (2001) द्वारा उल्लेखित एक पूर्व सूचना का उपयोग करने का भी उल्लेख किया है :

$h$

$$f(h|x) \propto f(x|h)$$

$h$$[0, \infty)$

और फ़ेनबर्ग (2006) के नोटिस के रूप में, "व्युत्क्रम संभावना" (और समान पुजारियों का उपयोग करते हुए) 19 वीं शताब्दी के मोड़ पर लोकप्रिय था

$t$$\mu$$\mu$$h =\sigma^{-1}$

बेइज़ियन दृष्टिकोण के प्रारंभिक इतिहास की भी समीक्षा स्टिग्लर (1986) ने अपनी पुस्तक द हिस्ट्री ऑफ स्टैटिस्टिक्स: द अनटाइटीज़ ऑफ़ दि 1900 में से पहले की है ।

अपनी संक्षिप्त समीक्षा में आप रोनाल्ड आयलर फिशर (फिर से फ़ेनबर्ग, 2006 के बाद उद्धृत) का उल्लेख नहीं करते हैं:

फिशर उल्टे तरीकों से दूर चला गया और अपने दृष्टिकोण के प्रति अपने अनुमान के अनुसार उसने "संभावना" कहा, एक अवधारणा जो उसने दावा किया था वह संभावना से अलग थी। लेकिन इस संबंध में फिशर की प्रगति धीमी थी। स्टिगलर (164) ने बताया है कि, 1916 से एक अप्रकाशित पांडुलिपि डेटिंग में, फिशर ने एक फ्लैट से पूर्व संभावना और उलटा संभावना के बीच अंतर नहीं किया था, भले ही बाद में उन्होंने इस समय को समझने के लिए दावा किया कि जब उन्होंने भेद किया था।

Jaynes (1986) ने अपना स्वयं का संक्षिप्त समीक्षा पत्र बेयसियन मेथड्स: जनरल बैकग्राउंड प्रदान किया। एक परिचयात्मक ट्यूटोरियल जिसे आप जांच सकते हैं, लेकिन यह बिना सूचना के पुजारियों पर ध्यान केंद्रित नहीं करता है। इसके अलावा, जैसा कि एडमो ने नोट किया है , आपको निश्चित रूप से स्टिगलर (2007) द्वारा अधिकतम संभावना की महाकाव्य कहानी को पढ़ना चाहिए ।

यह भी ध्यान देने योग्य है कि "पूर्ववर्ती" के रूप में ऐसी कोई चीज नहीं है , इसलिए कई लेखक "अस्पष्ट पादरियों" , या "साप्ताहिक जानकारीपूर्ण पादरियों" के बारे में बात करना पसंद करते हैं ।

औपचारिक नियमों द्वारा पूर्व वितरण के चयन में कास और वासरमैन (1996) द्वारा एक सैद्धांतिक समीक्षा प्रदान की जाती है , जो पुजारियों को चुनने के बारे में अधिक विस्तार में जाते हैं, जिसमें बिना किसी सूचना के पुजारी के उपयोग की विस्तारित चर्चा होती है।

Comments

इस तरह का जवाब मुझे मिल रहा था। धन्यवाद!

— PhDing

मुझे लगता है कि फेनबर्ग ने बायेसियन के गौरव को बहुत दूर तक बढ़ाया। मैं व्यक्तिगत रूप से कुछ भी परिभाषित करने के लिए "उलटा संभावना" का उपयोग करने के लिए दृढ़ता से नापसंद करता हूं क्योंकि यह एडलर और टेलर द्वारा प्रस्तावित अभिन्न ज्यामिति चित्र के अनुरूप नहीं लगता है। किसी भी अच्छी सांख्यिकीय प्रक्रिया का गणितीय पत्राचार होना चाहिए, उलटा संभावना इतनी अधिक मुड़ जाती है कि मेरे अनुभव से समस्या थोड़ी अधिक संवेदनशील होने पर आप शायद ही इसका विश्लेषण कर सकें।

— हेनरी एल।

@ हेनरी.एल ... फिर भी, यह सांख्यिकीय विचार के इतिहास का एक हिस्सा है :) यह भी ध्यान दें कि यह केवल फेनबर्ग नहीं है जो इस तरह के उदाहरण प्रदान करता है। पूरे विरोधी उलटा-संभाव्यता और एंटी-बायेसियन विद्रोही शुरू कर दिया क्योंकि यह काफी लोकप्रिय हो गया।

— टिम

@ टिम हाँ, मुझे लगता है कि थॉमस कुह्न ने "स्कीम की शिफ्टिंग" कहा है और इसे "... विरोधियों को भी मरना है, और एक नई पीढ़ी" :)।

— हेनरी।

Answer 2

Noninformative priors (uninformative priors) की खामियों के बारे में कुछ टिप्पणियां संभवतः एक अच्छा विचार है क्योंकि इस तरह की खामियों की जांच से इतिहास में noninformative की अवधारणा के विकास में मदद मिली।

आप noninformative पादरियों को अपनाने की कमियों / खामियों के बारे में कुछ टिप्पणियां जोड़ना चाह सकते हैं। कई आलोचनाओं के बीच मैं दो की ओर इशारा करता हूं।

(1) आम तौर पर नॉनफोर्मेटिव पादरियों को अपनाने से विशेष रूप से तब समस्या होती है जब मॉडल वितरण में बहु-मोडल व्यवहार होता है।

यह समस्या noninformative priors के लिए अद्वितीय नहीं है, लेकिन कई अन्य Bayesian प्रक्रियाओं द्वारा साझा की जाती है, जैसा कि निम्नलिखित चर्चाओं में निम्नलिखित पेपर में बताया गया है।

डियाकोनिस, फारसी और डेविड फ्रीडमैन। "बेस अनुमानों की संगति पर।" द एनल्स ऑफ स्टैटिस्टिक्स (1986): 1-26।

आजकल नॉनफॉर्मफॉर्मेटिव पहले का रिसर्च फोकस नहीं है। ऐसा लगता है कि nonparametric सेटिंग्स में पहले से अधिक लचीले विकल्पों में अधिक रुचि है। उदाहरण गैरपारैट्रिक बेसेस प्रक्रिया में गॉसियन प्रक्रिया या ड्यूरिचलेट पुजारियों के मिश्रण जैसा एक लचीला मॉडल है, जैसे कि

एंटोनियाक, चार्ल्स ई। " बेइरियन नॉनपैरेमेट्रिक समस्याओं के लिए अनुप्रयोगों के साथ डिर्चिच प्रक्रियाओं का मिश्रण।" आंकड़ों की व्याख्या (1974): 1152-1174।

लेकिन फिर से इस तरह की एक पूर्व की अपनी सुसंगतता समस्याएं हैं।

(2) अधिकांश तथाकथित "गैर-सूचनात्मक पुजारी" अच्छी तरह से परिभाषित नहीं हैं।

यह संभवतः उनके विकास के दौरान noninformative priors से जुड़ी सबसे स्पष्ट समस्या है।

एक उदाहरण यह है कि उचित पुजारियों के अनुक्रम की एक सीमा के रूप में गैर-सूचनात्मक की सीमा परिभाषा एक सीमांत विरोधाभास को जन्म देगी। जैसा कि आपने उल्लेख किया है, बर्नार्डो के संदर्भ से पहले यह भी समस्या थी कि बर्जर ने कभी यह साबित नहीं किया कि इसकी औपचारिक परिभाषा इसके निर्माण / विभाजन से स्वतंत्र है। में चर्चा देखें

बर्जर, जेम्स ओ।, जोस एम। बर्नार्डो और डोंगचू सन। "संदर्भ पुरोहितों की औपचारिक परिभाषा।" द एनल्स ऑफ स्टैटिस्टिक्स (2009): 905-938।

जेफ्रीज़ के बारे में एक सबसे अच्छी परिभाषा जो अच्छी तरह से परिभाषित है, वह यह है कि इसे पहले से चुना जाए ताकि यह फ़िशर सूचना मीट्रिक से लैस रिमैनियन मैनिफोल्ड पर कुछ समानांतर समानांतर अनुवाद के तहत अपरिवर्तित हो, लेकिन यहां तक ​​कि पहली समस्या को हल नहीं करता है।

इसके अलावा, आप हाशिए के विरोधाभास के बारे में मेरी व्याख्या पढ़ना चाह सकते हैं ।

Comments

यह एक उत्कृष्ट पोस्ट है और हममें से किसी ने भी इसके बारे में नहीं सोचा था। अच्छा काम।

— डेव हैरिस

मैंने किसी भी अर्थ या निहितार्थ को बदलने की कोशिश किए बिना अभिव्यक्ति के कई छोटे संपादन किए हैं। कृपया जांच लें कि आपका अर्थ संपादन के तहत अपरिवर्तनीय है।

— निक कॉक्स

Answer 3

मैंने टिप्पणियों में पोस्ट किया होगा, लेकिन मुझे लगता है कि मेरे पास अभी प्रतिष्ठा नहीं है। एकमात्र लापता चीज़, जो पहले से ही चिह्नित टिप्पणियों में नहीं है, नॉनफॉर्मेटिव पादरियों का एक विशेष मामला है, जिनकी उत्पत्ति है कि मैंने नीचे शिकार करने की कोशिश की है और नहीं मिली है। यह जेफ्रीज़ पेपर से पहले हो सकता है।

सामान्य वितरण के लिए, मैंने सामान्य संभावना के साथ डेटा के लिए एक noninformative के रूप में उपयोग किए जाने वाले कॉची वितरण को देखा है। कारण यह है कि कॉची वितरण की सटीकता शून्य है, जहां सटीकता को विचरण द्वारा विभाजित किया गया है। यह विरोधाभासी अवधारणाओं का एक बल्कि अजीब सेट बनाता है।

$$\frac{1}{\pi}\frac{\Gamma}{\Gamma^2+(x-\mu)^2}.$$

आप कैसे अभिन्न परिभाषित करते हैं इसके आधार पर या तो कोई परिभाषित संस्करण नहीं है या यह माध्यिका के बारे में अनन्तता तक जाता है, जिसका अर्थ है कि सटीकता शून्य पर जाती है। संयुग्मन अद्यतन में, जो यहाँ लागू नहीं होगा, आप भारित पूर्ववर्तियों को जोड़ते हैं। मुझे लगता है यही कारण है कि एक उचित पूर्व का यह विचार एक पूरी तरह से संकेंद्रित घनत्व के गठन के साथ है। यह स्वतंत्रता के एक डिग्री के साथ छात्र के टी के बराबर भी है, जो स्रोत भी हो सकता है।

$2\Gamma$

कॉची वितरण के दो शुरुआती संदर्भ संभावना कार्यों के रूप में हैं। केंद्रीय सीमा प्रमेय के अपवाद के रूप में पोइसन से लाप्लास के लिए एक पत्र में पहला। दूसरा 1851 के जर्नल लेख में बिएनमे 'और कॉची के बीच हुई लड़ाई में सामान्य से कम वर्गों की वैधता पर था।

मुझे इसके उपयोग के संदर्भ सन्दर्भहीन के रूप में 1980 से पहले मिल गए थे, लेकिन मुझे कोई पहला लेख या पुस्तक नहीं मिली। मुझे यह भी प्रमाण नहीं मिला है कि यह गैर-विरूप है। मुझे प्रायिकता सिद्धांत पर जेफ्रीज़ की 1961 की पुस्तक का उद्धरण मिला, लेकिन मैंने कभी भी इंटरलेक्ट्स ऋण के माध्यम से पुस्तक का अनुरोध नहीं किया।

यह केवल कमजोर रूप से सूचनात्मक हो सकता है। 99.99% उच्चतम घनत्व वाला क्षेत्र 1272 अर्ध-अंतःचारात्मक पर्वतमाला चौड़ा है।

मुझे उम्मीद है यह मदद करेगा। यह एक अजीब विशेष मामला है, लेकिन आप इसे कई प्रतिगमन पत्रों में देखते हैं। यह स्थान और पैमाने को न्यूनतम रूप से प्रभावित करते हुए, एक उचित पूर्व होने के कारण एक बेस कार्रवाई के लिए आवश्यकताओं को संतुष्ट करता है।