Bayesians: संभावना समारोह के दास?

62

अपनी पुस्तक "ऑल स्टेटस ऑफ स्टैटिस्टिक्स" में, प्रो। लैरी वासरमैन निम्नलिखित उदाहरण प्रस्तुत करते हैं (11.10, पृष्ठ 188)। मान लीजिए कि हम एक घनत्व है ऐसी है कि है, जहां एक है जाना जाता है (गैर नकारात्मक, समाकलनीय) समारोह, और सामान्य निरंतर है अज्ञात । $f$ $f(x)=c\,g(x)$ $g$ $c>0$

हम उन मामलों में रुचि रखते हैं जहां हम गणना नहीं कर सकते । उदाहरण के लिए, यह मामला हो सकता है कि एक बहुत उच्च-आयामी नमूना स्थान पर एक पीडीएफ है। $c=1/\int g(x)\,dx$ $f$

यह सर्वविदित है कि सिमुलेशन तकनीकें हैं जो हमें से नमूना लेने की अनुमति देती हैं , भले ही अज्ञात है। इसलिए, पहेली है: कैसे हम अनुमान कर सकता है इस तरह के एक नमूना से? $f$ $c$ $c$

प्रो। वेसरमैन निम्नलिखित बायेसियन समाधान का वर्णन करते हैं: let कुछ पहले लिए होना चाहिए । संभावना है इसलिए, पश्च नमूना मान पर निर्भर नहीं करता है । इसलिए, एक बायेसियन नमूना के बारे में जानकारी का उपयोग नहीं कर सकता है ताकि बारे में अनुमान लगाया जा सके । $\pi$ $c$

L_{x} (c) = \prod_{i = 1}^{n} f (x_{i}) = \prod_{i = 1}^{n} (c g (x_{i})) = c^{n} \prod_{i = 1}^{n} g (x_{i}) \propto c^{n} .

$L_x(c) = \prod_{i=1}^n f(x_i) = \prod_{i=1}^n \left(c\,g(x_i)\right) = c^n \prod_{i=1}^n g(x_i) \propto c^n \, .$

π (c ∣ x) \propto c^{n} π (c)

$\pi(c\mid x) \propto c^n \pi(c)$

x_{1}, \dots, x_{n}

$x_1,\dots,x_n$

c

$c$

प्रो। वासरमैन बताते हैं कि "बायेसियन संभावना समारोह के गुलाम हैं। जब संभावना भड़क जाती है, तो बायेसियन निष्कर्ष होगा"।

मेरे साथी स्टैकर्स के लिए मेरा प्रश्न है: इस विशेष उदाहरण के बारे में, बायेसियन पद्धति के साथ क्या गलत हुआ (अगर कुछ भी)?

पीएस अस प्रो। वासरमैन ने कृपया अपने उत्तर में बताया, इसका उदाहरण एड जॉर्ज के कारण है।

bayesian mathematical-statistics

— जेन
स्रोत

10

यह उदाहरण किसी भी Bayesian विश्लेषण की तरह संख्यात्मक एकीकरण का संचालन करने के लिए एक विचित्र अप्रभावी तरीके से लगता है।

— whuber

2

आप कैसे कह सकते हैं कि बायेसियन बारे में कुछ नहीं सीखता है । अगर ऐसा होता तो हम । यह स्पष्ट रूप से नहीं है।

c

$c$

π (c | x) \propto π (c)

$\pi(c|x)\propto\pi(c)$

— प्रायिकतालोगिक

2

मैं वास्तव में इस उदाहरण को नहीं समझता। यदि पर निर्भर नहीं है, तो क्या यह आश्चर्यजनक नहीं है कि डेटा जानकारीपूर्ण नहीं है क्योंकि केवल के रूप पर निर्भर करता है और नमूने के लिए समान है ? मुझे स्पष्ट रूप से कुछ सूक्ष्म (या इतना सूक्ष्म नहीं) बिंदु याद आ रहा है।

g ()

$g()$

c

$c$

c

$c$

g ()

$g()$

a n y

$any$

— डिक्रान मार्सुपियल

मैंने औपचारिक रूप से बायेसियन दृष्टिकोण से वंचित किया है जो @ ज़ेन की आपत्ति को दूर कर सकता है , शीआन की रुचि की कमी को दूर नहीं करता है और केवल संख्यात्मक एकीकरण की सटीकता का आकलन करता है।

— फेनरॉन

1

: एक अच्छा लैरी के ब्लॉग पर अनुवर्ती कार्रवाई normaldeviate.wordpress.com/2012/10/05/...

— ज़ेन

43

यह मेरा पेपर (इंटरनेट पर ही प्रकाशित) में चर्चा की गई "लैरी Wasserman के एक उदाहरण पर" [ 1 ] और मेरे बीच एक ब्लॉग विदेशी मुद्रा में, Wasserman, रोबिन्स, और Wasserman के ब्लॉग पर कुछ अन्य टिप्पणीकर्ताओं: [ 2 ]

संक्षिप्त उत्तर यह है कि वास्समैन (और रॉबिंस) यह सुझाव देकर विरोधाभास उत्पन्न करते हैं कि उच्च आयामी स्थानों में "आवश्यक" गुणों के लिए या तो यह है कि ब्याज के पैरामीटर को निश्चितता के साथ एक प्राथमिकताओं के रूप में जाना जाता है या यह स्पष्ट रूप से प्रासंगिक समस्या (चयन पूर्वाग्रह) है के पास जाना जाता है निश्चितता के साथ मौजूद नहीं है। वास्तव में, समझदार पुजारियों में ये विशेषताएं नहीं होंगी। मैं इसे खींचने के लिए एक सारांश ब्लॉग पोस्ट लिखने की प्रक्रिया में हूं। एक उत्कृष्ट 2007 का पेपर है, हैसमलिंग और टूसेंट द्वारा वासेरमैन और रिटोव के उदाहरणों के प्रति समझदार बायेसियन दृष्टिकोण को दर्शाते हुए: "रॉबिन्स-रिटोव की समस्या के लिए बायेसियन अनुमानक" [ 3 ]

— क्रिस सिम्स
स्रोत

12

आपके योगदान के लिए धन्यवाद, सिम्स के प्रो। क्या आप मेरे उत्तर से सहमत हैं? PS अब हमारे पास एसई पर नोबेल पुरस्कार पोस्टिंग है। उस के बारे में कैसा है? nobelprize.org/nobel_prizes/economics/laureates/2011/sims.html

— Zen

1

@ क्रिसमिस प्रोफेसर सिम्स आपके बहुत ही आधिकारिक प्रतिक्रिया के साथ आने और मेरे उत्तर को उड़ाने के लिए धन्यवाद!

— माइकल चेरिक

4

मैं इस तथ्य से चिंतित हूं कि इस उत्तर में सबसे अधिक मत हैं (अभी के अनुसार)। जैसा कि प्रो। वेसर्मन नोट करते हैं, प्रो। सिम्स का जवाब एक ज़ेन की तुलना में पूरी तरह से अलग पहेली के बारे में है। मैंने अनुमान लगाया कि अधिकांश लोगों ने सिम्स द्वारा उपलब्ध कराए गए लिंक को पढ़ने और समझने के बिना इसे अपडाउन किया।

— सियान

3

सियान, आप लिंक [1], WassermanComment.pdf, पी में इस पहेली के बारे में प्रो। सिम की टिप्पणी पा सकते हैं। 10, धारा VII। पोस्टस्क्रिप्ट 2.

— madprob

43

मैं इस उदाहरण में ज्यादा अपील नहीं देख रहा हूं, जासूसी। Bayesians और संभावना है-wallahs का एक संभावित आलोचना के रूप में .... निरंतर जाना जाता है, के बराबर किया जा रहा है तो केवल "अज्ञात" चित्र में, एक नमूना दिया है , तो समस्या के बारे में कोई सांख्यिकीय मुद्दा नहीं है और मैं इस बात से सहमत नहीं हूं कि मौजूद अनुमानक हैं । और न ही पर पुजारी $c$

1 / \int_{X} g (x) d x

$1\big/ \int_\mathcal{X} g(x) \text{d}x$

c

$c$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

c

$c$

c

$c$ (उपरोक्त मूल्य पर डीराक मास के अलावा)। यह कम से कम एक सांख्यिकीय समस्या नहीं है, बल्कि एक संख्यात्मक मुद्दा है।

नमूना का उपयोग एक (क्रमिक) घनत्व अनुमान के माध्यम से किया जा सकता है जो संख्यात्मक अनुमान प्रदान करने के लिए एक मात्र जिज्ञासा है। वैकल्पिक सांख्यिकीय दृष्टिकोणों की आलोचना नहीं: मैं एक बायेसियन घनत्व अनुमान का उपयोग कर सकता हूं ... $x_1,\ldots,x_n$ $c$

— शीआन
स्रोत

4

एक उचित पूर्व के साथ शुरू करना और एक अनुचित पीछे से समाप्त करना संभव नहीं है यदि संभावना एक वास्तविक सशर्त घनत्व है!

— शीआन

π

$\pi$

c

$c$

π

$\pi$

X_{1}, X_{2}, \dots, X_{n}

$X_1, X_2, \ldots, X_n$

c

$c$

c

$c$

R

$R$

x = r n o r m (100, c, 1)

$x = rnorm(100,c,1)$

c

$c$

c

$c$

x

$x$

c

$c$

c

$c$

3

मैं डे फिनेटी नहीं हूं, इसलिए मैं उसके लिए जवाब नहीं दे सकता!

— शीआन

3

f (x_{1}, \dots, x_{n} | c)

$f(x_1,\ldots,x_n|c)$

40

मैं मानता हूं कि उदाहरण अजीब है। मेरा मतलब था कि यह वास्तव में एक पहेली से अधिक है। (उदाहरण वास्तव में एड जॉर्ज के कारण है।)

$c$ $c$

किसी भी दर पर, कागज

ए। कोंग, पी। मैक्कलघ, एक्स.एल. मेंग, डी। निकोला, और जेड टैन (2003), मोंटे कार्लो एकीकरण के लिए सांख्यिकीय मॉडल का एक सिद्धांत , जे रॉयल स्टेटिस्टिक। समाज। बी , वॉल्यूम। 65, नं। 3, 585–604

(चर्चा के साथ) अनिवार्य रूप से एक ही समस्या का इलाज करता है।

क्रिस सिम्स ने अपने जवाब में जो उदाहरण दिया है वह बहुत ही अलग प्रकृति का है।

— लैरी वासरमैन
स्रोत

3

प्रोफेसर वासरमैन आपके उदाहरण और इसके इतिहास पर आने के लिए धन्यवाद। मैं स्टैनफोर्ड में एक स्नातक छात्र था और एड जॉर्ज के साथ ओवरलैप किया गया था। स्टैनफोर्ड स्टैटिस्टिक्स डिपार्टमेंट उन दिनों में बहुत ही गैर-बायेसियन था, हालांकि एफ्रॉन और स्टीन के साथ हम आपको अनुभवजन्य बेस के फ्रिंज पर थे। हालांकि विभाग बहुत खुला था और डेनिस लिंडले ने बायेसियन आँकड़ों में एक स्नातक पाठ्यक्रम दिया था जिसमें मैंने एक गर्मियों में लिया था। किसी तरह से एड एक पूर्ण-बेएज़ियन बनने के लिए परिवर्तित हो गया और यहां तक कि डम्मीज़ के लिए गिब्स नमूना पर एक पेपर भी लिखा (हालांकि निश्चित रूप से उस शीर्षक के साथ नहीं)।

— माइकल चेरिक

1

मुझे आपकी छोटी-छोटी पुस्तकें "ऑल स्टैटिस्टिक्स" और "ऑल ऑफ नॉनपरमेट्रिक्स" पढ़ने में आनंद आता है।

— माइकल चेरिक

1

शायद नहीं-संयोग से, मैंने इस पेपर पर कांग एट अल द्वारा चर्चा की। (2003), वितरण पर बजाय माप पर समूह परिवर्तनों का उपयोग करने की दक्षता के बारे में नकारात्मक होना। हाल ही में, जिओ-ली ने मुझे कागज की अधिक सकारात्मक धारणा की ओर स्थापित किया ...

— शीआन

1

"मान लीजिए कि आप संख्यात्मक अभिन्न नहीं कर सकते।" मैं समझता हूं कि तार्किक अनिश्चितता (जो इसका एक उदाहरण है) ने काफी प्रयासों के बावजूद विश्लेषण का विरोध किया है।

— जॉन साल्वेटियर 20

c

$c$

g

$g$

g (x_{1})

$g(x_1)$

g (x_{2})

$g(x_2)$

g

$g$

23

$g:\mathbb{R}\to\mathbb{R}$ $C$ $X_1,\dots,X_n$ $C=c$ $f_{X_i\mid C}(x_i\mid c)=c\,g(x_i)$ $c>0$

$f_{X_i\mid C}(\,\cdot\mid c)$ $c$ $c=\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$ $C$ $C$ $\pi$

$x=(x_1,\dots,x_n)$

L_{x} (c) = \prod_{i = 1}^{n} (c g (x_{i})),

$L_x(c) = \prod_{i=1}^n \left(c\,g(x_i)\right) \, ,$

c

$c$

x

$x$

π (c) = \frac{1}{c^{2}} I_{[1, \infty)} (c) .

$\pi(c) = \frac{1}{c^2} \,I_{[1,\infty)}(c) \, .$

\int_{0}^{\infty} π (c) d c = 1

$\int_0^\infty \pi(c)\,dc=1$

π (c ∣ x) \propto \frac{1}{c^{2 - n}} I_{[1, \infty)} (c) .

$\pi(c\mid x) \propto \frac{1}{c^{2-n}}\, I_{[1,\infty)}(c) \, .$

\int_{0}^{\infty} \frac{1}{c^{2 - n}} I_{[1, \infty)} (c) d c

$\int_0^\infty \frac{1}{c^{2-n}}\,I_{[1,\infty)}(c)\,dc$

n \geq 1

$n\geq 1$

यह असंभव है: हम जानते हैं कि यदि हम एक उचित पूर्व के साथ शुरू करते हैं, तो हमारा पश्च हर संभावित नमूने के लिए अनुचित नहीं हो सकता है (यह अशक्त पूर्ववर्ती संभावित संभावना के एक सेट के अंदर अनुचित हो सकता है)।

— जेन
स्रोत

^{+}

$^+$

1

ओ माइकल। बेशक आप कर सकते हैं: गामा, Lognormal, आदि, मैं नहीं देखता कि यह कैसे उत्तर से संबंधित है। संभवतः मुझे समझ नहीं आ रहा है कि आप क्या कह रहे हैं।

— ज़ेन

वैसे मुझे आपके तर्क के बाद परेशानी हो रही है। आप कहते हैं कि एफ के लिए सशर्त घनत्व केवल एक सी के लिए मौजूद है, लेकिन यह सच नहीं है। मैं यह नहीं देखता कि संभावना के लिए अभिव्यक्ति अमान्य क्यों है और आप एक उचित पूर्व अनुमान लगाकर विरोधाभास से प्रमाण कैसे प्राप्त करते हैं और किसी तरह यह दिखाते हैं कि यह एक अनुचित पश्च वितरण की ओर जाता है।

— 16:25 बजे माइकल चेरिक ऑक्ट

यह मुझे लगता है कि इस मुद्दे की जड़ यह है कि डेटा वास्तव में सी से स्वतंत्र है और इसमें सी के बारे में कोई जानकारी नहीं है। मुझे लगता है कि आप कह सकते हैं कि एक संभावना फ़ंक्शन है जिसमें c शामिल है लेकिन इस संभावना को c के फ़ंक्शन के रूप में अधिकतम नहीं किया जा सकता है। C की प्रत्येक पसंद के लिए मुझे लगता है कि f = cg है।

— 16:18 बजे माइकल चेरिक ऑक्ट

4

g (.)

$g(.)$

g (.)

$g(.)$

p (c | g (.)) = δ (c - \int_{0}^{\infty} g (x) d x)

$p(c|g(.))=\delta(c-\int_{0}^{\infty}g(x)dx)$

p (Z | X Y) \propto p (Z | X)

$p(Z|XY)\propto p(Z|X)$

Y

$Y$

Z

$Z$

X

$X$

11

इसका उदाहरण थोड़ा अजीब और विरोधाभासी है। जी उठने का एक कारण है क्योंकि जी एक ज्ञात कार्य है। एकमात्र अज्ञात पैरामीटर c है जो संभावना का हिस्सा नहीं है। इसके अलावा, क्योंकि जी ज्ञात है कि डेटा आपको f के बारे में कोई जानकारी नहीं देता है। आप अभ्यास में ऐसा कब देखते हैं? तो पीछे वाला सिर्फ पूर्व के लिए आनुपातिक है और सी के बारे में सभी जानकारी पूर्व में है।

ठीक है, लेकिन इसके बारे में सोचो। फ़्रीक्वॉन्सर अधिकतम संभावना का उपयोग करते हैं और इसलिए कभी-कभी फ़ेलिस्ट भी संभावना फ़ंक्शन पर भी भरोसा करते हैं। अच्छी तरह से अक्सर अन्य तरीकों से आप कह सकते हैं कि मापदंडों का अनुमान लगा सकते हैं। लेकिन इस पकाया हुआ समस्या का केवल एक पैरामीटर c है और c के बारे में डेटा में कोई जानकारी नहीं है। चूँकि g ज्ञात है कि अज्ञात मापदंडों से संबंधित कोई सांख्यिकीय समस्या नहीं है जिसे डेटा अवधि से दूर किया जा सकता है।

— माइकल चेरिक
स्रोत

c

$c$

\hat{f}

$\hat{f}$

f

$f$

x

$x$

\hat{c} = \hat{f} (x) / g (x)

$\hat{c}=\hat{f}(x)/g(x)$

c

$c$

4

@Zen ठीक है कि उदाहरण लेते हैं। किसी भी डेटा को एकत्र क्यों करें? हम जानते हैं जी। तो हम अंकीय रूप से इसे एकीकृत कर सकते हैं कि किसी भी स्तर का अनुमान लगाए बिना हम जिस भी स्तर की सटीकता चाहते हैं, उसे निर्धारित करें! यह धारणा कि हम c की गणना नहीं कर सकते हैं, जिसका अर्थ है कि भले ही हम g को x के कार्य के रूप में जानते हों, लेकिन हम इसे एकीकृत नहीं कर सकते हैं! मुझे लगता है कि उनका उदाहरण कमजोर है और यही तर्क है और मुझे उनकी किताबें आमतौर पर पसंद हैं।

— माइकल चेर्निक

11

$c$

$g()$ $g()$ $g()$ $g()$

$g()$ $g()$

— डेविड रोहडे
स्रोत

आश्चर्य यह अधिक upvotes नहीं है। यह इस मुद्दे के दिल में जाता है, जो कि अस्पष्ट है कि आप "जानते" हैं कि एक फ़ंक्शन क्या है क्योंकि आप किसी भी बिंदु पर इसका मूल्यांकन कर सकते हैं। मुझे लगता है कि आपको एक "उपयुक्त" कहने के लिए अधिक उपयुक्त मानदंड है, एक फ़ंक्शन उस पर किसी भी निरंतर रैखिक कार्यात्मक का मूल्यांकन करने की क्षमता है।

— निक अल्जीरिया

@ नाइक अल्जीरिया: फॉक्स ने रुचि खो दी है। मैं इसे अपवित्र नहीं कर रहा हूं क्योंकि मुझे यकीन नहीं है कि यह बेस है - क्या सेट डी (xi, f (xi)) में xi को अध्ययन में देखे गए xi या उनके द्वारा यादृच्छिक रूप से उत्पन्न किया गया है? यदि यह पहला है, तो यह बेयस है, लेकिन सरल एमसी के साथ कंप्यूटिंग समय के कुछ सेकंड के साथ हरा देना बहुत आसान है (इसलिए यह ठीक काम नहीं करता है) या इसके बाय्स नहीं (डेटा पर वातानुकूलित नहीं है)।

— फेनरॉन

-2

हम NULL (कोई डेटा उत्पन्न नहीं) को शामिल करने के लिए संभावित ज्ञातों की परिभाषा (डेटा के विस्तार के लिए अनुपलब्ध डेटा के लिए जो देखे गए लेकिन खो गए) का विस्तार कर सकते हैं।

π (c) = \frac{1}{c^{2}} I_{[1, \infty)} (c) .

$\pi(c) = \frac{1}{c^2} \,I_{[1,\infty)}(c) \, .$

$c=\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$

$f_{X_a\mid C}(x_a\mid c) f_{X_i\mid C}(x_i\mid c) =c\,1 g(x_i)$

$f_a{X_a\mid C}(x_a\mid c)=0$

तो पीछे 0 या 1 (उचित) होगा, लेकिन उपरोक्त डेटा मॉडल से संभावना उपलब्ध नहीं है (क्योंकि आप डेटा मॉडल में आवश्यक शर्त निर्धारित नहीं कर सकते हैं।)

तो आप एबीसी करते हैं।

पूर्व से एक "ग" ड्रा।

$\left(\int_{-\infty}^\infty g(x)\,dx\right)^{-1}$

रखा गया है “c” सही पोस्टीरियर का एक अनुमान होगा।

(सन्निकटन की सटीकता एप्सिलॉन और उस सन्निकटन पर कंडीशनिंग की पर्याप्तता पर निर्भर करेगी।)

— phaneron
स्रोत

-5

π (c | x) = (Π_{i} g (x_{i})) \cdot c^{n} π (c),

$\pi(c|x) = \left( \Pi_i g(x_i) \right) \cdot c^n \pi(c) \,,$

{x_{i}}

$\{x_i\}$

\propto

$\propto$

— परेशान
स्रोत

2

x

$x$

\int f (x ∣ c) π (c) d c

$\int f(x\mid c)\,\pi(c)\,dc$

\prod_{i = 1}^{n} g (x_{i})

$\prod_{i=1}^n g(x_i)$