एक समान वितरण के पैरामीटर का अनुमान लगाना: अनुचित पूर्व?

हमारे पास N नमूने हैं, , एक समान वितरण से जहां अज्ञात है। अनुमान डेटा से। $X_i$ $[0,\theta]$ $\theta$ $\theta$

तो, बेय्स नियम ...

$f(\theta | {X_i}) = \frac{f({X_i}|\theta)f(\theta)}{f({X_i})}$

और संभावना है:

$f({X_i}|\theta) = \prod_{i=1}^N \frac{1}{\theta}$ (संपादित करें: जब सभी लिए , और 0 अन्यथा (धन्यवाद) whuber) $0 \le X_i \le \theta$ $i$

लेकिन बारे में कोई अन्य जानकारी नहीं होने के साथ , ऐसा लगता है कि पूर्व (यानी वर्दी) या (Jeffreys पूर्व?) के लिए आनुपातिक होना चाहिए लेकिन फिर मेरे अभिन्न अंग? 't अभिसरण, और मुझे यकीन नहीं है कि कैसे आगे बढ़ना है। कोई विचार? $\theta$ $1$ $\frac{1}{L}$ $[0,\infty]$

— मर्जी
स्रोत

आपकी संभावना गलत है: यह शून्य होगा जब भी सबसे बड़े से कम ।

θ

$\theta$

X_{i}

$X_i$

— whuber

क्या आप दिखा सकते हैं कि आप कौन से अभिन्न अंग ले रहे हैं?

हाँ, इसलिए, मुझे लगता है कि मैं अभी नहीं जानता कि अनुचित से कैसे निपटना है। उदाहरण के लिए, मैं

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

— Will

अनुचित पूर्व के लिए, = = और पूर्व आप इसी तरहक्योंकि लगभग निश्चित रूप से, यह निश्चित है कि अभिन्न अभिसरण करेंगे।

f [X_{i}] = \int_{Θ} f (X_{i} | θ) f (θ) d θ

$f[X_i] = \int_\Theta f(X_i|\theta)f(\theta)d\theta$

\int_{max (X_{i})}^{\infty} θ^{- N} d θ

$\int_{\max(X_i)}^\infty \theta^{-N}d\theta$

max (X_{i})^{1 - N} / (N - 1)

$\max(X_i)^{1-N}/(N-1)$

f (θ) \propto 1 / θ

$f(\theta)\propto 1/\theta$

max (X_{i})^{- N} / N .

$\max(X_i)^{-N}/N.$

max X_{i} > 0

$\max{X_i}\gt 0$

— whuber

बर्नार्डो संदर्भ पीछे पारेतो है - गैर-सूचनात्मक पादरियों की सूची देखें ।

— स्टीफन लॉरेंट

जवाबों:

इसने कुछ दिलचस्प बहस पैदा की है, लेकिन ध्यान दें कि यह वास्तव में ब्याज के सवाल से बहुत फर्क नहीं पड़ता है। व्यक्तिगत रूप से मुझे लगता है कि क्योंकि The एक पैमाना पैरामीटर है, परिवर्तन समूह तर्क उचित है, जिससे पहले एक अग्रणी होता है $\theta$

\begin{matrix} p (θ | I) = \frac{θ^{- 1}}{\log (\frac{U}{L})} \propto θ^{- 1} & L < θ < U \end{matrix}

$\begin{array}& p(\theta|I)=\frac{\theta^{-1}}{\log\left(\frac{U}{L}\right)}\propto\theta^{-1} & L<\theta<U\end{array}$

इस वितरण में समस्या के rescaling के समान रूप है (संभावना भी rescaling के तहत "अपरिवर्तनीय" बनी हुई है)। इस पूर्व की कर्नेल, कार्यात्मक समीकरण को हल करके प्राप्त की जा सकती है । मान समस्या पर निर्भर करता है, और वास्तव में केवल तभी मायने रखता है जब नमूना आकार बहुत छोटा हो (जैसे 1 या 2)। पीछे की ओर एक छोटा फंदा है, जिसे नीचे दिया गया है: $f(y)=y^{-1}$ $af(ay)=f(y)$ $L,U$

\begin{matrix} p (θ | D I) = \frac{N θ^{- N - 1}}{(L^{*})^{- N} - U^{- N}} & L^{*} < θ < U & where & L^{*} = m a x (L, X_{(N)}) \end{matrix}

$\begin{array}\\ p(\theta|DI)=\frac{N\theta^{-N-1}}{ (L^{*})^{-N}-U^{-N}} & L^{*}<\theta<U & \text{where} & L^{*}=max(L,X_{(N)}) \end{array}$ जहां एनएच है आदेश आँकड़ा, या नमूने का अधिकतम मूल्य। हमें अगर हम सेट करें और से हम सरल एक्सप्रेशन ।

X_{(N)}

$X_{(N)}$

E (θ | D I) = \frac{N ((L^{*})^{1 - N} - U^{1 - N})}{(N - 1) ((L^{*})^{- N} - U^{- N})} = \frac{N}{N - 1} L^{*} (\frac{1 - {[\frac{L^{*}}{U}]}^{N - 1}}{1 - {[\frac{L^{*}}{U}]}^{N}})

$E(\theta|DI)= \frac{ N((L^{*})^{1-N}-U^{1-N}) }{ (N-1)((L^{*})^{-N}-U^{-N}) }=\frac{N}{N-1}L^{*}\left(\frac{ 1-\left[\frac{L^{*}}{U}\right]^{N-1} }{ 1-\left[\frac{L^{*}}{U}\right]^{N} }\right)$

U \to \infty

$U\to\infty$

L \to 0

$L\to 0$

E (θ | D I) = \frac{N}{N - 1} X_{(N)}

$E(\theta|DI)=\frac{N}{N-1}X_{(N)}$

लेकिन अब मान लें कि हम द्वारा दिए गए एक और सामान्य उपयोग को ध्यान में रखते हैं (ध्यान दें कि हम यह सुनिश्चित करने के लिए सब कुछ उचित है - कोई एकवचन गणित नहीं है )। पीछे वाला ऊपर के समान है, लेकिन साथ द्वारा प्रतिस्थापित किया गया - बशर्ते कि । उपरोक्त गणनाओं को दोहराते हुए, हम सरलीकृत पश्च-माध्य का मतलब है $p(\theta|cI)\propto\theta^{-c-1}$ $L,U$ $N$ $c+N$ $c+N\geq 0$

E (θ | D I) = \frac{N + c}{N + c - 1} X_{(N)}

$E(\theta|DI)=\frac{N+c}{N+c-1}X_{(N)}$

तो वर्दी पहले ( ) बशर्ते कि (मतलब लिए अनंत हो )। इससे पता चलता है कि यहाँ बहस इस बात की तरह है कि विचरण अनुमान में या को विभाजक के रूप में उपयोग करना है या नहीं । $c=-1$ $\frac{N-1}{N-2}X_{(N)}$ $N\geq 2$ $N=2$ $N$ $N-1$

इस मामले से पहले अनुचित वर्दी के उपयोग के खिलाफ एक तर्क यह है कि होने पर पीछे वाला अनुचित है , क्योंकि यह आनुपातिक है । लेकिन यह केवल तभी मायने रखता है जब या बहुत छोटा हो। $N=1$ $\theta^{-1}$ $N=1$

— probabilityislogic
स्रोत

चूँकि यहाँ उद्देश्य निश्चित रूप से कुछ मान्य और उपयोगी अनुमान प्राप्त करने के लिए है , इसलिए पूर्व वितरण उस जनसंख्या के वितरण के विनिर्देश के अनुरूप होना चाहिए जहाँ से नमूना आता है। इसका किसी भी तरह से मतलब नहीं है कि हम नमूना का उपयोग करने से पहले "गणना" करते हैं - यह पूरी प्रक्रिया की वैधता को कम कर देगा। हम जानते हैं कि जिस जनसंख्या से नमूना आता है वह में से प्रत्येक के लिए एक समान यादृच्छिक चर की आबादी है । यह एक अनुरक्षित धारणा है और उस पूर्व सूचना का हिस्सा है जो हमारे पास है (और इसका सैंपल से कोई लेना-देना नहीं है , यानी इन रैंडम वैरिएबल्स के सबसेट की विशिष्ट प्राप्ति के साथ)। $\theta$ $[0,\theta]$

अब लगता है कि इस आबादी के होते , यादृच्छिक चर (जबकि हमारे नमूना के होते हैं की प्रतीति यादृच्छिक परिवर्तनीय)। बनी हुई धारणा हमें बताती है कि $m$ $n<m$ $n$

max_{i = 1, . . ., n} {X_{i}} \leq max_{j = 1, . . ., m} {X_{j}} \leq θ

$\max_{i=1,...,n}\{X_i\}\le \max_{j=1,...,m}\{X_j\} \le \theta$

कॉम्पैक्टनेस । फिर हमारे पास जिसे लिखा भी जा सकता है $\max_{i=1,...,n}\{X_i\} \equiv X^*$ $\theta \ge X^*$

θ = c X^{*} c \geq 1

$\theta = cX^*\qquad c\ge 1$

में एनआईडी यूनिफ़ॉर्म आरवी के का घनत्व कार्य $\max$ $N$ $[0,\theta]$

f_{X^{*}} (x^{*}) = N \frac{(x^{*})^{N - 1}}{θ^{N}}

$f_{X^*}(x^*) = N\frac {(x^*)^{N-1}}{\theta^N}$

समर्थन के लिए , और शून्य कहीं और। तब का उपयोग करके और परिवर्तन-के-चर सूत्र को लागू करके, हम लिए एक पूर्व वितरण प्राप्त करते हैं जो बनाए रखा धारणा के अनुरूप है: $[0,\theta]$ $\theta = cX^*$ $\theta$

f_{p} (θ) = N \frac{(\frac{θ}{c})^{N - 1}}{θ^{N}} \frac{1}{c} = \frac{N}{c^{N}} θ^{- 1} θ \in [x^{*}, \infty]

$f_p(\theta) = N\frac {(\frac{\theta}{c})^{N-1}}{\theta^N}\frac 1c = \frac {N}{c^N} \theta^{-1}\qquad \theta \in [x^*, \infty]$

यदि हम अनुचित रूप से निरंतर निर्दिष्ट नहीं करते हैं तो यह अनुचित हो सकता है । लेकिन हमारा हित लिए एक उचित पश्च होने में निहित है , और इसके अलावा, हम के संभावित मूल्यों (बनाए गए प्रतिबंध से उत्पन्न प्रतिबंध से परे) को प्रतिबंधित नहीं करना चाहते हैं । तो हम अनिर्धारित छोड़ दें । उसके बाद लिखना पीछे है $c$ $\theta$ $\theta$ $c$
$\mathbf X = \{x_1,..,x_n\}$

f (θ ∣ X) \propto θ^{- N} \frac{N}{c^{N}} θ^{- 1} \Rightarrow f (θ ∣ X) = A \frac{N}{c^{N}} θ^{- (N + 1)}

$f(\theta \mid \mathbf X)\; \propto\; \theta^{-N}\frac {N}{c^N} \theta^{-1} \Rightarrow f(\theta \mid \mathbf X) = A\frac {N}{c^N} \theta^{-(N+1)}$

निरंतर कुछ सामान्य करने के लिए। हम चाहते हैं कि हम

\int_{S_{θ}} f (θ ∣ X) d θ = 1 \Rightarrow \int_{x^{*}}^{\infty} A \frac{N}{c^{N}} θ^{- (N + 1)} d θ = 1

$\int_{S_{\theta}}f(\theta \mid \mathbf X)d\theta =1 \Rightarrow \int_{x^*}^{\infty}A\frac {N}{c^N} \theta^{-(N+1)}d\theta =1$

\Rightarrow A \frac{N}{c^{N}} \frac{1}{- N} θ^{- N} |_{x^{*}}^{\infty} = 1 \Rightarrow A = (c x^{*})^{N}

$\Rightarrow A\frac {N}{c^N}\frac {1}{-N}\theta^{-N}\Big |_{x^*}^{\infty} = 1 \Rightarrow A = (cx^*)^N$

पीछे के

f (θ ∣ X) = (c x^{*})^{N} \frac{N}{c^{N}} θ^{- (N + 1)} = N (x^{*})^{N} θ^{- (N + 1)}

$f(\theta \mid \mathbf X) = (cx^*)^N\frac {N}{c^N} \theta^{-(N+1)} = N(x^*)^N\theta^{-(N+1)}$

ध्यान दें कि पूर्व वितरण के अनिर्धारित निरंतर को आसानी से रद्द कर दिया गया है। $c$

पीछे वाला सभी सूचनाओं को सारांशित करता है कि विशिष्ट नमूना हमें के मूल्य के बारे में दे सकता है । यदि हम लिए एक विशिष्ट मूल्य प्राप्त करना चाहते हैं, तो हम आसानी से पीछे के अनुमानित मूल्य की गणना कर सकते हैं, $\theta$ $\theta$

E (θ ∣ X) = \int_{x^{*}}^{\infty} θ N (x^{*})^{N} θ^{- (N + 1)} d θ = - \frac{N}{N - 1} (x^{*})^{N} θ^{- N + 1} |_{x^{*}}^{\infty} = \frac{N}{N - 1} x^{*}

$E(\theta\mid \mathbf X) = \int_{x^*}^{\infty}\theta N(x^*)^N\theta^{-(N+1)}d\theta = -\frac{N}{N-1}(x^*)^N\theta^{-N+1}\Big |_{x^*}^{\infty} = \frac{N}{N-1}x^*$

क्या इस परिणाम में कोई अंतर्ज्ञान है? ठीक है, की संख्या के रूप में की बढ़ जाती है, अधिक संभावना है कि उन के बीच अधिक से अधिक प्राप्ति करीब है और करीब उनके ऊपरी बाध्य, करने के लिए किया जाएगा जो वास्तव में है क्या के पीछे औसत मान - हैं, कहते हैं: दर्शाता है , , लेकिन यदि । इससे पता चलता है कि पूर्व के चयन के बारे में हमारी रणनीति उचित और हाथ में समस्या के अनुरूप थी, लेकिन जरूरी नहीं कि कुछ अर्थों में "इष्टतम" हो। $X$ $\theta$ $\theta$ $N=2 \Rightarrow E(\theta\mid \mathbf X) = 2x^*$ $N=10 \Rightarrow E(\theta\mid \mathbf X) = \frac{10}{9}x^*$

— एलेकोस पापाडोपोलोस
स्रोत

डेटा पर पहले बेसिंग मेरे लिए गड़बड़ लगता है। आप इस दृष्टिकोण को कैसे सही ठहराते हैं?

— whuber

मेरे पास इस तथ्य के खिलाफ कुछ भी नहीं है कि आपका पूर्व "सबसे अच्छा" नहीं है। मैंने ऐसा कुछ कहाँ कहा? मैं सिर्फ आपके दृष्टिकोण को समझने की कोशिश कर रहा हूं। मैं इस समानता को अभी तक नहीं समझ पाया हूं। यदि समता में स्थिर है तो क्या अर्थ है कि और दोनों गैर-आयामी हैं? वैसे आप इस तथ्य का उपयोग नहीं करते हैं कि पूर्व की व्युत्पत्ति में , क्या आप? (cc @whuber)

c

$c$

θ = c X^{*}

$\theta=cX^*$

X^{*}

$X^*$

θ

$\theta$

c \geq 1

$c \geq 1$

— स्टीफन लॉरेंट

और आपके पूर्व का समर्थन डेटा पर निर्भर करता है? ( )

θ \in [x^{*}, \infty [

$\theta \in [x^*, \infty[$

— स्टीफन लॉरेंट

डेटा पर एक पूर्व निर्भर करता है (भले ही यह केवल समर्थन के माध्यम से हो) गलत लगता है: आप नमूना उत्पन्न होने से पहले अधिकतम नमूने के बारे में नहीं जान सकते हैं । इसके अलावा, आप दावा करते हैं कि दोनों लगभग एक समान समानता है, दोनों और यादृच्छिक (इस प्रकार सहसंबंध )। लेकिन इसका तात्पर्य है कि का पिछला वितरण (जो नमूना दिए गए का सशर्त वितरण है ) पर Dirac द्रव्यमान है । और यह पीछे वितरण के अपने व्युत्पत्ति का खंडन करता है। ... (कोई वर्ण शेष नहीं है ...)

θ = c X^{*}

$\theta = cX^*$

θ

$\theta$

X^{*}

$X^*$

1

$1$

θ

$\theta$

θ

$\theta$

c x^{*}

$cx^*$

— स्टीफन लॉरेंट

का पिछला वितरण पर डिराक है का मतलब है कि है । बेयस प्रमेय इसका कारण नहीं है। आप मानकर सब कुछ नष्ट कर देते हैं । इसका मतलब है , इस प्रकार सशर्त के वितरण दिया पर डिराक बड़े पैमाने पर है , जबकि मूल धारणा है कि इस वितरण पर समान वितरण है ।

θ

$\theta$

c x^{*}

$cx^*$

θ

$\theta$

c x^{*}

$cx^*$

θ = c X^{*}

$\theta = cX^*$

X^{*} = θ / c

$X^*=\theta/c$

X^{*}

$X^*$

θ

$\theta$

θ / c

$\theta/c$

(0, θ)

$(0,\theta)$

— स्टीफन लॉरेंट

समान पूर्व वितरण प्रमेय (अंतराल मामला):

"यदि डेटा लिए बाहरी बारे में आपकी जानकारी की समग्रता एकल प्रस्ताव द्वारा कैप्चर की जाती तो आपका एकमात्र संभव तार्किक रूप से-आंतरिक रूप से सुसंगत पूर्व विनिर्देश $\theta$ $D$

B = {{Possible values for θ} = {the interval (a, b)}, a < b}

$B=\{\{\text{Possible values for } \theta\}=\{\text{the interval } (a,b)\},a<b\}$

f (θ) = Uniform (a, b)

$f(\theta)=\text{Uniform}(a,b)$

इस प्रकार, यदि आप वास्तव में उपरोक्त प्रमेय में विश्वास करते हैं, तो आपको पहले विनिर्देश जेफरी के पूर्व के अनुरूप होना चाहिए। "

यूनिफ़ॉर्म प्री डिस्ट्रीब्यूशन प्रमेय का हिस्सा नहीं:

वैकल्पिक रूप से आप अपने पूर्व वितरण को Pareto वितरण के रूप में निर्दिष्ट कर सकते हैं , जो वर्दी के लिए संयुग्म वितरण है, यह जानकर कि आप पश्च वितरण को संयुग्मन द्वारा एक और समान वितरण होगा। हालांकि, यदि आप पेरेटो वितरण का उपयोग करते हैं, तो आपको किसी तरह से पेरेटो वितरण के मापदंडों को निर्दिष्ट करने की आवश्यकता होगी। $f(\theta)$

पहले आप कहते हैं "केवल संभव तार्किक रूप से सुसंगत" उत्तर एक समान वितरण है और फिर आप एक विकल्प का प्रस्ताव करने के लिए आगे बढ़ते हैं। यह मुझे अतार्किक और असंगत लगता है :-)।

— whuber

मैं सहमत नहीं हो सकता। उदाहरण के लिए, सेटजब का PDF लिए का पीडीएफ । लेकिन "प्रमेय" के अनुसार, जिसका pdf उस अंतराल में है। संक्षेप में, हालांकि प्रस्ताव इस बात पर निर्भर नहीं करता है कि समस्या को कैसे मानकीकृत किया जाता है, "प्रमेय" का निष्कर्ष पैरामीटराइजेशन पर निर्भर करता है, जहां यह अस्पष्ट है।

B

$B$

{θ | θ^{3} \in (a^{3}, b^{3})} .

$\{\theta | \theta^3\in(a^3, b^3)\}.$

Θ \sim Uniform (a, b),

$\Theta\sim\text{Uniform}(a,b),$

Ψ = Θ^{3}

$\Psi=\Theta^3$

1 / (3 ψ^{2 / 3} (b - a))

$1/(3\psi^{2/3}(b-a))$

a^{3} < ψ < b^{3}

$a^3\lt \psi\lt b^3$

Ψ \sim Uniform (a^{3}, b^{3})

$\Psi\sim\text{Uniform}(a^3,b^3)$

1 / (b^{3} - a^{3})

$1/(b^3-a^3)$

— whuber

BabakP: कोई कैसे कह सकता है कि यह एक प्रमेय है ? एक प्रमेय एक गणितीय प्रमाण के साथ एक गणितीय दावा है। यह "प्रमेय" अधिक उचित रूप से एक "सिद्धांत" के रूप में कहा जाएगा, लेकिन यह समझदार नहीं है क्योंकि यह विरोधाभासी है, जैसा कि @whuber द्वारा दिखाया गया है।

— स्टीफन लॉरेंट

संदर्भ बाबक के लिए धन्यवाद। मैं यह बताना चाहता हूं कि "प्रूफ स्केच" फर्जी है। ड्रेपर अंतराल को समान रूप से स्थानिक मानों की एक सीमित संख्या में विभाजित करता है और "सीमा में गुजरता है।" कोई भी अंतराल को मानों में विभाजित कर सकता है, जो किसी भी घनत्व को अनुमानित करते हैं, जैसे कि वे पसंद करते हैं और इसी तरह सीमा तक पहुंचते हैं, जिससे पूरी तरह से मनमाना उत्पादन होता है "केवल तार्किक रूप से आंतरिक रूप से संगत पूर्व विनिर्देशों।" इस तरह के सामान - अर्थात्, यह दिखाने के प्रयास में खराब गणित का उपयोग किया जाता है कि गैर-बायेसियन अतार्किक हैं - बायेसियन विश्लेषण को (अवांछनीय रूप से) खराब नाम देता है। (सीसी @ स्टीफन।)

— whuber

@ स्टीफन कृपया मेरी असंवेदनशीलता ( insensibilité ) को क्षमा करें - मैं यहां दूसरी भाषा में बातचीत करने के आपके कौशल की प्रशंसा करता हूं और जानबूझकर अस्पष्ट शब्दों का उपयोग नहीं करता हूं! बोगस एक विशेषण है जो 200 साल पुराने यूएस स्लैंग शब्द से आता है जो पैसे का जालसाजी करने के लिए एक मशीन का उल्लेख करता है। इस मामले में यह प्रमेयों के प्रतिरूप के लिए एक गणितीय मशीन है :-)।

— व्हिबर