जेफ़रीज़ प्रियर्स और एक विचरण स्थिरीकरण परिवर्तन के पीछे क्या संबंध है?

मैं wikipedia पर Jeffreys से पहले के बारे में पढ़ रहा था: Jeffreys पहले और देखा कि प्रत्येक उदाहरण के बाद, यह वर्णन करता है कि कैसे एक भिन्नता-स्थिरीकरण परिवर्तन Jeffreys को एक समान पूर्व में बदल देता है।

उदाहरण के लिए, Bernoulli मामले के लिए, यह कहा गया है कि एक सिक्का है संभावना के साथ सिर के लिए कि $\gamma \in [0,1]$ , Bernoulli परीक्षण मॉडल पैदावार जेफ्रेय्स पहले पैरामीटर के लिए कि $\gamma$ है:

p (γ) \propto \frac{1}{\sqrt{γ (1 - γ)}}

$p(\gamma) \propto \frac{1}{\sqrt{\gamma ( 1-\gamma)}}$

यह तो कहा गया है कि इस के साथ एक बीटा वितरण है $\alpha = \beta = \frac{1}{2}$ । यह भी कहा गया है कि यदि $\gamma = \sin^2(\theta)$ , तो जेफ्रेय्स पूर्व के लिए $\theta$ अंतराल में एक समान है $\left[0, \frac{\pi}{2}\right]$ ।

मैं रूपांतर-स्थिरीकरण परिवर्तन के रूप में परिवर्तन को पहचानता हूं। मुझे क्या भ्रम है:

एक पूर्व में परिवर्तन-स्थिरीकरण परिवर्तन का परिणाम एक समान क्यों होगा?
हम पहले भी एक समान क्यों चाहते हैं? (चूंकि ऐसा लगता है कि यह अनुचित होने के लिए अधिक संवेदनशील हो सकता है)

सामान्य तौर पर, मुझे बिल्कुल यकीन नहीं है कि स्क्वेरेड-साइन परिवर्तन क्यों दिया गया है और क्या भूमिका निभाता है। किसी को कोई विचार होगा?

bayesian prior jeffreys-prior

— user1398057
स्रोत

मैं यह पूछकर अपने आप को एक स्व-सिखाया चार्लटन के रूप में देख रहा हूं, लेकिन आप किस विचरण-स्थिरीकरण परिवर्तन का उल्लेख कर रहे हैं?

\frac{1}{\sqrt{\sin^{2} (θ) (1 - \sin^{2} (θ))}}

$\frac{1}{\sqrt{\sin^2(\theta) \left( 1 - \sin^2(\theta) \right)}}$

— छायाकार

परिवर्तन के बारे में सोचने के लिए चौकोर साइन पारंपरिक रूप से गलत तरीका है।

आर्क्साइन वर्गमूल या कोणीय परिवर्तन है।

θ = arcsin \sqrt[]{γ}

$\theta = \text{arcsin} \root \of \gamma$

— निक कॉक्स

जवाबों:

पूर्ववर्ती जेफरीज़ पुनर्मूल्यांकन के तहत अपरिवर्तनीय है। उस कारण से, कई बायेसियन इसे "गैर-सूचनात्मक पूर्व" मानते हैं। (हार्टिगन से पता चला है इस तरह के महंतों की एक पूरी जगह नहीं है के लिए जहां है जेफ्रेय्स 'से पहले और हार्टिगन के asymptotically स्थानीय स्तर पर अपरिवर्तनीय पहले है -। अपरिवर्तनीय पहले वितरण ) $J^\alpha H^\beta$ $\alpha + \beta=1$ $J$ $H$

यह अक्सर दोहराया जाने वाला झूठ है कि वर्दी पहले गैर-सूचनात्मक है, लेकिन आपके मापदंडों के एक मनमाने ढंग से परिवर्तन के बाद, और नए मापदंडों पर एक समान वर्दी का मतलब पूरी तरह से अलग है। यदि पैरामीरीज़ेशन का एक मनमाना परिवर्तन आपके पूर्व को प्रभावित करता है, तो आपका पूर्व स्पष्ट रूप से जानकारीपूर्ण है।

जेफरी का उपयोग परिभाषा के अनुसार , परिवर्तन-स्थिरीकरण परिवर्तन को लागू करने से पहले एक फ्लैट का उपयोग करने के बराबर है।
गणितीय दृष्टिकोण से, जेफ़रीज़ का उपयोग करने से पहले, और विचरण-स्थिरीकरण परिवर्तन लागू करने से पहले एक फ्लैट का उपयोग करने के बराबर हैं। एक मानव दृष्टिकोण से, उत्तरार्द्ध संभवतः अच्छा है क्योंकि पैरामीटर स्थान इस अर्थ में "सजातीय" हो जाता है कि अंतर हर दिशा में समान होते हैं चाहे आप पैरामीटर स्थान में हों।

अपने बर्नोली उदाहरण पर विचार करें। थोड़ा अजीब नहीं है कि एक परीक्षण पर 99% स्कोरिंग 90% की समान दूरी है, क्योंकि 59% 50% है? आपके परिवर्तन-स्थिरीकरण परिवर्तन के बाद पूर्व जोड़ी अधिक अलग हो जाती है, जैसा कि उन्हें होना चाहिए। यह अंतरिक्ष में वास्तविक दूरी के बारे में हमारे अंतर्ज्ञान से मेल खाता है। (गणितीय रूप से, परिवर्तन-स्थिरीकरण परिवर्तन पहचान मैट्रिक्स के बराबर लॉग-लॉस की वक्रता बना रहा है।)

— नील जी
स्रोत

1. मैं मानता हूं कि एक समान पूर्व का अर्थ "गैर-सूचनात्मक" पूर्व नहीं है, लेकिन एक और मूल्य पर एक निश्चित मूल्य का मूल्यांकन नहीं करने के बारे में मेरी टिप्पणी अभी भी (उस विशेष पैरामीटर के तहत) है। 2. एक पूर्व की उचितता बहुत विषय से संबंधित है । यदि आपके पास पहले से अनुचित है और आपके पास डेटा है, तो यह गारंटी नहीं है कि आपके पास एक उचित पोस्टीरियर होगा। तो यह बहुत विषय है।

— ग्रीनपार्क

1. लेकिन यह पूरी बात है: पैरामीरिजेशन मनमाना है, इसलिए यह कहना निरर्थक है कि आप दूसरे पर एक मूल्य का मूल्यांकन नहीं कर रहे हैं। 2. व्यवहार में, मैंने इसे कभी नहीं पाया। यह उन अन्य लोगों से संबंधित हो सकता है जिनका मुझे अनुमान है।

— नील जी

1. उचित बिंदु। 2. मुझे यकीन नहीं है कि आप किन समस्याओं से निपटते हैं, लेकिन इससे पहले कि जेफ्रीज़ के साथ सरल गॉसियन संभावना भी अनुचित रूप से खराब हो सकती है। मेरा जवाब यहां देखें ।

— ग्रीनपार्क

@Greenparker तुम सही हो। मैं स्पष्ट कर दूंगा कि यह मेरे उत्तर में मेरे लिए क्यों नहीं है।

— नील जी

मुझे नहीं लगता कि संपादन सही है। यदि पश्चगामी अनुचित है, तो एमसीएमसी सबसे निश्चित रूप से निरर्थक है क्योंकि आप एक अपरिभाषित वितरण से आकर्षित करने की कोशिश कर रहे हैं। वर्दी से नमूना करने की कोशिश कर की कल्पना

किसी भी नमूना योजना का उपयोग कर। हालाँकि, MCMC एल्गोरिथ्म अभी भी ergodic हो सकता है (जब आपके पास शून्य पुनरावृत्ति है), लेकिन आपके नमूने बेकार होंगे।

(0, \infty)

$(0,\infty)$

— ग्रीनपार्क

विकिपीडिया पेज कि तुम सच में शब्द "विचरण-स्थिर परिवर्तन" का उपयोग नहीं करता प्रदान की है। शब्द "विचरण-स्थिरीकरण परिवर्तन" का उपयोग आम तौर पर उन परिवर्तनों को इंगित करने के लिए किया जाता है जो यादृच्छिक चर के विचरण को स्थिर बनाते हैं। हालांकि बर्नौली मामले में, यह वही है जो परिवर्तन के साथ हो रहा है, यह वास्तव में लक्ष्य नहीं है। लक्ष्य एक समान वितरण प्राप्त करना है, न कि केवल एक विचरण को स्थिर करना।

याद रखें कि जेफ्री का उपयोग करने से पहले का एक मुख्य उद्देश्य यह है कि यह परिवर्तन के तहत अपरिवर्तनीय है। इसका मतलब है कि यदि आप चर को पुन: पैरामीटर करते हैं, तो पूर्व परिवर्तन नहीं होगा।

1।

जेफ्रेय्स पहले इस Bernoulli मामले में, जैसा कि आप ने कहा, एक बीटा है । $(1/2, 1/2)$

p_{γ} (γ) \propto \frac{1}{\sqrt{γ (1 - γ)}} .

$p_{\gamma}(\gamma) \propto \dfrac{1}{\sqrt{\gamma(1-\gamma)}}.$

साथ Reparametrizing , हम का वितरण पा सकते हैं । पहला यह है कि देखने की सुविधा देता $\gamma = \sin^2(\theta)$ $\theta$ $\theta = \arcsin(\sqrt{\gamma})$ $0 < \gamma < 1$ $0 < \theta < \pi/2$ $\sin^2(x) + \cos^2(x) = 1$

\begin{aligned} F_{θ} (x) & = P (θ < x) \\ = P (\sin^{2} (θ) < \sin^{2} (x)) \\ = P (γ < \sin^{2} (x)) \\ = F_{γ} (\sin^{2} (x)) \\ f_{θ} (x) & = \frac{d F_{γ} (\sin^{2} (x)}{d x} \\ = 2 \sin (x) \cos (x) p_{γ} (\sin^{2} (x)) \\ \propto \sin (x) \cos (x) \frac{1}{\sqrt{\sin^{2} (x) (1 - \sin^{2} (x))}} \\ = 1. \end{aligned}

$\begin{align*} F_{\theta}(x) & = P(\theta < x)\\ & = P(\sin^2(\theta) < \sin^2(x))\\ & = P(\gamma < \sin^2(x))\\ & = F_{\gamma}(\sin^2(x))\\ f_{\theta}(x) & = \dfrac{d F_{\gamma}(\sin^2(x)}{d x}\\ & = 2\sin(x)\cos(x)\,p_{\gamma}(\sin^2(x))\\ & \propto \sin(x)\cos(x) \dfrac{1}{\sqrt{\sin^2(x)(1 - \sin^2(x))}}\\ & =1. \end{align*}$

Thus $\theta$ is the uniform distribution on $(0, \pi/2)$ . This is why the $\sin^2(\theta)$ transformation is used, so that the re-parametrization leads to a uniform distribution. The uniform distribution is now the Jeffreys prior on $\theta$ (since Jeffreys prior is invariant under transformation). This answers your first question.

Often in Bayesian analysis one wants a uniform prior when there is not enough information or prior knowledge about the distribution of the parameter. Such a prior is also called a "diffuse prior" or "default prior". The idea is to not commit to any value in the parameter space more than other values. In such a case the posterior is then completely dependent on the data likelihood. Since,

q (θ | x) \propto f (x | θ) f (θ) \propto f (x | θ) .

$q(\theta|x) \propto f(x|\theta) f(\theta) \propto f(x|\theta).$

If the transformation is such that the transformed space is bounded, (like $(0, \pi/2)$ in this example), then the uniform distribution will be proper. If the transformed space is unbounded, then the uniform prior will be improper, but often the resulting posterior will be proper. Although, one should always verify that this is the case.

— Greenparker
स्रोत

This idea that you are "not committing to any value" by using a diffuse prior is wrong. The proof is that you can take any transformation of the space and the diffuse prior will mean something completely different.

— Neil G

My comment on "not committing to any value" refers only to that particular parameterization. Of course, transformations will change how the mass is distributed (just like in this Bernoulli example).

— Greenparker

Like I said below your other comment, the parametrization is arbitrary, which is why the statement "not committing to any value" is meaningless.

— Neil G