पदानुक्रमित लॉजिस्टिक प्रतिगमन के लिए बर्नौली पैरामीटर पर बीटा वितरण का उपयोग क्यों करें?

मैं वर्तमान में क्रुश्के की उत्कृष्ट "डूइंग बायेसियन डेटा एनालिसिस" पुस्तक पढ़ रहा हूं। हालांकि, पदानुक्रमित लॉजिस्टिक रिग्रेशन (अध्याय 20) पर अध्याय कुछ भ्रामक है।

चित्र 20.2 एक पदानुक्रमित लॉजिस्टिक रिग्रेशन का वर्णन करता है जहां बर्नौली पैरामीटर को सिग्मॉइड फ़ंक्शन के माध्यम से रूपांतरित किए गए गुणांक पर रैखिक फ़ंक्शन के रूप में परिभाषित किया गया है। ऐसा लगता है कि पदानुक्रमित लॉजिस्टिक प्रतिगमन को उन अधिकांश उदाहरणों में प्रस्तुत किया गया है जिन्हें मैंने अन्य स्रोतों में भी ऑनलाइन देखा है। उदाहरण के लिए - http://polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

हालाँकि, जब भविष्यवक्ता नाममात्र के होते हैं, तो वह पदानुक्रम में एक परत जोड़ता है - बर्नौली पैरामीटर अब म्यू और कप्पा द्वारा निर्धारित मापदंडों के साथ एक बीटा वितरण (चित्र 20.5) से तैयार किया गया है, जहां म्यू गुणांक के रैखिक कार्य का परिवर्तन है। , और कप्पा एक गामा से पहले का उपयोग करता है।

यह अध्याय 9 से सिक्का-फ़्लिपिंग उदाहरण के लिए उचित और अनुरूप लगता है, लेकिन मुझे नहीं लगता कि नाममात्र भविष्यवाणियों का बीटा वितरण को जोड़ने के साथ क्या करना है। मीट्रिक भविष्यवक्ताओं के मामले में कोई ऐसा क्यों नहीं करेगा और नाममात्र भविष्यवक्ताओं के लिए बीटा वितरण क्यों जोड़ा गया?

संपादित करें: जिन मॉडलों का मैं उल्लेख कर रहा हूं, उन पर स्पष्टीकरण। सबसे पहले, मीट्रिक भविष्यवाणियों के साथ एक लॉजिस्टिक रिग्रेशन मॉडल (कोई बीटा पूर्व नहीं)। यह पदानुक्रमित लॉजिस्टिक प्रतिगमन के अन्य उदाहरणों के समान है, जैसे ऊपर दिए गए बग उदाहरण:

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

फिर नाममात्र भविष्यवक्ताओं के साथ उदाहरण। यहां पर मैं पदानुक्रम के "निचले" स्तर की भूमिका को काफी नहीं समझता हूं (द्विपद से पहले एक बीटा में लॉजिस्टिक परिणाम शामिल करना) और यह मीट्रिक उदाहरण से अलग क्यों होना चाहिए।

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— user4733
स्रोत

जवाबों:

आपके द्वारा तुलना किए गए दो मॉडल में कई बाहरी विशेषताएं हैं, और मुझे लगता है कि आप निम्नलिखित दो सरल मॉडल के संदर्भ में अपने प्रश्न को अधिक स्पष्ट रूप से आराम कर सकते हैं:

मॉडल 1:

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

मॉडल 2:

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

आपके प्रश्न हैं: (1) बीटा वितरण द्वारा क्या भूमिका निभाई जाती है; और संबंधित, (2) कैसे (यदि सब पर) मॉडल 2 मॉडल 1 से अलग है?

सतह पर इन सुंदर विभिन्न मॉडलों दिखाई देते हैं, लेकिन वास्तव में, के सीमांत वितरण दोनों मॉडल में समान हैं। मॉडल 1 में का पिछला वितरण जबकि मॉडल 2 में का सीमांत वितरण है: $\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

इस प्रकार मॉडल 2 का उपयोग करने से प्राप्त कोई भी लाभ कम्प्यूटेशनल है। पदानुक्रमित मॉडल को ओवररिमेट करना, जैसे कि मॉडल 2 में के अलावा , कभी-कभी नमूनाकरण प्रक्रिया की दक्षता में सुधार कर सकते हैं; उदाहरण के लिए, मापदंडों के समूहों के बीच सशर्त रूप से संयुग्मित संबंधों को पेश करके (जैक टान्नर का उत्तर देखें), या ब्याज के मापदंडों के बीच संबंध को तोड़कर (Google "पैरामीटर विस्तार")। $\theta_i$

— jmtroos
स्रोत

एक बीटा वितरण से बर्नौली पैरामीटर को खींचने का कारण यह है कि बीटा द्विपद का संयुग्म है। एक संयुग्मित पूर्व वितरण का उपयोग करने से पोस्टीरियर खोजने के लिए एक बंद-रूप समाधान सक्षम होता है।

संपादित करें: स्पष्ट करना। या तो मॉडल काम करेगा। MCMC के साथ भी, यह संयुग्म पुजारियों के लिए उपयोगी है क्योंकि यह विभिन्न प्रकार के वितरणों के लिए विशेष नमूनों के उपयोग की अनुमति देता है जो सामान्य नमूनों की तुलना में अधिक कुशल हैं। उदाहरण के लिए, JAGS उपयोगकर्ता पुस्तिका सेकंड देखें। 4.1.1 और सेकंड 4.2।

— जैक टान्नर
स्रोत

मेरे प्रश्न में पुस्तक से पर्याप्त संदर्भ नहीं हो सकता है, लेकिन ये विश्लेषण गिब्स नमूना के साथ किया जाता है, इसलिए पीछे के एक बंद रूप का प्रतिनिधित्व आवश्यक नहीं है। मेरे द्वारा जुड़े उदाहरण में, बर्नौली पैरामीटर को बीटा वितरण के रूप में तय नहीं किया गया है, लेकिन रैखिक भविष्यवाणियों के एक सिग्मोइड परिवर्तन से उत्पन्न होता है, जो सामान्य रूप से गुणांक वितरित करते हैं। यह भी है कि कैसे क्रुस्के ने अध्याय में एक पहले का उदाहरण (मीट्रिक भविष्यवक्ताओं के साथ) प्रस्तुत किया है (बर्नौली पैरामीटर सामान्य रूप से वितरित गुणांक के साथ रैखिक फ़ंक्शन का

— सिग्मॉइड ट्रांसफॉर्मेशन है

@ user4733 जैक टान्नर बेर्नौली नमूनों से पहले बीटा के संयुग्म होने के बारे में सही है। यह एक संयोग से अधिक की तरह लगता है कि इसे चुना गया था। हाँ, आप गिब्स नमूना देने के लिए हो सकता है, लेकिन बाद के वितरण को प्राप्त करने के लिए लेकिन एक पदानुक्रमित मॉडल में एक से अधिक पूर्व शामिल है और यह हो सकता है कि आप एक हाइपरपरमीटर (पूर्व वितरण के एक परिवार के लिए एक पैरामीटर) पर एक पूर्व डाल रहे हैं। यदि आप चाहें तो पहले से पहले। उस संदर्भ में पहले एक संयुग्म का उपयोग करना सुविधाजनक हो सकता है। आपकी पुस्तक का कुछ वर्णन हमारे लिए भ्रमित करने वाला है।

— माइकल आर। चेरिक

आप कुछ अंश ले रहे हैं जो समझने की हमारी क्षमता में अंतराल पैदा करते हैं कि क्या हो रहा है। आपको मॉडल और

— पादरियों

मेरे द्वारा बताए गए पदानुक्रमित मॉडल में कुछ विवरण जोड़े गए हैं। उम्मीद है कि यह मदद करता है।

— user4733