बायेसियन लॉगिट मॉडल - सहज ज्ञान युक्त स्पष्टीकरण?

मुझे यह स्वीकार करना चाहिए कि मैंने पहले अपने किसी भी वर्ग, स्नातक या स्नातक में उस शब्द के बारे में नहीं सुना है।

बायिसियन होने के लिए लॉजिस्टिक रिग्रेशन का क्या मतलब है? मैं बायिसियन लॉजिस्टिक से नियमित रूप से निम्नलिखित के समान संक्रमण के साथ एक स्पष्टीकरण की तलाश कर रहा हूं:

यह रेखीय प्रतिगमन मॉडल में समीकरण है: $E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$ ।

यह लॉजिस्टिक रिग्रेशन मॉडल में समीकरण है: $\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$ । यह तब होता है जब y स्पष्ट है।

हमने जो किया है उसे बदलकर $E(y)$ से $\ln(\frac{E(y)}{1-E(y)})$ ।

तो बायेसियन लॉजिस्टिक रिग्रेशन में लॉजिस्टिक रिग्रेशन मॉडल का क्या किया जाता है? मुझे लगता है कि यह समीकरण के साथ कुछ करने के लिए नहीं है।

यह पुस्तक पूर्वावलोकन परिभाषित करने के लिए लगता है, लेकिन मुझे वास्तव में समझ में नहीं आता है। यह सब पूर्व, संभावना सामान क्या है? क्या है $\alpha$ ? हो सकता है कि कोई व्यक्ति पुस्तक के उस भाग या बेयसियन लॉगिट मॉडल को किसी अन्य तरीके से समझाए?

नोट: यह पहले पूछा गया है, लेकिन बहुत अच्छा जवाब नहीं दिया गया है।

— BCLC
स्रोत

मैं इसे एक उत्तर में नहीं रखना चाहता क्योंकि मुझे लगता है कि @Tim ने इसे कवर किया है। केवल इतना ही नहीं है कि अन्यथा महान जवाब गायब है, बायेसियन लॉजिस्टिक रिग्रेशन और बायेसियन सामान्यीकृत रैखिक मॉडल (जीएलएम) में और अधिक आम तौर पर, पूर्व वितरण केवल गुणांक पर नहीं रखे जाते हैं, लेकिन उन गुणांकों के वेरिएंस और कोवरियन पर। यह उल्लेख करना अविश्वसनीय रूप से महत्वपूर्ण है क्योंकि जीएलएम के लिए बायेसियन दृष्टिकोण के प्रमुख लाभों में से एक निर्दिष्ट करने की अधिक से अधिक प्रभावशीलता है और कई मामलों में भी गुणांक के सहसंयोजक के लिए जटिल मॉडल फिटिंग है।

— ब्राश इक्विलिब्रियम

@BrashEquilibrium: आप एक लॉजिट मॉडल के लिए मानक बायेसियन मॉडलिंग के संभावित पदानुक्रमित विस्तार का उल्लेख कर रहे हैं। में हमारे पुस्तक एक जी से पहले, हम उदाहरण के लिए का उपयोग

की, पहले जो तय सहप्रसरण मैट्रिक्स covariates से ली गई है

।

β

$\beta$

X

$X$

— शीआन

जी से पहले पर्याप्त उचित।

— ब्राश इक्विलिब्रियम

उस ने कहा, अभी भी सहसंयोजकों पर एक पूर्व है !!!!!! यदि आप इस पर चर्चा नहीं करते हैं, तो आप यह नहीं बता रहे हैं कि लॉजिस्टिक प्रतिगमन पूरी तरह से कैसे काम करता है।

— ब्राश इक्विलिब्रियम

जवाबों:

लॉजिस्टिक रिग्रेशन को एक रेखीय संयोजन के रूप में वर्णित किया जा सकता है

η = β_{0} + β_{1} X_{1} + . . . + β_{k} X_{k}

$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$

यह लिंक फंक्शन से होकर गुजरा है : $g$

g (E (Y)) = η

$g(E(Y)) = \eta$

जहां लिंक फ़ंक्शन एक लॉगिट फ़ंक्शन है

E (Y | X, β) = p = {logit}^{- 1} (η)

$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$

$Y$ $\{0,1\}$ $\eta$

$E(Y) = P(Y = 1)$ $\{0,1\}$ $E(Y | X,\beta)$ $P(Y = 1 | X,\beta)$ $P(Y=1|X,\beta)$ $p$ $Y$

y_{i} \sim Bernoulli (p)

$y_i \sim \text{Bernoulli}(p)$

$\beta$ $X$ $\eta$ $E(Y|X,\beta) = \eta$ $Y$ $\{0,1\}$ $\eta$ $[0,1]$

$\beta_i$ $\eta$ $p$ $Y$

$t$ $\beta_i$ $\mu_i$ $\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

जैसा कि आप देख सकते हैं, कोड सीधे मॉडल परिभाषा में अनुवाद करता है। क्या सॉफ्टवेयर करता है यह सामान्य महंतों से कुछ मान ड्रॉ के लिए है aऔर b, तो यह उन मूल्यों का उपयोग करता अनुमान लगाने के लिए pऔर अंत में, संभावना फ़ंक्शन का उपयोग करता आकलन करने के लिए कैसे की संभावना अपने डेटा उन पैरामीटर दिया जाता है (इस जब आप Bayes सिद्धांत का उपयोग करके, देखना है यहाँ के लिए अधिक विस्तृत विवरण)।

$\beta_i$ $\boldsymbol{\Sigma}$

(\begin{matrix} β_{0} \\ β_{1} \\ ⋮ \\ β_{k} \end{matrix}) \sim M V N ([\begin{matrix} μ_{0} \\ μ_{1} \\ ⋮ \\ μ_{k} \end{matrix}], [\begin{matrix} σ_{0}^{2} & σ_{0, 1} & \dots & σ_{0, k} \\ σ_{1, 0} & σ_{1}^{2} & \dots & σ_{1, k} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ σ_{k, 0} & σ_{k, 1} & \dots & σ_{k}^{2} \end{matrix}])

$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$

... लेकिन यह विवरण में जा रहा है, तो चलो यहीं रुक जाते हैं।

यहाँ "बेयसियन" भाग बेयर्स प्रमेय का उपयोग करते हुए और संभाव्य शब्दों में परिभाषित मॉडल का उपयोग करते हुए, पुजारियों को चुन रहा है। "बायेसियन मॉडल" की परिभाषा के लिए यहां देखें और बेयसियन दृष्टिकोण पर कुछ सामान्य अंतर्ज्ञान के लिए यहां देखें । आप यह भी देख सकते हैं कि परिभाषित करने वाला मॉडल इस दृष्टिकोण के साथ बहुत सीधा और लचीला है।

क्रुस्के, जेके, एगुइनिस, एच।, और जू, एच (2012)। समय आ गया है: संगठनात्मक विज्ञान में डेटा विश्लेषण के लिए बायेसियन तरीके। संगठनात्मक अनुसंधान के तरीके, 15 (4), 722-752।

जेलमैन, ए।, जक्यूलिन, ए।, पिटौ, जीएम, और सु, वाई.-एस। (2008)। लॉजिस्टिक और अन्य प्रतिगमन मॉडल के लिए एक कमजोर सूचनात्मक डिफ़ॉल्ट पूर्व वितरण। द एनल्स ऑफ एप्लाइड स्टैटिस्टिक्स, 2 (4), 1360–1383।

— टिम
स्रोत

आपको केवल गुणांकों के लिए नहीं, बल्कि भिन्नताओं के लिए प्रमाण चाहिए।

— ब्राश इक्विलिब्रियम

@BCLC नहीं, लॉजिस्टिक रिग्रेशन के लिए logit का उपयोग लिंक फंक्शन रूप में किया जाता है , जबकि एक रैखिक संयोजन , उदाहरण के लिए रेखीय प्रतिगमन पहचान फ़ंक्शन है इसलिए , यह GLM का सिर्फ एक मानक विनिर्देश है ।

g

$g$

η

$\eta$

η = β_{0} + β_{1} X_{1}

$\eta = \beta_0 + \beta_1 X_1$

g

$g$

E (Y) = η

$E(Y) = \eta$

— टिम

@ बीसीएलसी मेरे उत्तर में लिंक की जांच करते हैं, वे सामान्य रूप से बायेसियन आंकड़ों के लिए एक परिचय प्रदान करते हैं। यह एक अधिक व्यापक विषय है जिसका उल्लेख आपके प्रारंभिक प्रश्न में किया गया है लेकिन आप मेरे उत्तर में दिए गए संदर्भों में एक अच्छा परिचय पा सकते हैं।

— टिम

@ वहाँ मैंने एक टाइपो बनाया। सबूत पुजारियों को पढ़ने के लिए माना जाता है। मूल रूप से, गुणांक केवल अज्ञात पैरामीटर नहीं हैं। बहुराष्ट्रीय वितरण में एक विचरण सहसंयोजक मैट्रिक्स होता है और आमतौर पर हम यह नहीं मानते हैं कि यह ज्ञात है।

— ब्राश इक्विलिब्रियम

"बायेसियन" भाग में यहां के लोग पसंद कर रहे हैं, बेयस प्रमेय का उपयोग कर रहे हैं और संभाव्य शब्दों में मॉडल को परिभाषित कर रहे हैं। यहां एक अच्छा संदर्भ गेलमैन एट अल है। रसद और अन्य प्रतिगमन मॉडल के लिए एक कमजोर जानकारीपूर्ण डिफ़ॉल्ट से पहले वितरण stat.columbia.edu/~gelman/research/published/priors11.pdf

— डाल्टन Hance

यह सब पूर्व, संभावना सामान क्या है?

यही इसे बायेसियन बनाता है। डेटा के लिए सामान्य मॉडल समान है; अंतर यह है कि एक बायेसियन विश्लेषण ब्याज के मापदंडों के लिए कुछ पूर्व वितरण का चयन करता है, और एक पीछे के वितरण की गणना या अनुमान लगाता है , जिस पर सभी अनुमान आधारित हैं। बेय्स नियम दो से संबंधित है: पीछे की संभावना पूर्व के समय की संभावना के अनुपात में है।

सहज रूप से, यह पूर्व में एक विश्लेषक को गणितीय रूप से विषय वस्तु विशेषज्ञता या पूर्ववर्ती निष्कर्षों को व्यक्त करने की अनुमति देता है। उदाहरण के लिए, आप जिस पाठ का संदर्भ देते हैं, वह लिए सामान्य से पहले बहुभिन्नरूपी है। शायद पूर्व अध्ययन कुछ निश्चित मापदंडों का सुझाव देते हैं जिन्हें कुछ सामान्य मापदंडों के साथ व्यक्त किया जा सकता है। (लचीलेपन के साथ जिम्मेदारी आती है: किसी को संदेहपूर्ण दर्शकों से पहले अपने को सही ठहराने में सक्षम होना चाहिए।) अधिक विस्तृत मॉडल में, व्यक्ति कुछ अव्यक्त मापदंडों को ट्यून करने के लिए डोमेन विशेषज्ञता का उपयोग कर सकता है। उदाहरण के लिए, इस उत्तर में संदर्भित जिगर उदाहरण देखें । $\bf\beta$

कुछ लगातार मॉडल एक विशिष्ट पूर्व के साथ बायेसियन समकक्ष से संबंधित हो सकते हैं, हालांकि मैं अनिश्चित हूं जो इस मामले में मेल खाती है।

— शॉन ईस्टर
स्रोत

सीनएस्टर, 'पूर्व' ग्रहण किए गए वितरण के लिए प्रयुक्त शब्द है? उदाहरण के लिए, हम मान लेते हैं कि X या 'का (यदि आपका मतलब रूप में , तो क्या आपका मतलब इसके बजाय , , ..., ? लगता है कि के वितरण हैं ...?) सामान्य हैं लेकिन फिर हम उन्हें दूसरे वितरण में फिट करने की कोशिश करते हैं? Do सन्निकट ’से वास्तव में आपका क्या अभिप्राय है? मुझे लगता है कि यह 'फिट' के समान नहीं है

β

$\beta$

β

$\beta$

β_{1}, β_{2}, . . ., β_{n}

$\beta_1, \beta_2, ..., \beta_n$

X_{1}

$X_1$

X_{2}

$X_2$

X_{n}

$X_n$

β

$\beta$

— BCLC

@ एलएलसी उन लोगों को जवाब देने के लिए, मैं बायेसियन इंट्रेंस की नंगे प्रक्रिया के साथ शुरू करूंगा और शर्तों को परिभाषित करूंगा जैसे कि मैं जाता हूं: बायसीज ब्याज के सभी मापदंडों को यादृच्छिक चर मानते हैं और डेटा के प्रकाश में इन मापदंडों के बारे में उनकी मान्यताओं को अपडेट करते हैं। पूर्व वितरण डेटा का विश्लेषण करने से पहले पैरामीटर के बारे में उनके विश्वास व्यक्त करता है; * पश्च वितरण * - बायेज नियम, पूर्व और संभावना के सामान्यीकृत उत्पाद - पूर्व और डेटा के प्रकाश में मापदंडों के बारे में अनिश्चित विश्वास को सारांशित करता है। पीछे की गणना करना वह जगह है जहां फिटिंग होती है।

— शॉन ईस्टर

@ एलएलसी इस प्रकार मापदंडों का वितरण क्यों है । अन्य में - आम तौर पर सरल-बायेसियन मॉडल, पीछे के वितरण में एक बंद रूप अभिव्यक्ति हो सकती है। ( पर पहले बीटा के साथ एक बर्नौली यादृच्छिक चर में , उदाहरण के लिए, का पिछला भाग एक बीटा वितरण है।) लेकिन जब पोस्टेरियरों को विश्लेषणात्मक रूप से व्यक्त नहीं किया जा सकता है, तो हम उन्हें अनुमानित करते हैं, आमतौर पर एमसीएमसी विधियों का उपयोग करते हुए।

β

$\beta$

p

$p$

p

$p$

— शॉन ईस्टर

ठीक है, मुझे लगता है कि मैं सिद्धांतों के सिद्धांत में एक समस्या को हल करने की दिशा में एक निबंध पढ़ने के बाद आपको बेहतर समझ रहा हूं । धन्यवाद SeanEster

— BCLC

हां। कई मामलों में, यह विश्लेषणात्मक रूप से गणना करना असंभव होगा।

P (B)

$P(B)$

— शॉन ईस्टर