बेयस रिग्रेशन: यह मानक रिग्रेशन की तुलना में कैसे किया जाता है?

मुझे बायेसियन रिग्रेशन के बारे में कुछ सवाल मिले:

रूप में एक मानक प्रतिगमन को देखते हुए । अगर मैं इसे एक बायेसियन रिग्रेशन में बदलना चाहता हूं, तो क्या मुझे और दोनों के लिए पूर्व वितरण की आवश्यकता है (या यह इस तरह से काम नहीं करता है)? $y = \beta_0 + \beta_1 x + \varepsilon$ $\beta_0$ $\beta_1$
मानक प्रतिगमन में कोई व्यक्ति अवशिष्ट को कम करने के लिए और लिए एकल मान प्राप्त करने का प्रयास करेगा । यह बेयस रिग्रेशन में कैसे किया जाता है? $\beta_0$ $\beta_1$

मैं वास्तव में यहाँ बहुत संघर्ष करता हूँ:

posterior = prior \times likelihood

$\text{posterior} = \text{prior} \times \text{likelihood}$

संभावना वर्तमान डेटासेट से आती है (इसलिए यह मेरा प्रतिगमन पैरामीटर है लेकिन एक एकल मान के रूप में नहीं है, लेकिन संभावना वितरण के रूप में, सही है?)। पहले एक पिछले शोध से आता है (चलो कहते हैं)। इसलिए मुझे यह समीकरण मिला:

y = β_{1} x + ε

$y = \beta_1 x + \varepsilon$

with मेरी संभावना या पीछे होना (या यह पूरी तरह से गलत है)? $\beta_1$

मैं बस यह नहीं समझ सकता कि कैसे मानक प्रतिगमन एक बायस में बदल जाता है।

regression bayesian

— TinglTanglBob
स्रोत

जवाबों:

सरल रैखिक प्रतिगमन मॉडल

y_{i} = α + β x_{i} + ε

$y_i = \alpha + \beta x_i + \varepsilon$

इसके पीछे संभावित मॉडल के संदर्भ में लिखा जा सकता है

μ_{i} = α + β x_{i} y_{i} \sim N (μ_{i}, σ)

$\mu_i = \alpha + \beta x_i \\ y_i \sim \mathcal{N}(\mu_i, \sigma)$

यानी आश्रित चर सामान्य वितरण निम्न प्रकार से अर्थ है , जो कि , और मानक विचलन द्वारा का एक रैखिक कार्य है । यदि आप ऐसे मॉडल का अनुमान लगाते हैं, जो साधारण से कम वर्ग का उपयोग करते हैं , तो आपको संभाव्य सूत्रीकरण के बारे में परेशान होने की आवश्यकता नहीं है, क्योंकि आप पूर्वानुमानित मानों के लिए फिट किए गए मानों की चुकता त्रुटियों को कम करके मापदंडों के इष्टतम मूल्यों की खोज कर रहे हैं । दूसरी ओर, आप इस तरह के मॉडल का अधिकतम संभावना अनुमान का उपयोग कर अनुमान लगा सकते हैं , जहां आप संभावना फ़ंक्शन को अधिकतम करके मापदंडों के इष्टतम मूल्यों की तलाश करेंगे। $Y$ $\mu_i$ $X$ $\alpha,\beta$ $\sigma$ $\alpha,\beta$

\underset{α, β, σ}{a r g m a x} \prod_{i = 1}^{n} N (y_{i}; α + β x_{i}, σ)

$\DeclareMathOperator*{\argmax}{arg\,max} \argmax_{\alpha,\,\beta,\,\sigma} \prod_{i=1}^n \mathcal{N}(y_i; \alpha + \beta x_i, \sigma)$

जहां बिंदुओं पर मूल्यांकन किए गए सामान्य वितरण का घनत्व फ़ंक्शन है , इसका मतलब है कि और मानक विचलन द्वारा पैरामीट्रिज्ड । $\mathcal{N}$ $y_i$ $\alpha + \beta x_i$ $\sigma$

अकेले संभावना समारोह को अधिकतम करने के बजाय बायेसियन दृष्टिकोण में, हम मापदंडों के लिए पूर्व वितरण को मानेंगे और बेयस प्रमेय का उपयोग करेंगे।

posterior \propto likelihood \times prior

$\text{posterior} \propto \text{likelihood} \times \text{prior}$

संभावना फ़ंक्शन उपरोक्त के समान है, लेकिन क्या परिवर्तन है कि आप अनुमानित पैरामीटर लिए कुछ पूर्व वितरण मान लेते हैं और उन्हें समीकरण में शामिल करते हैं $\alpha,\beta,\sigma$

\underset{posterior}{\underset{⏟}{f (α, β, σ ∣ Y, X)}} \propto \underset{likelihood}{\underset{⏟}{\prod_{i = 1}^{n} N (y_{i} ∣ α + β x_{i}, σ)}} \underset{priors}{\underset{⏟}{f_{α} (α) f_{β} (β) f_{σ} (σ)}}

$\underbrace{f(\alpha,\beta,\sigma\mid Y,X)}_{\text{posterior}} \propto \underbrace{\prod_{i=1}^n \mathcal{N}(y_i\mid \alpha + \beta x_i, \sigma)}_{\text{likelihood}} \; \underbrace{f_{\alpha}(\alpha) \, f_{\beta}(\beta) \, f_{\sigma}(\sigma)}_{\text{priors}}$

"क्या वितरण?" एक अलग सवाल है, क्योंकि असीमित संख्या में विकल्प हैं। के लिए मापदंडों आप कर सकते थे, उदाहरण के लिए कुछ लोगों द्वारा parametrized सामान्य वितरण मान hyperparameters , या -distribution अगर आप भारी पूंछ, या समान वितरण को संभालने के लिए अगर आप ज्यादा मान्यताओं बनाने के लिए नहीं करना चाहते हैं, लेकिन आप यह मान करना चाहते हैं पैरामीटर एक प्राथमिकता "दी गई श्रेणी में कुछ भी" हो सकते हैं , आदि आपको कुछ पूर्व वितरण को मानने की आवश्यकता है जो कि तब अधिक शून्य होने के लिए बाध्य है, क्योंकि मानक विचलन को सकारात्मक होना चाहिए। यह जॉन के। क्रूसके द्वारा नीचे दिए गए मॉडल तैयार करने के लिए नेतृत्व कर सकता है। $\alpha,\beta$ $t$ $\sigma$

(स्रोत: http://www.indiana.edu/~kruschke/BMLR/ )

अधिकतम संभावना में जबकि आप प्रत्येक पैरामीटर के लिए एक ही इष्टतम मूल्य की तलाश कर रहे थे, बेयस प्रमेय को लागू करके बायस प्रमेय में आप मापदंडों के पीछे वितरण को प्राप्त करते हैं । अंतिम अनुमान उस जानकारी पर निर्भर करेगा जो आपके डेटा और आपके पादरियों से आती है , लेकिन जितनी अधिक जानकारी आपके डेटा में निहित है, उतना ही प्रभावशाली पुजारी हैं ।

ध्यान दें कि जब समान का उपयोग किया जाता है, तो वे सामान्यीकरण स्थिरांक को छोड़ने के बाद फॉर्म । इससे बेयस प्रमेय अकेले संभावना कार्य के लिए आनुपातिक हो जाता है, इसलिए पश्च वितरण अधिक से अधिक संभावना अनुमान के समान बिंदु पर अधिकतम तक पहुंच जाएगा। इसके बाद, समान पुजारियों के तहत अनुमान सामान्य कम से कम वर्गों का उपयोग करके ही होगा क्योंकि चुकता त्रुटियों को कम करने से सामान्य संभावना को अधिकतम करने के लिए मेल खाती है । $f(\theta) \propto 1$

कुछ मामलों में बेयसियन दृष्टिकोण में एक मॉडल का अनुमान लगाने के लिए आप संयुग्मक पुजारियों का उपयोग कर सकते हैं , इसलिए पश्च वितरण सीधे उपलब्ध है ( उदाहरण यहां देखें )। हालाँकि अधिकांश मामलों में पश्च वितरण सीधे उपलब्ध नहीं होगा और आपको मॉडल का अनुमान लगाने के लिए मार्कोव चेन मोंटे कार्लो विधियों का उपयोग करना होगा ( रैखिक प्रतिगमन के मापदंडों का अनुमान लगाने के लिए मेट्रोपोलिस-हेस्टिंग्स एल्गोरिथम का उपयोग करने के इस उदाहरण की जांच करें )। अंत में, यदि आप केवल मापदंडों के बिंदु अनुमानों में रुचि रखते हैं, तो आप अधिकतम पश्च-अनुमान का उपयोग कर सकते हैं , अर्थात

\underset{α, β, σ}{a r g m a x} f (α, β, σ ∣ Y, X)

$\argmax_{\alpha,\,\beta,\,\sigma} f(\alpha,\beta,\sigma\mid Y,X)$

लॉजिस्टिक रिग्रेशन के अधिक विस्तृत विवरण के लिए आप बायेसियन लॉगिट मॉडल - सहज व्याख्या की जांच कर सकते हैं ? धागा।

अधिक सीखने के लिए आप निम्नलिखित पुस्तकों की जाँच कर सकते हैं:

क्रुस्के, जे (2014)। डूइंग बायेसियन डेटा एनालिसिस: ए ट्यूटोरियल विथ आर, जेएजीएस और स्टेन। अकादमिक प्रेस।

जेलमैन, ए।, कारलिन, जेबी, स्टर्न, एचएस, और रुबिन, डीबी (2004)। बायेसियन डेटा विश्लेषण। चैपमैन एंड हॉल / सीआरसी।

— टिम
स्रोत

+1 जिस तरह से प्रश्न कहा गया है, उसे देखते हुए, मैं शायद इस दार्शनिक अंतर पर थोड़ा और अधिक जोर : साधारण कम से कम वर्गों और अधिकतम संभावना अनुमान में, हम इस प्रश्न के साथ शुरू कर रहे हैं " लिए सबसे अच्छे मूल्य क्या हैं (शायद बाद के लिए) उपयोग)?" $\beta_i$ , जबकि पूर्ण बायेसियन दृष्टिकोण में, हम प्रश्न के साथ शुरू करते हैं "हम अज्ञात मूल्यों बारे में क्या कह सकते हैं ?" $\beta_i$ और फिर एक बिंदु अनुमान की आवश्यकता होने पर अधिकतम पोस्टीरियर या पश्च मीन का उपयोग करने के लिए आगे बढ़ें।

— JiK

+1। एक और बात जो बायेसियन और ओएलएस दृष्टिकोण के बीच संबंध को स्पष्ट करने के लिए उपयोगी हो सकती है, वह यह है कि ओएलएस को एक फ्लैट पूर्व (कम से कम जहां तक मैं समझता हूं) के तहत पीछे के मतलब के रूप में समझा जा सकता है। बहुत अच्छा होगा यदि आप अपने उत्तर में उस पर थोड़ा विस्तार कर सकें।

— अमीबा का कहना है कि

@amoeba यह एक अच्छा बिंदु है, मैं इसके बारे में सोचूंगा। लेकिन दूसरी ओर, मैं उत्तर को अधिक लंबा नहीं करना चाहता, इसलिए विवरण में जाने की बात है।

— टिम

@amoeba FYI करें, मैंने उस पर एक संक्षिप्त टिप्पणी जोड़ी।

— टिम

डेटा सेट जहाँ , एक बायेसियन लाइनिंग रिग्रेशन मॉडल में समस्या निम्नलिखित तरीके से: $D = (x_1,y_1), \ldots, (x_N,y_N)$ $x \in \mathbb{R}^d, y \in \mathbb{R}$

पहले:

w \sim N (0, σ_{w}^{2} I_{d})

$w \sim \mathcal{N}(0, \sigma_w^2 I_d)$

$w$ वेक्टर है , इसलिए पिछला वितरण एक बहुभिन्नरूपी गौसियन है; और है पहचान मैट्रिक्स। $(w_1, \ldots, w_d)^T$ $I_d$ $d\times d$

संभावना:

Y_{i} \sim N (w^{T} x_{i}, σ^{2})

$Y_i \sim \mathcal{N}(w^T x_i, \sigma^2)$

हम मानते हैं कि $Y_i \perp Y_j | w, i \neq j$

अभी के लिए हम विचरण के बजाय सटीकता का उपयोग करेंगे, , और । हम यह भी मानेंगे कि ज्ञात हैं। $a = 1/\sigma^2$ $b = 1/\sigma_w^2$ $a,b$

पूर्व को

p (w) \propto \exp {- \frac{b}{2} w^{t} w}

$p(w) \propto \exp \Big\{ -\frac{b}{2} w^t w \Big\}$

और संभावना

p (D | w) \propto \exp {- \frac{a}{2} (y - A w)^{T} (y - A w)}

$p(D|w) \propto \exp \Big\{ -\frac{a}{2} (y-Aw)^T (y-Aw) \Big\}$

जहाँ और एक मैट्रिक्स है जहाँ i-th पंक्ति । $y = (y_1,\ldots,y_N)^T$ $A$ $n\times d$ $x_i^T$

फिर पीछे वाला

p (w | D) \propto p (D | w) p (w)

$p(w|D) \propto p(D|w) p(w)$

कई गणनाओं के बाद हमें पता चलता है

p (w | D) \sim N (w | μ, Λ^{- 1})

$p(w|D) \sim \mathcal{N}(w | \mu, \Lambda^{-1})$

कहाँ ( सटीक मैट्रिक्स है) $\Lambda$

Λ = a A^{T} A + b I_{d}

$\Lambda = a A^T A + b I_d$

μ = a Λ^{- 1} A^{T} y

$\mu = a \Lambda^{-1} A^T y$

ध्यान दें कि नियमित रेखीय प्रतिगमन के के बराबर है , यह इसलिए है क्योंकि गौसियन के लिए, इसका मतलब मोड के बराबर है। $\mu$ $w_{MAP}$

इसके अलावा, हम कुछ बीजगणित को से अधिक कर सकते हैं और निम्नलिखित समानता प्राप्त कर सकते हैं ( ): $\mu$ $\Lambda = aA^TA+bI_d$

μ = (A^{T} A + \frac{b}{a} I_{d})^{- 1} A^{T} y

$\mu = (A^T A + \frac{b}{a} I_d)^{-1} A^T y$

और तुलना करें : $w_{MLE}$

w_{M L E} = (A^{T} A)^{- 1} A^{T} y

$w_{MLE} = (A^T A)^{-1} A^T y$

में अतिरिक्त अभिव्यक्ति पूर्व से मेल खाती है। यह रिज प्रतिगमन के लिए अभिव्यक्ति के समान है, विशेष मामले के लिए जब । रिज रिग्रेशन अधिक सामान्य है क्योंकि तकनीक अनुचित पुजारी (बायेसियन परिप्रेक्ष्य में) चुन सकती है। $\mu$ $\lambda = \frac{b}{a}$

भविष्य कहनेवाला वितरण के लिए:

p (y | x, D) = \int p (y | x, D, w) p (w | x, D) d w = \int p (y | x, w) p (w | D) d w

इसकी गणना करना संभव है

y | x, D \sim N (μ^{T} x, \frac{1}{a} + x^{T} Λ^{- 1} x)

$y|x,D \sim \mathcal{N}(\mu^Tx, \frac{1}{a} + x^T \Lambda^{-1}x)$

संदर्भ: लून एट अल। पुस्तक बुक

JAGS / स्टेन की तरह MCMC टूल का उपयोग करने के लिए Kruschke का डूइंग बायेसियन डेटा विश्लेषण

— jpneto
स्रोत

धन्यवाद jpneto मुझे लगता है कि यह एक महान जवाब है, लेकिन मैं गणित-ज्ञान की कमी के कारण इसे अभी तक नहीं समझ पाया हूं। लेकिन मैं कुछ गणित-कौशल हासिल करने के बाद इसे फिर से निश्चित रूप से

— पढ़ूंगा

यह बहुत अच्छा है, लेकिन यह धारणा कि परिशुद्धता ज्ञात है, थोड़ा असामान्य है। क्या विचरण के लिए उलटा गामा वितरण, यानी सटीक के लिए गामा वितरण मान लेना ज्यादा आम नहीं है?

— डेल्टिव डिवैल 22'16

+1। क्या आप "रिज रिग्रेशन अधिक सामान्य है क्योंकि तकनीक अनुचित पादरियों का चयन कर सकती है" पर थोड़ा अधिक टिप्पणी कर सकते हैं? मुझे नहीं मिला। मैंने सोचा था कि आरआर = गौसियन (उचित) पहले से ।

w

$w$

— अमीबा का कहना है कि मोनिका

@amoeba: Gaussian पूर्व लेकिन शून्य हो सकती है, जिसके परिणामस्वरूप अनुचित पूर्व, अर्थात, MLE में परिणाम होता है।

w \sim N (0, λ^{- 1} I_{d})

$w \sim N(0,\lambda^{-1} I_d)$

λ

$\lambda$

— jpneto

@ डेल्टिव: निश्चित रूप से, जब हमारे पास एक पैरामीटर के बारे में अनिश्चितता होती है जिसे हम पूर्व के साथ मॉडल कर सकते हैं। ज्ञात परिशुद्धता की धारणा एक विश्लेषणात्मक समाधान खोजने के लिए आसान बनाने के लिए है। आमतौर पर, वे विश्लेषणात्मक समाधान संभव नहीं हैं और हमें एमसीएमसी या कुछ परिवर्तनशील तकनीक जैसे अनुमानों का उपयोग करना चाहिए।

— jpneto