अधिकतम संभावना अनुमान (MLE) और Bayes प्रमेय की तुलना

12

बायेसियन प्रमेय में, , और जिस पुस्तक को मैं पढ़ रहा हूं, उससे कहा जाता है। संभावना है , लेकिन मुझे लगता है कि यह सिर्फ की सशर्त संभावना है दिया , सही?

p (y | x) = \frac{p (x | y) p (y)}{p (x)}

$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$

p (x | y)

$p(x|y)$

x

$x$

y

$y$

अधिकतम संभावना अनुमान की कोशिश करता अधिकतम करने के लिए , है ना? यदि हां, तो मैं बुरी तरह से भ्रमित हूं, क्योंकि दोनों यादृच्छिक चर हैं, है ना? को अधिकतम करने के लिए सिर्फ का पता लगाना है ? एक और समस्या, अगर ये 2 यादृच्छिक चर स्वतंत्र हैं, तो सिर्फ , है ना? फिर को अधिकतम करना को अधिकतम करना है । $p(x|y)$ $x,y$ $p(x|y)$ $\hat y$ $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

या हो सकता है, कुछ मानकों की एक समारोह है , वह यह है कि , और MLE खोजने की कोशिश करता जो अधिकतम कर सकते हैं ? या यहां तक कि वास्तव में मॉडल का पैरामीटर है, यादृच्छिक चर नहीं, संभावना को अधिकतम करने के लिए को खोजना है ? $p(x|y)$ $\theta$ $p(x|y; \theta)$ $\theta$ $p(x|y)$ $y$ $\hat y$

अपडेट करें

मैं मशीन सीखने में एक नौसिखिया हूँ, और यह समस्या एक मशीन सीखने के ट्यूटोरियल से पढ़ी गई सामग्री से एक भ्रम है। यहाँ यह एक प्रेक्षित डेटासेट दिया गया है , लक्ष्य मान , और मैं इस डेटासेट पर एक मॉडल फिट करने का प्रयास करता हूं , तो मुझे लगता है कि, दिया , का वितरण का एक रूप है जिसे द्वारा नामित किया गया है , वह है ? the the , और मेरा मानना है कि यह उत्तरोत्तर संभावना है , है ना? $\{x_1,x_2,...,x_n\}$ $\{y_1,y_2,...,y_n\}$ $x$ $y$ $W$ $\theta$ $p(y|x; \theta)$

अब के मूल्य का अनुमान लगाने के लिए , मैं MLE का उपयोग करता हूं। ठीक है, यहाँ मेरी समस्या आती है, मुझे लगता है कि संभावना ? The थी , है ना? संभावना को अधिकतम करने का मतलब है कि मुझे सही और चुनना चाहिए ? $\theta$ $p(x|y;\theta)$ $\theta$ $y$

यदि मेरी संभावना की समझ गलत है, तो कृपया मुझे सही तरीका दिखाएं।

bayesian maximum-likelihood

— एवोकाडो
स्रोत

मुझे लगता है कि भ्रम यह है: बेयस प्रमेय सिर्फ सशर्त संभावनाओं का हेरफेर है जैसा कि आप अपने प्रश्न की शुरुआत में देते हैं। बायेसियन आकलन पैरामीटर अनुमानों बनाने के लिए Bayes प्रमेय का उपयोग करता है। यह केवल उत्तरार्द्ध में है, अधिकतम संभावना अनुमान (एमएलई) और पैरामीटर थीटा, आदि खेल में आते हैं।

— झूबर्ब

@ बर्कन, अच्छी तरह से मैं वास्तव में यह पता लगाने की कोशिश करता हूं कि क्या संभावना है, ।

x, y, θ

$x,y,\theta$

— एवोकैडो

1

मैं देखता हूं, मैं आपको पैरामीटर आकलन में परिचयात्मक व्याख्यान स्लाइड के इस महान सेट पर एक नज़र डालने की सलाह दूंगा।

— ज़ुब्बार

1

एक और बढ़िया विषय है इम्पिरिकल बेयस का एस्टिमेटर्स। हमने सिर्फ अपनी कक्षा में उन लोगों के बारे में सीखा है :) biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/…

— bdeonovic

16

मुझे लगता है कि आपके प्रश्नों के पहले भाग में पूछे गए सवालों से मुख्य गलतफहमी उपजी है। मैं इस उत्तर को MLE और बायेसियन हीन प्रतिमान के विपरीत मानता हूं। MLE की बहुत ही चर्चित चर्चा गैरी किंग के अध्याय 1 में पाई जा सकती है, जो राजनीतिक कार्यप्रणाली को एकीकृत कर रही है। गेलमैन के बायेसियन डेटा एनालिसिस बायेसियन पक्ष पर विवरण प्रदान कर सकते हैं।

बेयस के प्रमेय में, और जिस पुस्तक को मैं पढ़ रहा हूं, उससे कहा जाता है। संभावना है, लेकिन मुझे लगता है कि यह सिर्फ की सशर्त संभावना है दिया , सही?
$p (y | x) = \frac{p (x | y) p (y)}{p (x)}$ $p(y|x)=\frac{p(x|y)p(y)}{p(x)}$ $p(x|y)$ $x$ $y$

संभावना है एक सशर्त संभावना। एक बायेसियन करने के लिए, इस सूत्र पैरामीटर के वितरण का वर्णन करता है दिए गए आंकड़ों और पूर्व । लेकिन चूंकि यह संकेतन आपके इरादे को नहीं दर्शाता है, इसलिए मैं आपके डेटा के लिए मापदंडों और लिए ( , ) का उपयोग करूंगा । $y$ $x$ $p(y)$ $\theta$ $y$ $x$

लेकिन आपका अपडेट बताता है कि कुछ वितरण से देखे गए हैं । यदि हम अपने डेटा और मापदंडों को बेयस के नियम में उपयुक्त स्थानों पर रखते हैं, तो हम पाते हैं कि इन अतिरिक्त मापदंडों से बायेसियन के लिए कोई समस्या नहीं है: $x$ $p(x|\theta,y)$

p (θ | x, y) = \frac{p (x, y | θ) p (θ)}{p (x, y)}

$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$

मेरा मानना है कि आपके अपडेट के बाद यह अभिव्यक्ति है।

अधिकतम संभावना अनुमान को अधिकतम करने की कोशिश करता है , है ना? $p(x,y|\theta)$

हाँ। MLE उस करता है, अर्थात यह एक अज्ञात शब्द के रूप में को मानता है। (और अनजानी) स्थिरांक। इसके विपरीत, बायेसियन इनवेंशन को एक सामान्य स्थिरांक के रूप में मानता है (ताकि संभाव्यता योग / एकता के लिए एकीकृत हो) और सूचना के प्रमुख टुकड़े के रूप में: पूर्व। हम बारे में सोच सकते हैं कि जिस क्षेत्र को हम सबसे अधिक प्रशंसनीय मानते हैं, उससे "बहुत दूर भटकने" के लिए अनुकूलन प्रक्रिया पर जुर्माना लगाने का एक तरीका है।

p (x, y | θ) \propto p (θ | x, y)

$p(x,y|\theta) \propto p(\theta|x,y)$

\frac{p (θ, y)}{p (x)}

$\frac{p(\theta,y)}{p(x)}$

p (x)

$p(x)$

p (θ, y)

$p(\theta,y)$

p (θ, y)

$p(\theta,y)$

यदि हां, तो मैं बुरी तरह से भ्रमित हूं, क्योंकि यादृच्छिक चर हैं, है ना? the को अधिकतम करने के लिए सिर्फ का पता लगाना है ? $x,y,\theta$ $p(x,y|\theta)$ $\hat{\theta}$

MLE में, को एक निश्चित मात्रा माना जाता है जो अज्ञात है, लेकिन एक रैंडम वैरिएबल नहीं , बल्कि अनुमान लगाने में सक्षम है । बेइज़ियन इनवेंशन एक यादृच्छिक चर के रूप में को मानता है । बायेसियन इन्वेंशन संभावना घनत्व कार्यों को अंदर रखता है और मॉडल के बिंदु सारांश के बजाय संभावना घनत्व कार्य करता है , जैसा कि MLE में है। यही है, बायेसियन इनवेंशन पैरामीटर मानों की पूरी श्रृंखला और प्रत्येक की संभावना को देखता है। MLE ने माना कि that मॉडल को दिए गए डेटा का पर्याप्त सारांश है। $\hat{\theta}$ $\theta$ $\hat{\theta}$

— साइकोरैक्स का कहना है कि मोनिका को बहाल करो
स्रोत

1

आपके उत्तर के लिए धन्यवाद, मैं अपनी पोस्ट अपडेट करता हूं, कृपया मेरा अपडेट देखें।

— एवोकैडो

इस अपडेट ने मौलिक रूप से प्रश्न की मेरी समझ को बदल दिया। प्रारंभ में, मुझे लगा कि आप अपने डेटा के रूप में और एक पैरामीटर के रूप में बारे में थे । अब यह प्रतीत होता है कि डेटा हैं और आप एक मॉडल के निर्माण में रुचि रखते हैं जो और बीच के संबंध का वर्णन करता है । मैं अपनी प्रतिक्रिया को संशोधित करूंगा क्योंकि मेरे पास समय है।

y

$y$

x

$x$

(x, y)

$(x,y)$

x

$x$

y

$y$

— साइकोरैक्स का कहना है कि मोनिका

+1 यह अभी भी एक महान जवाब है: मुझे उम्मीद है कि आप इसे काफी हद तक बरकरार रखेंगे भले ही आप इसे सवाल में बदलाव से मिलान करने के लिए संशोधित करें।

— whuber

आपके अद्यतन प्रश्न को दर्शाने के लिए मैंने अपनी प्रतिक्रिया अपडेट की है। मुझे आशा है कि ये विवरण मदद करेंगे। मैं वास्तव में उन संदर्भों का संदर्भ देने की सलाह देता हूं जिनका मैं उल्लेख करता हूं। और मुझे उम्मीद है कि @whuber अभी भी मंजूरी देता है। ;-)

— साइकोरैक्स का कहना है कि मोनिका

बहुत बहुत अद्यतन के लिए है, तो आप मतलब हालांकि मैं के लिए वितरण का एक रूप लेने धन्यवाद , मैं व्यवहार करना चाहिए मनाया डेटा जब मैं अनुमान लगाने के लिए कोशिश कर रहा हूँ दोनों के रूप में ?

p (y | x)

$p(y|x)$

x, y

$x,y$

θ

$\theta$

— एवोकैडो

3

सामान्य रूप से पैरामीटर का एक कार्य है । बेयस प्रमेय के निम्नलिखित सुधार पर विचार करें: $p(x|y)$ $y$

p (θ | x) = \frac{p (x | θ) p (θ)}{p (x)}

$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$

या इससे भी अधिक स्पष्ट रूप से (संभावना की धारणा के संबंध में):

p (θ | x) = \frac{L (θ; x) p (θ)}{p (x)}

$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$

एक ठोस उदाहरण के लिए, मॉडल पर विचार करें

X | θ \sim B i n o m i a l (θ) θ \sim B e t a (α, β)

$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$

— डेविड मार्क्स
स्रोत

तो, आमतौर पर यादृच्छिक चर नहीं बल्कि , है ना?

y

$y$

x

$x$

— एवोकैडो

Y आमतौर पर X के पीडीएफ पर एक पैरामीटर है। एक क्रमिक सेटिंग में y आमतौर पर एक निश्चित मूल्य है। बायेसियन सेटिंग में, Y अपने आप में एक यादृच्छिक चर है (उदाहरण के लिए मैंने दिया था)। X | Y आपके अर्थ में एक सशर्त संभावना भी हो सकती है, मैं आपको इसके पीछे प्रेरणा देने की कोशिश कर रहा था कि उस मात्रा को संभावना क्यों कहा जाता है।

— डेविड मार्क्स

आपके उत्तर में दिए गए ठोस उदाहरण के संबंध में, क्या आप का अर्थ है कि वास्तव में एक यादृच्छिक चर है, लेकिन के वितरण में, यह एक पैरामीटर के रूप में लिया गया है?

θ

$\theta$

X

$X$

— एवोकैडो

सिर्फ इसलिए कि कुछ एक यादृच्छिक चर है इसका मतलब यह नहीं है कि यह एक पैरामीटर नहीं हो सकता है। बाइसियन संभावना की अद्भुत दुनिया में आपका स्वागत है :)

— डेविड मार्क्स

0

"... को संभावना कहा जाता है ..." $p(x|y)$

$p(x|y)$ है के y दिया एक्स संभावना । यह कहना कि यह किसकी संभावना है, महत्वपूर्ण है। और हाँ, यह सिर्फ दी गई की सशर्त संभावना है । $x$ $y$

"... यदि ये 2 यादृच्छिक चर स्वतंत्र हैं, तो सिर्फ , ठीक है? तो को अधिकतम करना को अधिकतम करना है ..." $p(x|y)$ $p(x)$ $p(x|y)$ $p(x)$

यदि वे स्वतंत्र हैं, तो , संबंध में स्थिर है । यहां सावधान रहें, जैसा कि आप निर्दिष्ट नहीं करते हैं कि आप सम्मान के साथ अधिकतम क्या कर रहे हैं - आपने जो पहले लिखा था, उससे मैं मान सकता हूं कि आप संबंध में अधिकतम कर रहे हैं । $p(x|y) = p(x)$ $p(x)$ $y$ $y$

... या हो सकता है, कुछ मानकों की एक समारोह है , वह यह है कि , और MLE खोजने की कोशिश करता अधिकतम कर सकते हैं जो ? या यहां तक कि y वास्तव में मॉडल का पैरामीटर है, यादृच्छिक चर नहीं, संभावना को अधिकतम करने के लिए खोजने के लिए है ...? ... $p(x|y)$ $\theta$ $p(x|y;\theta)$ $\theta$ $p(x|y)$ $\hat{y}$

परिचय यह एक पूरी तरह से नई समस्या है। सामान्य तौर पर, इस सवाल का अधिकांश उत्तर 'यह निर्भर करता है' प्रतीत होता है। हम के रूप में मानकों को निरूपित कर सकता अगर हम चाहते थे, और उन्हें सम्मान के साथ अधिकतम। समान रूप से, हम एक स्थिति है जहाँ हम को अधिकतम हो सकता था मानकों के संबंध में है कि अगर हाथ में समस्या आ के एक समझदार तरीका था। $\theta$ $y$ $p(x|y;\theta)$ $\theta$

— थपथपाना
स्रोत

कारण मैं क्यों परिचय मशीन सीखने किताब मैं पढ़ रहा हूँ, यह देखते हुए किसी डेटासेट में यह है, , और इसी लक्ष्य मूल्य है, इसलिए इस डेटासेट के लिए एक मॉडल फिट करने के लिए, मैं MLE उपयोग कर सकते हैं अनुमान लगाने के लिए

θ

$\theta$

x

$x$

y

$y$

θ

$\theta$ मॉडल का पैरामीटर क्या है, सही है?

— एवोकैडो

0

STAN संदर्भ मैनुअल से:

यदि पूर्व एक समान है, तो पश्च मोड अधिकतम मापदंडों के अधिकतम संभावना अनुमान (MLE) से मेल खाता है। यदि पूर्व एक समान नहीं है, तो पोस्टीरियर मोड को कभी-कभी अधिकतम पोस्टीरियर (एमएपी) अनुमान कहा जाता है।

— Neerav
स्रोत