अधिकतम एक पश्चगामी अनुमान का उदाहरण

मैं अधिकतम संभावना अनुमान और अधिकतम पोस्टीरियर आकलन के बारे में पढ़ रहा हूं और अब तक मैं केवल अधिकतम संभावना अनुमान के साथ ठोस उदाहरण मिला हूं। मुझे अधिकतम पश्चवर्ती अनुमान के कुछ सार उदाहरण मिले हैं, लेकिन इस पर संख्याओं के साथ अभी तक कुछ भी ठोस नहीं है: एस

यह बहुत भारी हो सकता है, केवल अमूर्त चर और कार्यों के साथ काम कर रहा है, और इस अमूर्तता में डूबने के लिए नहीं, समय-समय पर वास्तविक दुनिया से चीजों को संबंधित करना अच्छा है। लेकिन निश्चित रूप से, यह सिर्फ मेरा (और कुछ अन्य लोगों का) अवलोकन है :)

इसलिए, क्या कोई मुझे इस पर संख्याओं के साथ अधिकतम ए पोस्टवर्दी अनुमान का एक सरल, लेकिन ठोस उदाहरण दे सकता है? इससे बहुत मदद मिलेगी :)

धन्यवाद!

मैंने मूल रूप से MSE पर यह प्रश्न पोस्ट किया है, लेकिन वहां कोई उत्तर नहीं मिल सका:

/math/449386/example-of-maximum-a-posteriori-estimation

मैंने क्रॉस पोस्टिंग पर यहां दिए गए निर्देशों का पालन किया है:

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

bayesian estimation posterior

— jjepsuomi
स्रोत

पहला उदाहरण

एक विशिष्ट मामला प्राकृतिक भाषा प्रसंस्करण के संदर्भ में टैगिंग है। विस्तृत विवरण के लिए यहां देखें । विचार मूल रूप से एक वाक्य में किसी शब्द की शाब्दिक श्रेणी निर्धारित करने में सक्षम होने के लिए है (क्या यह संज्ञा, विशेषण, ...) है। मूल विचार यह है कि आपके पास अपनी भाषा का एक मॉडल है जिसमें एक छिपे हुए मार्कोव मॉडल ( एचएमएम ) है। इस मॉडल में, छिपे हुए राज्य शाब्दिक श्रेणियों के अनुरूप हैं, और अवलोकन किए गए शब्द वास्तविक शब्दों में बताए गए हैं।

संबंधित चित्रमय मॉडल का रूप है,

एक विहित एचएमएम का चित्रमय मॉडल

जहां वाक्य में शब्दों का अनुक्रम है, और टैग का अनुक्रम है। $\mathbf{y} = (y1,...,y_{N})$ $\mathbf{x} = (x1,...,x_{N})$

एक बार प्रशिक्षित होने के बाद, लक्ष्य लेक्सिकल श्रेणियों के सही अनुक्रम का पता लगाना है जो किसी दिए गए इनपुट वाक्य के अनुरूप हैं। यह उन टैगों के अनुक्रम को खोजने के रूप में तैयार किया गया है जो भाषा के मॉडल द्वारा उत्पन्न किए गए सबसे अधिक संगत / सबसे अधिक संभावना है

f (y) = {a r g m a x}_{x \in Y} p (x) p (y | x)

$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$

2 उदाहरण

वास्तव में, एक बेहतर उदाहरण प्रतिगमन होगा। न केवल इसलिए कि यह समझना आसान है, बल्कि इसलिए भी कि अधिकतम संभावना (एमएल) और अधिकतम पोस्टीरियर (एमएपी) के बीच अंतर स्पष्ट हो जाता है।

$t$

y (x; w) = \sum_{i} w_{i} ϕ_{i} (x)

$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$

ϕ (x)

$\phi(\mathbf{x})$

w

$\mathbf{w}$

t = y (x; w) + ϵ

$t = y(\mathbf{x};\mathbf{w}) + \epsilon$

$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

E (w) = \frac{1}{2} \sum_{n} {(t_{n} - w^{T} ϕ (x_{n}))}^{2}

$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$

जो अच्छी तरह से ज्ञात कम से कम वर्ग त्रुटि समाधान देता है। अब, एमएल शोर के प्रति संवेदनशील है, और कुछ परिस्थितियों में स्थिर नहीं है। एमएपी आपको वज़न पर अड़चनें डालकर बेहतर समाधान निकालने की अनुमति देता है। उदाहरण के लिए, एक विशिष्ट मामला रिज रिग्रेशन है, जहाँ आप वज़न कम करने की माँग करते हैं, जहाँ तक संभव हो छोटा है

E (w) = \frac{1}{2} \sum_{n} {(t_{n} - w^{T} ϕ (x_{n}))}^{2} + λ \sum_{k} w_{k}^{2}

$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$

$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

w = {a r g m i n}_{w} p (w; λ) p (t | w; ϕ)

$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$

ध्यान दें कि एमएपी में भार एमएल के रूप में पैरामीटर नहीं हैं, लेकिन यादृच्छिक चर हैं। फिर भी, एमएल और एमएपी दोनों बिंदु आकलनकर्ता हैं (वे इष्टतम वजन के वितरण के बजाय वजन का एक इष्टतम सेट लौटाते हैं)।

— jpmuc
स्रोत

+1 हाय @ जम्पा आपके उत्तर के लिए धन्यवाद :) लेकिन मैं अभी भी अधिक ठोस उदाहरण की तलाश में हूँ :)

— jjepsuomi

w

$w$

O (n^{3})

$O(n^{3})$

f (y) = {a r g m a x}_{x \in X} p (x) p (y | x)

$f(y) = \mathbf{argmax}_{\mathbf{x} \in X}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$