कागज से अपेक्षा अधिकतमकरण में मदद: पूर्व वितरण को कैसे शामिल किया जाए?

9

प्रश्न शीर्षक वाले कागज़ पर आधारित है: युग्मित विकिरण परिवहन-प्रसार मॉडल का उपयोग करते हुए फैलाना ऑप्टिकल टोमोग्राफी में छवि पुनर्निर्माण

डाउनलोड लिंक

लेखक ईएम एल्गोरिथ्म के साथ लागू होते हैं $l_1$ अज्ञात वेक्टर का नियमितीकरण $\mu$ एक छवि के पिक्सेल का अनुमान लगाने के लिए। द्वारा दिया गया मॉडल है

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ अनुमान Eq (8) में दिया गया है

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

मेरे मामले में, मैंने विचार किया है $\mu$ लंबाई का एक फिल्टर होना $L$ तथा $\mathbf{\mu}$ कर रहे हैं $L \times 1$ फिल्टर का प्रतिनिधित्व करने वाले वैक्टर। इसलिए,

मॉडल के रूप में फिर से लिखा जा सकता है

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

प्रश्न: समस्या निर्माण: ${\mu(n)}$ (n 1 से) बिना इनपुट वाला इनपुट है और $\{e(n)\}$ अज्ञात विचरण के साथ शून्य का मतलब है $\sigma^2_e$ योजक शोर। MLE समाधान उम्मीद अधिकतमकरण (EM) पर आधारित होगा।

कागज में Eq (19) है $A$ फ़ंक्शन - पूर्ण लॉग-लाइबिलिटी लेकिन मेरे मामले के लिए मुझे समझ में नहीं आता है कि मैं कैसे वितरण को शामिल कर सकता हूं $A, \mu$ पूर्ण लॉग-इन संभावना की अभिव्यक्ति में।

की EM का उपयोग करके पूर्ण लॉग-आउट की संभावना क्या होगी $y$ पूर्व वितरण सहित?

— एसकेएम
स्रोत

क्या आप वास्तव में लॉग-लाइक चाहते हैं या आप इसके बजाय लॉग-पोस्टियर चाहते हैं? केवल पहले वाले में लाप्लासियन शामिल होगा। पूर्व को केवल संभावना के लॉग को प्राप्त करके प्राप्त किया जा सकता है, जो ऐसा लगता है कि आपने पहले ही लिख दिया है

दो भाव हैं जो मुझे चाहिए - (1) एक जो फिशर सूचना मैट्रिक्स को खोजने के लिए उपयोग किया जाएगा और (2) अन्य संपूर्ण डेटा सेट की पीडीएफ होगी जिसमें छिपे हुए चर शामिल हैं

Z

$Z$ और अवलोकन जो पैरामीटर के एक समारोह के रूप में मनाया डेटा की संयुक्त संभावना घनत्व है

θ

$\theta$ । मैंने जो pdf लिखी है, वह अंदाजा लगाने के लिए MA मॉडल पर लागू है

θ

$\theta$ । लेकिन, यह पूर्ववर्ती बाधा = लाप्लासियन के लिए अलग कैसे होगा ताकि लॉग-संभावना के आंशिक डेरिवेटिव से फिशर सूचना मैट्रिक्स पाया जा सके।

— एसकेएम

@ शीआन: मुझे समझ नहीं आ रहा है कि 3-पीडीएफ़ में कैसे प्लग-इन किया जाए जिसमें लॉग-लाइक के फॉर्मूलेशन में पूर्व शामिल है। मैं अधिकतम व्युत्पन्न करने के लिए काम कर सकता हूं जो आंशिक व्युत्पन्न है और शून्य के बराबर है। क्या आप स्पष्ट रूप से लिखी गई संभावना की अभिव्यक्ति के साथ उत्तर दे सकते हैं। यह वास्तव में मदद करेगा

— SKM

3

यदि हम लक्ष्य के रूप में विचार करते हैं

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$ ईएम के आधार पर प्रतिनिधित्व लिए एक मनमाना , क्योंकि अपघटन या जो मनमाने मूल्य के लिए काम करता है (क्योंकि lhs पर कोई नहीं है) ) और इसलिए : में किसी भी अपेक्षा के लिए काम करता है उदाहरण के लिए दिए गए किसी भी सशर्त वितरण के लिए

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$ । इसलिए अगर हम को समाधान साथ करते हैं, तो हमारे पास # जबकि EM के मानक तर्कों द्वारा by । इसलिए, और एक E कदम के रूप में लक्ष्य

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$ प्रत्येक एम कदम पर पीछे की ओर बढ़ने की ओर जाता है, जिसका अर्थ है कि संशोधित ईएम एल्गोरिदम एक स्थानीय एमएपी में परिवर्तित होता है।

— शीआन
स्रोत

आपके जवाब के लिए धन्यवाद। क्या के pdf का प्रतिनिधित्व करता है ? क्या आप इस बात की कृपा कर सकते हैं कि दूसरी पंक्ति में उल्लिखित समीकरण में साथ 2 अपेक्षाएँ क्यों हैं ?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM

मैंने कुछ स्पष्टीकरण जोड़े, लेकिन आपको मानक सामग्री के बाद से ईएम एल्गोरिथ्म की व्युत्पत्ति एक पाठ्यपुस्तक में जांचनी चाहिए।

— शीआन

1

मुझे नहीं लगता कि मोनोटोनिक बढ़ती लॉग-पोस्टियर (या MLE के लिए लॉग संभावना) MAP अनुमान (या MLE) के स्थिर बिंदु में अभिसरण दिखाने के लिए पर्याप्त है। उदाहरण के लिए, वेतन वृद्धि मनमाने ढंग से छोटी हो सकती है। वू 1983 के प्रसिद्ध पत्र में , ईएम के स्थिर बिंदु में परिवर्तित होने के लिए एक पर्याप्त शर्त निम्न बाध्य फ़ंक्शन के दोनों तर्कों में भिन्नता है।

— Jim.Z
स्रोत