छिपे हुए मार्कोव मॉडल और अपेक्षा अधिकतमकरण एल्गोरिथ्म

Question

क्या कोई स्पष्ट कर सकता है कि मार्कोव मॉडल कितने छिपे हुए हैं जो अपेक्षा अधिकतम करने से संबंधित हैं? मैं कई लिंक से गुज़रा हूँ, लेकिन एक स्पष्ट दृष्टिकोण के साथ नहीं आ सका।

धन्यवाद!

Answer 1

EM एल्गोरिथ्म (अपेक्षा अधिकतमकरण) उन मामलों में संभावना फ़ंक्शन के अनुकूलन के लिए एक सामान्य एल्गोरिथ्म है जहां मॉडल एक प्रेक्षित और एक अव्यक्त (अव्यक्त) घटक के संदर्भ में संभावित रूप से निर्दिष्ट किया गया है। एचएमएम (छिपे हुए मार्कोव मॉडल) इस रूप के मॉडल हैं क्योंकि उनके पास एक अप्राप्य घटक है, छिपे हुए राज्य हैं, और वास्तविक टिप्पणियों को अक्सर एचएमएम शब्दावली में उत्सर्जन कहा जाता है । इसलिए, एचएमएम मॉडल का एक वर्ग बनाते हैं जिसके लिए ईएम एल्गोरिदम उपयोगी हो सकता है।

$(X,Y)$$p_{\theta}(x,y)$$\theta$$X = x$

$$L_x(\theta) = \sum_{y} p_{\theta}(x,y).$$ $\theta$

• $x$$\theta$
• एम-कदम है, जो एक अधिकतम है

EM-एल्गोरिथ्म सबसे अधिक समझ में आता है अगर ऊपर दिए गए दो चरणों को कम्प्यूटेशनल रूप से कुशल तरीके से लागू किया जा सकता है, उदाहरण के लिए जब हमने सशर्त अपेक्षा और अधिकतमकरण के लिए फॉर्म अभिव्यक्ति को बंद कर दिया है।

ऐतिहासिक रूप से, सामान्य ईएम-एल्गोरिदम को डेम्पस्टर, लैयर्ड और रुबिन को श्रेय दिया जाता है , जिन्होंने 1977 में अपने पेपर में साबित किया था कि अन्य चीजों के साथ एल्गोरिथ्म मापदंडों के एक क्रम की ओर ले जाता है, जिसमें बहुत हद तक संभावनाएं बढ़ती हैं। उन्होंने "ईएम-एल्गोरिदम" शब्द भी गढ़ा। दिलचस्प बात यह है कि एचएमएम के लिए ईएम-एल्गोरिदम को 1970 में बॉम एट अल द्वारा पहले ही वर्णित किया गया था । , और अक्सर HMM साहित्य में बॉम-वेल्च एल्गोरिथ्म के रूप में भी जाना जाता है (मुझे ठीक से पता नहीं है कि वेल्च ने क्या किया ...)।

Comments

वेल्च ने आविष्कार किया जिसे अब बॉम-वेल्च एल्गोरिथ्म कहा जाता है (वह इसे "आसान भाग" कहते हैं); बॉम गणितीय रूप से साबित होता है कि एल्गोरिथ्म काम करता है ("कठिन भाग")। सटीक विवरणों के लिए पाठ्यक्रम देखें ।cs.tamu.edu/rgutier/cpsc689_s07/welch2003baumWelch.pdf ।

— मिखाइल कोरोबोव

@MikhailKorobov, इस जानकारीपूर्ण संदर्भ के लिए धन्यवाद।

— एनआरएच

Answer 2

अपेक्षा मैक्सिमाइजेशन एक पुनरावृत्त विधि है जिसका उपयोग विभिन्न जनरेटिव सांख्यिकीय मॉडल की एक किस्म पर सांख्यिकीय अनुमान लगाने के लिए किया जाता है, उदाहरण के लिए गौसियों का मिश्रण, और अन्य बायेसियन नेटवर्क प्रकार के मॉडल। एकमात्र कनेक्शन यह है कि एचएमएम बायेसियन नेटवर्क भी हैं। लेकिन एचएमएम पर शायद कोई ईएम का उपयोग नहीं करेगा क्योंकि एचएमएम के भीतर एक सटीक एल्गोरिथ्म है जिसे विटर्बी एल्गोरिदम कहा जाता है। इसलिए यद्यपि कोई EM का उपयोग HMM पर अनुमान लगाने के लिए कर सकता है, आप नहीं करेंगे क्योंकि इसका कोई कारण नहीं है।

Comments

यह पूरी तरह से सही नहीं है क्योंकि आप दो अलग-अलग प्रकार के "अनुमान" मिलाते हैं। ईएम अज्ञात मापदंडों के आकलन के लिए एक एल्गोरिथ्म है, विटर्बी छिपे हुए राज्यों के सबसे संभावित अनुक्रम की गणना के लिए एल्गोरिथ्म है। आप, वास्तव में, पैरामीटर आकलन के लिए HMMs के लिए EM का उपयोग करेंगे। मैंने अपने जवाब में एचएमएम और ईएम के बीच के संबंध को स्पष्ट करने वाले ऐतिहासिक संदर्भों के साथ ईएम-एल्गोरिदम पर अधिक विवरण दिया है।

— NRH

Answer 3

HMM में, हम मुख्य रूप से तीन मापदंडों का अनुमान लगाने की कोशिश करते हैं:

1. $K$$K$

2. $K\times K$

3. $K\times N$$N$

अब, EM भाग तब आता है जब आप ऊपर बताई गई मात्रा / मापदंडों का अनुमान लगाने की कोशिश करते हैं। कुछ यादृच्छिक अनुमान के साथ शुरू करते हुए, टिप्पणियों की संभावना का मूल्यांकन किया जाता है और मापदंडों को पुनरावृत्त रूप से समायोजित किया जाता है जब तक कि हम अधिकतम संभावना प्राप्त नहीं करते। इसलिए, एचएमएम के माध्यम से, हम कुछ प्रक्रिया को मॉडल करते हैं और इसके लिए हमें कुछ मापदंडों को पेश करने की आवश्यकता है। मापदंडों का अनुमान लगाने के लिए, ईएम का प्रतिपादन किया गया है।

यह बहुत संक्षिप्त उत्तर है। EM को लागू करने के लिए तकनीकों की एक श्रृंखला के माध्यम से हल करने के लिए अन्य उप-समस्याओं का एक गुच्छा आवश्यक है। गहराई से समझने के लिए, राबिनर क्लासिक ट्यूटोरियल पेपर अत्यधिक अनुशंसित है।