एचएमएम फिटिंग पर एमएलई और बॉम वेल्च के बीच अंतर

Question

में इस लोकप्रिय प्रश्न , उच्च upvoted जवाब MLE और बौम वेल्च HMM बैठाने के लिए अलग बनाता है।

प्रशिक्षण समस्या के लिए हम निम्नलिखित 3 एल्गोरिदम का उपयोग कर सकते हैं: MLE (अधिकतम संभावना अनुमान), Viterbi प्रशिक्षण (Viterbi डिकोडिंग के साथ भ्रमित न करें), बॉम वेल्श = आगे-पिछड़े एल्गोरिथ्म

लेकिन में विकिपीडिया , यह कहता है

बॉम-वेल्च एल्गोरिथ्म मापदंडों के अधिकतम संभावना अनुमान को खोजने के लिए अच्छी तरह से ज्ञात ईएम एल्गोरिथ्म का उपयोग करता है

तो, MLE और बॉम-वेल्च एल्गोरिथ्म के बीच क्या संबंध है?

---

मेरा प्रयास: बॉम-वेल्च एल्गोरिथम का उद्देश्य अधिकतम संभावना है, लेकिन यह अनुकूलन को हल करने के लिए एक विशेष एल्गोरिथ्म (ईएम) का उपयोग करता है। हम अभी भी अन्य तरीकों जैसे ढाल सभ्य का उपयोग करके संभावना को अधिकतम कर सकते हैं। यही कारण है कि उत्तर दो एल्गोरिथ्म को अलग करता है।

क्या मैं सही हूं और क्या कोई मुझे स्पष्ट करने में मदद कर सकता है?

Comments

HMM के दायरे में MLE का उपयोग एक पर्यवेक्षित परिदृश्य में, और बॉम-वेल्च का एक असुरक्षित, परिदृश्य में किया जाता है।

— डेविड बतिस्ता

Answer 1

आपके द्वारा प्रदत्त प्रश्न लिंक में से किसी एक उत्तर (मास्टरफूल द्वारा) का संदर्भ लें,

मोरट का जवाब एक बिंदु पर गलत है: बॉम-वेल्च एक उम्मीद-मैक्सिमाइजेशन एल्गोरिदम है, जिसका उपयोग एचएमएम के मापदंडों को प्रशिक्षित करने के लिए किया जाता है। यह प्रत्येक पुनरावृत्ति के दौरान फॉरवर्ड-बैकवर्ड एल्गोरिथम का उपयोग करता है। फॉरवर्ड-बैकवर्ड एल्गोरिदम वास्तव में फॉरवर्ड और बैकवर्ड एल्गोरिदम का एक संयोजन है: एक फॉरवर्ड पास, एक बैकवर्ड पास।

और मैं यहां पियरे के जवाब से सहमत हूं, बॉम-वेल्च एल्गोरिथ्म का उपयोग एचएचएम में अधिकतम संभावना को हल करने के लिए किया जाता है। यदि राज्यों को जाना जाता है (पर्यवेक्षण, लेबल अनुक्रम), तो MLE को अधिकतम करने वाली अन्य विधि का उपयोग किया जाता है (शायद, प्रशिक्षण डेटा में देखे गए प्रत्येक उत्सर्जन और संक्रमण की आवृत्ति को गिनें, फ्रेंक डर्नोनकोर्ट द्वारा प्रदान की गई स्लाइड देखें )।

HMM के लिए MLE की सेटिंग में, मुझे नहीं लगता कि आप केवल ढाल वंश का उपयोग कर सकते हैं, क्योंकि संभावना (या, लॉग-लाइबिलिटी) में एक बंद-रूप समाधान नहीं है और इसे पुनरावृत्त रूप से हल किया जाना चाहिए, जैसे कि मामला मिश्रण मॉडल तो हम ईएम की ओर मुड़ते हैं। (बिशप, पैटर्न मान्यता पुस्तक, अध्याय 13.2.1 Pg614 में अधिक विवरण देखें)

Answer 2

तो, MLE और बॉम-वेल्च एल्गोरिथ्म के बीच क्या संबंध है?

एक्सपेक्टेशन मैक्सिमाइजेशन (ईएम) एल्गोरिदम अधिक सामान्य है और बॉम-वेल्च एल्गोरिदम बस इसका एक पल है, और ईएम अधिकतम संभावना (एमएल) के लिए एक पुनरावृत्ति एल्गोरिथ्म है। फिर बॉम-वेल्च एल्गोरिथ्म भी अधिकतम संभावना के लिए एक पुनरावृत्ति एल्गोरिथ्म है।

आम तौर पर अधिकतम संभावना अनुमान (एक निरंतर दृष्टिकोण) के लिए तीन अनुकूलन एल्गोरिदम हैं : 1) ढाल वंश; 2) मार्कोव चेन मोंटे कार्लो; 3) अपेक्षा अधिकतमकरण।

Answer 3

यह सवाल यहाँ कुछ महीनों से है लेकिन यह उत्तर नए पाठकों को डेविड बतिस्ता की टिप्पणी के पूरक के रूप में मदद कर सकता है।

बॉल्म-वेल्च एल्गोरिथ्म (बीएम) आपके एचएमएम को प्रशिक्षित करने के लिए अधिकतम संभावना संभावना (एमएलई) को हल करने के लिए एक उम्मीद अधिकतमकरण एल्गोरिथ्म है, जब राज्य अज्ञात / छिपे हुए (अप्रचलित प्रशिक्षण) होते हैं।

लेकिन अगर आपको राज्यों के बारे में पता है, तो आप अपने मॉडल को सुपरवाइज्ड अंदाज में जोड़ी डेटा / स्टेट्स में फिट करने के लिए एक MLE मेथड (जो BM नहीं होगा) का इस्तेमाल कर सकते हैं।