एक छिपे हुए मार्कोव मॉडल का प्रशिक्षण, कई प्रशिक्षण उदाहरण

Question

मैंने इस ट्यूटोरियल http://cs229.stanford.edu/section/cs229-hmm.pdf के अनुसार असतत HMM लागू किया है

यह ट्यूटोरियल और अन्य हमेशा एचएमएम द्वारा एक अवलोकन अनुक्रम दिए गए प्रशिक्षण की बात करते हैं।

क्या होता है जब मेरे पास कई प्रशिक्षण क्रम होते हैं? क्या मुझे बस उन्हें क्रमिक रूप से चलाना चाहिए, दूसरे के बाद मॉडल का प्रशिक्षण?

एक अन्य विकल्प यह है कि अनुक्रमों को एक में मिलाया जाए और उस पर प्रशिक्षण दिया जाए, लेकिन फिर मेरे पास एक अनुक्रम के अंत से अगले एक के प्रारंभ तक राज्य परिवर्तन होंगे जो वास्तविक नहीं हैं।

Comments

इस पत्र को देखें pdfs.semanticscholar.org/4000/… हालांकि वे विचारों को एक गैर-प्रेरित अवलोकन परिदृश्यों तक बढ़ाते हैं, मेरे लिए साधारण मामले को समझना बहुत उपयोगी था, जहां इंडिप को मान लिया गया है

— मार्क टॉरेलर

hmmlearnHMM के कार्यान्वयन ने पहले ही कई अनुक्रमों के साथ HMM के प्रशिक्षण का समर्थन किया है। एचएमएम को कई अनुक्रमों के साथ प्रशिक्षण

— वेनमिन वू जूल

Answer 1

प्रशिक्षण के प्रत्येक पुनरावृत्ति को न तो अलग क्रम से चलाना न तो सही है और न ही सही। सही दृष्टिकोण के लिए कुछ स्पष्टीकरण की आवश्यकता होती है:

एक आम तौर पर एक EMM का उपयोग करके HMM को प्रशिक्षित करता है। इसमें कई पुनरावृत्तियों शामिल हैं। प्रत्येक पुनरावृत्ति में एक "अनुमान" और एक "अधिकतम" चरण होता है। "अधिकतम" चरण में, आप प्रत्येक अवलोकन वेक्टर x को अपने मॉडल में एक स्थिति के साथ संरेखित करते हैं ताकि कुछ संभावना माप अधिकतम हो। "अनुमान" चरण में, प्रत्येक राज्य के लिए, आप अनुमान लगाते हैं (ए) राज्य के संक्रमण की संभावनाओं के लिए x वेटरों के लिए एक सांख्यिकीय मॉडल के मापदंडों और (बी) से जुड़ा हुआ है। निम्नलिखित पुनरावृत्ति में, अधिकतम कदम फिर से अपडेट किए गए सांख्यिकीय मॉडल के साथ चलता है, आदि। प्रक्रिया को कई बार सेट किया जाता है या जब संभावना माप काफी बढ़ जाती है (यानी, मॉडल एक स्थिर समाधान में परिवर्तित हो जाता है)। अंत में, (कम से कम भाषण मान्यता में) एक एचएमएम आमतौर पर एक नामित "प्रारंभ" होगा

इसलिए, यदि आपके पास कई प्रशिक्षण अनुक्रम हैं, तो अनुमान चरण पर आपको प्रत्येक अनुक्रम को चलाना चाहिए ताकि यह प्रारंभिक अवलोकन वेक्टर प्रारंभिक अवस्था के साथ संरेखित हो। इस तरह, उस प्रारंभिक अवस्था के आंकड़े आपके सभी अवलोकन अनुक्रमों पर पहली टिप्पणियों से एकत्र किए जाते हैं, और सामान्य अवलोकन वैक्टर में प्रत्येक अनुक्रम में सबसे अधिक संभावना वाले राज्यों से जुड़े होते हैं। प्रशिक्षण के लिए सभी अनुक्रम प्रदान किए जाने के बाद आप केवल अधिकतम कदम (और भविष्य के पुनरावृत्तियों) करेंगे । अगले पुनरावृत्ति पर, आप बिल्कुल यही काम करेंगे।

प्रत्येक अवलोकन अनुक्रम की शुरुआत को प्रारंभिक अवस्था में संरेखित करने से आप उन अनुक्रमों की समस्या से बच जाते हैं जहां आप गलत तरीके से एक अनुक्रम के अंत और अगले की शुरुआत के बीच संक्रमण का मॉडलिंग करेंगे। और प्रत्येक पुनरावृत्ति पर सभी अनुक्रमों का उपयोग करके आप प्रत्येक पुनरावृत्ति को अलग-अलग अनुक्रम प्रदान करने से बचते हैं, जैसा कि उत्तरदाता ने उल्लेख किया है, अभिसरण की गारंटी नहीं देगा।

Comments

क्या इस पद्धति की आवश्यकता है कि प्रत्येक प्रशिक्षण अनुक्रम समान लंबाई है?

— नैट

नहीं, यह नहीं है। आमतौर पर एचएमएम को स्वयं-छोरों (एक ही राज्य का कई बार लगातार उपयोग किया जाता है) और कई राज्यों को संक्रमण के लिए अनुमति देने के लिए डिज़ाइन किया गया है। इन सुविधाओं से एचएमएम को विभिन्न लंबाई के अनुक्रम स्कोर करने की अनुमति मिलती है।

— जेफएम

Answer 2

लॉरेंस राबिनर IEEE 77 से इस ट्यूटोरियल में गणितीय रूप से अच्छी तरह से स्थापित दृष्टिकोण का वर्णन करता है । ट्यूटोरियल राबिनर और जुआंग द्वारा लिखित पुस्तक फंडामेंटल्स ऑफ़ स्पीच रिकॉग्निशन का 6 वां अध्याय भी है ।

आरआईए डेविस एट। अल। इस पत्र में कुछ अतिरिक्त सुझाव प्रदान करता है ।

मैं गणित के माध्यम से पूरी तरह से नहीं गया, लेकिन मेरे लिए रबिनर का दृष्टिकोण सबसे अधिक आशाजनक है, जबकि डेविस के दृष्टिकोण में गणितीय नींव की कमी है।

Answer 3

यदि आप गणित का अनुसरण करते हैं, तो अतिरिक्त प्रशिक्षण उदाहरण जोड़ना अर्थ की गणना करने के तरीके को पुनर्गणना करता है। ओवर डायमेंशन के बजाय, आप प्रशिक्षण उदाहरणों पर भी योग करते हैं।

यदि आप एक के बाद एक मॉडल को प्रशिक्षित करते हैं, तो इस बात की कोई गारंटी नहीं है कि ईएम हर प्रशिक्षण उदाहरण के लिए कवरेज करने जा रहा है, और आप बुरे अनुमानों को समाप्त करने जा रहे हैं।

यहां एक पेपर दिया गया है जो कलमन फ़िल्टर (जो कि गौस्मियन प्रोबेबिलिटीज के साथ एक एचएमएम है) के लिए है, यह आपको अपने कोड को संशोधित करने का तरीका दे सकता है ताकि आप अधिक उदाहरणों का समर्थन कर सकें।

http://ntp-0.cs.ucl.ac.uk/staff/S.Prince/4C75/WellingKalmanFilter.pdf

उनका एचएमएम पर एक व्याख्यान भी है, लेकिन तर्क बहुत सीधा है।

Comments

मैंने वास्तव में नहीं देखा कि आप किस बारे में बात कर रहे हैं। क्या आप मुझे सही दिशा की ओर इशारा कर सकते हैं? धन्यवाद।

— रैन

Answer 4

यह Bittenus (ऊपर) द्वारा संदर्भित आरआईए डेविस द्वारा कागज पर एक टिप्पणी के अधिक है । मुझे बिटेनस के साथ सहमत होना होगा, कागज में प्रस्तावित तकनीकों के पीछे बहुत गणितीय समर्थन नहीं है - यह एक अनुभवजन्य तुलना का अधिक है।

कागज केवल उस मामले पर विचार करता है जिसमें HMM एक प्रतिबंधित टोपोलॉजी (फीड-फ़ॉरवर्ड) है। (मेरे मामले में मेरे पास एक मानक टोपोलॉजी है, और मैंने बॉम-वेल्च के साथ प्रशिक्षित सभी मॉडलों के गैर-भारित औसत को लागू करके सबसे अधिक सुसंगत परिणाम पाया। यह दृष्टिकोण कागज में वर्णित है लेकिन केवल सीमांत परिणामों के साथ उद्धृत किया गया है)।

एक अन्य प्रकार का मॉडल-एवरेज प्रशिक्षण RIA डेविस ने एक जर्नल लेख में विस्तृत किया था और ट्रेन और टेस्ट और कंडीशन नंबर क्राइटेरिया का उपयोग करके बॉम-वेल्च कम्पेरिंग और इवैलिमेटिंग एचएमएम एनसेम्बेट ट्रेनिंग एलगोरिदम के बजाय Vitterbi प्रशिक्षण का उपयोग करता है । हालाँकि यह पेपर केवल एचएमएम को ही प्रतिबंधित फीड-फॉरवर्ड टोपोलॉजी के साथ खोजता है। (मैं इस विधि का पता लगाने की योजना बनाता हूं और अपने निष्कर्षों के साथ इस पोस्ट को अपडेट करूंगा।)