छिपे हुए मार्कोव मॉडल बनाम आवर्तक तंत्रिका नेटवर्क

Question

कौन सी अनुक्रमिक इनपुट समस्याएं प्रत्येक के लिए सबसे उपयुक्त हैं? क्या इनपुट आयामीता निर्धारित करता है कि कौन सा बेहतर मैच है? क्या समस्याएं हैं जो "LSTM RNN" के लिए "लम्बी मेमोरी" के लिए बेहतर अनुकूल हैं, जबकि चक्रीय इनपुट पैटर्न (शेयर बाजार, मौसम) के साथ समस्याओं को HMM द्वारा आसानी से हल किया जा सकता है?

ऐसा लगता है कि बहुत अधिक ओवरलैप है; Im उत्सुक है कि दोनों के बीच क्या सूक्ष्म अंतर मौजूद हैं।

Comments

+1 लेकिन सवाल बहुत व्यापक हो सकता है ... इसके अलावा, मेरे ज्ञान के लिए वे काफी अलग हैं ..

— Haitao Du

मैंने और अधिक स्पष्टीकरण जोड़ा

— निवारण करें

एक साइड नोट के रूप में आप RNN के ऊपर एक CRF रख सकते हैं जैसे github.com/Franck-Dernoncourt/NeuroNER

— Franck Dernoncourt

Answer 1

सारांश

छिपे हुए मार्कोव मॉडल (एचएमएम) आवर्तक तंत्रिका नेटवर्क (आरएनएन) की तुलना में बहुत सरल हैं, और मजबूत मान्यताओं पर भरोसा करते हैं जो हमेशा सच नहीं हो सकते हैं। मान्यताओं तो कर रहे हैं सच है तो आप एक HMM से बेहतर प्रदर्शन देख सकते, क्योंकि यह काम कर पाने के लिए कम नख़रेबाज़ है।

यदि आपके पास एक बहुत बड़ा डेटासेट है, तो RNN बेहतर प्रदर्शन कर सकता है, क्योंकि अतिरिक्त जटिलता आपके डेटा में जानकारी का बेहतर लाभ उठा सकती है। यह तब भी सच हो सकता है जब आपके मामले में HMM की धारणा सही हो।

अंत में, अपने अनुक्रम कार्य के लिए केवल इन दो मॉडलों तक ही सीमित न रहें, कभी-कभी सरल रेजगारी (जैसे एआरआईएमए) जीत सकते हैं, और कभी-कभी अन्य जटिल दृष्टिकोण जैसे कि संवादी तंत्रिका नेटवर्क सबसे अच्छा हो सकता है। (हां, सीएनएन को आरएनएन की तरह ही कुछ प्रकार के अनुक्रम डेटा पर लागू किया जा सकता है।)

हमेशा की तरह, यह जानने का सबसे अच्छा तरीका है कि कौन सा मॉडल सबसे अच्छा है, एक आयोजित परीक्षण सेट पर मॉडल बनाने और प्रदर्शन को मापने के लिए।

एचएमएम के मजबूत अनुमान

राज्य के संक्रमण केवल वर्तमान स्थिति पर निर्भर करते हैं, अतीत में किसी भी चीज पर नहीं।

यह धारणा बहुत सारे क्षेत्रों में नहीं है जिनसे मैं परिचित हूं। उदाहरण के लिए, दिखावा करें कि आप दिन के हर मिनट के लिए भविष्यवाणी करने की कोशिश कर रहे हैं कि क्या कोई व्यक्ति आंदोलन डेटा से जाग रहा था या सो रहा था । से किसी को संक्रमण की संभावना को सो करने के लिए जाग बढ़ जाती है लंबे समय तक व्यक्ति में किया गया है सो राज्य। एक आरएनएन सैद्धांतिक रूप से इस रिश्ते को सीख सकता है और उच्च भविष्य कहनेवाला सटीकता के लिए इसका फायदा उठा सकता है।

आप इसके आस-पास प्राप्त करने का प्रयास कर सकते हैं, उदाहरण के लिए पिछले राज्य को एक सुविधा के रूप में शामिल करके, या समग्र अवस्थाओं को परिभाषित करने के लिए, लेकिन जोड़ा गया जटिलता हमेशा एक HMM की पूर्वानुमान सटीकता में वृद्धि नहीं करता है, और यह निश्चित रूप से गणना समय की मदद नहीं करता है।

आपको राज्यों की कुल संख्या को पूर्व-निर्धारित करना चाहिए।

नींद के उदाहरण पर लौटना, ऐसा प्रतीत हो सकता है जैसे कि केवल दो राज्य हैं जिनकी हम परवाह करते हैं। हालांकि, यहां तक कि अगर हम केवल भविष्यवाणी के बारे में परवाह जाग बनाम सो , हमारे मॉडल इस तरह, ड्राइविंग वर्षा, आदि के रूप में अतिरिक्त राज्यों पता लगाना से लाभ हो सकता है (जैसे स्नान आमतौर पर सही सोने से पहले आता है)। फिर, एक आरएनएन सैद्धांतिक रूप से इस तरह के रिश्ते को सीख सकता है यदि इसके पर्याप्त उदाहरण दिखाए जाएं।

RNN के साथ कठिनाइयाँ

यह ऊपर से लग सकता है कि आरएनएन हमेशा श्रेष्ठ होते हैं। मुझे ध्यान देना चाहिए, हालांकि, आरएनएन को काम करना मुश्किल हो सकता है, खासकर जब आपका डेटासेट छोटा हो या आपका क्रम बहुत लंबा हो। मुझे व्यक्तिगत रूप से अपने कुछ डेटा पर प्रशिक्षित करने के लिए RNN प्राप्त करने में परेशानी हुई है, और मुझे संदेह है कि अधिकांश प्रकाशित RNN विधियों / दिशानिर्देशों को पाठ डेटा के लिए तैयार किया गया है । गैर-पाठ डेटा पर RNN का उपयोग करने की कोशिश करते समय मुझे अपने विशेष डेटासेट पर अच्छे परिणाम प्राप्त करने के लिए मेरी देखभाल की तुलना में एक व्यापक हाइपरपैरेट खोज की आवश्यकता होती है।

कुछ मामलों में, मैंने पाया है कि अनुक्रमिक डेटा के लिए सबसे अच्छा मॉडल वास्तव में एक यूनेट शैली है ( https://arxiv.org/pdf/1505.04597.pdf ) संवेदी तंत्रिका नेटवर्क मॉडल चूंकि यह ट्रेन करना आसान और तेज़ है, और सक्षम है सिग्नल के पूर्ण संदर्भ को ध्यान में रखना।

Answer 2

आइए पहले एचएमएम और आरएनएन के बीच अंतर देखें।

से इस पत्र: छिपा मार्कोव मॉडल पर एक ट्यूटोरियल और वाक् पहचान में चुने गए ऐप्लिकेशन हम चाहते हैं कि HMM निम्नलिखित तीन बुनियादी समस्याओं की विशेषता किया जाना चाहिए सीख सकते हैं:

समस्या 1 (संभावना): एचएमएम λ = (ए, बी) और एक अवलोकन अनुक्रम को देखते हुए, संभावना पी (ओ | λ) का निर्धारण करें।
समस्या 2 (डिकोडिंग): ओव्यूशन अनुक्रम ओ और एक एचएमएम λ = (ए, बी)
को देखते हुए , सबसे अच्छे छिपे हुए राज्य अनुक्रम की खोज करें। समस्या 3 (सीखना): अवलोकन अनुक्रम ओ और एचएमएम में राज्यों के सेट को देखते हुए, HMM पैरामीटर A और B सीखें।

हम एचएमएम की तुलना उस तीन दृष्टिकोणों से आरएनएन से कर सकते हैं।

संभावना

आरएनएन में एचएमएम (चित्र ए। 5) भाषा मॉडल में संभावना

$P(O)=\sum_Q P(O, Q) = \sum_Q P(O|Q)P(Q)$$Q$$\frac{1}{p(X)} = \sqrt[T]{\prod_{t=1}^T \frac{1}{p(x^t|x^{(t-1)},...,x^{(1)})}}$

डिकोडिंग

$v_t(j) = max_{i=1}^N v_{t-1}(i)a_{ij} b_(o_t)$$P(y_1, ..., y_O|x_1, ..., x_T) = \prod_{o=1}^OP(y_o|y_1, ..., y_{o-1}, c_o)$$Y$$X$

HMM में डिकोडिंग (चित्र A.10)

RNN में डिकोडिंग

सीख रहा हूँ

एचएमएम में सीखना आरएनएन की तुलना में बहुत अधिक जटिल है। एचएमएम में यह आमतौर पर बॉम-वेल्च एल्गोरिथ्म (एक्सपेक्टेशन-मैक्सिमाइजेशन एल्गोरिदम का एक विशेष केस) का उपयोग करता है जबकि आरएनएन में यह आमतौर पर ग्रेडिएंट डिसेंट होता है।

आपके मातहतों के लिए:

कौन सी अनुक्रमिक इनपुट समस्याएं प्रत्येक के लिए सबसे उपयुक्त हैं?

जब आपके पास एचएमएम का पर्याप्त डेटा उपयोग नहीं होता है, और जब आपको सटीक संभावना की गणना करने की आवश्यकता होती है तो एचएमएम एक बेहतर सूट होगा (जेनेरिक कार्य मॉडलिंग करते हैं कि डेटा कैसे उत्पन्न होता है)। अन्यथा, आप आरएनएन का उपयोग कर सकते हैं।

क्या इनपुट आयामीता निर्धारित करता है कि कौन सा बेहतर मैच है?

मुझे ऐसा नहीं लगता है, लेकिन यह जानने में एचएमएम को अधिक समय लग सकता है यदि छिपी हुई स्थिति एल्गोरिदम की जटिलता (आगे पीछे और विटर्बी) के बाद से बहुत बड़ी है, मूल रूप से असतत राज्यों की संख्या का वर्ग है।

क्या समस्याएं हैं जो "LSTM RNN" के लिए "लम्बी मेमोरी" के लिए बेहतर अनुकूल हैं, जबकि चक्रीय इनपुट पैटर्न (शेयर बाजार, मौसम) के साथ समस्याओं को HMM द्वारा आसानी से हल किया जा सकता है?

एचएमएम में वर्तमान स्थिति पिछले राज्यों और टिप्पणियों (मूल राज्यों द्वारा) से भी प्रभावित होती है, और आप "लंबी मेमोरी" के लिए सेकंड-ऑर्डर हिडन मार्कोव मॉडल की कोशिश कर सकते हैं।

मुझे लगता है कि आप आरएनएन का उपयोग लगभग कर सकते हैं

संदर्भ

1. डीप लर्निंग CS224N / Ling284 के साथ प्राकृतिक भाषा प्रसंस्करण
2. छिपे हुए मार्कोव मॉडल

Comments

लेकिन संदर्भित पेपर में यह कहा गया है कि एचएमएम में एक छिपी हुई स्थिति है, हालांकि एक असतत है?

— ओलेग Afanasyev

@OlegAfanasyev हां। मुझे लगता है कि मैं गलत हूं, लेकिन मैं इस जवाब पर बाद में आऊंगा।

— लर्नर झांग

क्या यह सही किया गया है?

— जनरल-लेवर

@ GENIVI-LEARNER मैंने उत्तर को फिर से लिखा है और आशा करता हूं कि यह आपकी किसी भी मदद के लिए होगा और यह भी आशा करता है कि आप इसे बेहतर बनाने के लिए मुझे कुछ सुझाव प्रदान करेंगे।

— लेर्नर झांग

Answer 3

मुझे यह सवाल मिला, क्योंकि मैं उनकी समानता और अंतर के बारे में सोच रहा था। मुझे लगता है कि यह बताना बहुत महत्वपूर्ण है कि छिपे हुए मार्कोव मॉडल (HMM) में इनपुट और आउटपुट सख्त अर्थों में नहीं हैं।

एचएमएम तथाकथित जेनेरेटिव मॉडल हैं, यदि आपके पास एचएमएम है, तो आप इससे कुछ अवलोकन उत्पन्न कर सकते हैं जैसा कि यह है। यह RNN से मूलभूत रूप से भिन्न है, जैसे कि यदि आपके पास प्रशिक्षित RNN है, तो भी आपको इसके लिए इनपुट की आवश्यकता होगी।

एक व्यावहारिक उदाहरण जहां यह महत्वपूर्ण है, भाषण संश्लेषण है। अंतर्निहित छिपे हुए मार्कोव राज्य फोन हैं और उत्सर्जित प्रायिकता घटनाएँ ध्वनिकी हैं। यदि आपके पास एक शब्द मॉडल प्रशिक्षित है, तो आप इसके कई अलग-अलग अहसास उत्पन्न कर सकते हैं जैसा आप चाहते हैं।

लेकिन आरएनएन के साथ, आपको अपने आउटपुट को बाहर निकालने के लिए कम से कम कुछ इनपुट बीज प्रदान करने की आवश्यकता है। आप तर्क दे सकते हैं कि HMM में आपको एक प्रारंभिक वितरण प्रदान करने की आवश्यकता होती है, इसलिए यह समान है। लेकिन अगर हम भाषण संश्लेषण उदाहरण के साथ चिपकते हैं, तो ऐसा नहीं है क्योंकि प्रारंभिक वितरण तय हो जाएगा (हमेशा शब्द के पहले फोन से शुरू)।

RNN के साथ, आपको एक प्रशिक्षित मॉडल के लिए एक नियतात्मक आउटपुट अनुक्रम मिलता है, यदि आप हर समय एक ही इनपुट बीज का उपयोग कर रहे हैं। एचएमएम के साथ, आप नहीं करते हैं क्योंकि संक्रमण और उत्सर्जन हमेशा एक संभावना वितरण से नमूना होते हैं।