यहाँ वही है जो मैंने हाल ही में सीखा है।
जाहिर है, जब पाठ्य पीढ़ी RNN के बारे में बात कर रहे हैं, हम RNN भाषा मॉडल के बारे में बात कर रहे हैं। जब के बारे में पूछ शब्द / चार आधारित पाठ पीढ़ी RNNs, हम बारे में पूछ रहे शब्द / चार आधारित RNN भाषा मॉडल (एल एम)।
वर्ड-आधारित एलएम , चार-आधारित एलएम की तुलना में उच्च सटीकता और कम कम्प्यूटेशनल लागत प्रदर्शित करते हैं।
चरित्र स्तर मॉडल के लिए लंबी अवधि की स्मृति पर कब्जा करने की कठिनाई के कारण प्रदर्शन की यह गिरावट संभव नहीं है , क्योंकि लॉन्ग टर्म टर्म मेमोरी (एलएसटीएम) आवर्तक नेटवर्क शब्द-आधारित इनपुट के साथ बेहतर काम करते हैं।
इसका कारण यह है कि चार-आधारित RNN LMs को लंबे समय तक निर्भरता का मॉडल बनाने के लिए बहुत बड़ी छिपी हुई परत की आवश्यकता होती है जिसका अर्थ है उच्चतर कम्प्यूटेशनल लागत।
इसलिए, हम कह सकते हैं कि
में से एक मूलभूत अंतर के बीच शब्द स्तर और चरित्र स्तर मॉडल में है पैरामीटर की संख्या RNN प्रशिक्षण और परीक्षण के दौरान उपयोग करने के लिए है। छोटा आरएनएन की इनपुट और आउटपुट परत है, बड़ी को पूरी तरह से जुड़ी हुई छिपी हुई परत की जरूरत है, जो मॉडल के प्रशिक्षण को महंगा बनाता है।
हालांकि, एक आधारित आकारिकी जैसे फिनिश, तुर्की, रूसी आदि के साथ आरएनएन एलएम बेहतर मॉडल भाषाओं को आधारित करते हैं, ऐसी भाषाओं को मॉडल करने के लिए शब्द-आधारित आरएनएन एलएम का उपयोग करना मुश्किल है यदि संभव हो तो और सलाह नहीं दी जाती है।
उपरोक्त विश्लेषण विशेष रूप से समझ में आता है जब आप आउटपुट टेक्स्ट को देखते हैं, जो चार-आधारित आरएनएन द्वारा उत्पन्न होता है :
निवेशकों में आश्चर्य पैसे जुटाने के लिए नहीं थे। मैं उस समय के साथ कंपनी नहीं हूँ जब सभी जल्दी से दिलचस्प होते हैं, एक ही प्रोग्रामर से उतरना नहीं पड़ता।
जबकि साधारण वर्ण-आधारित अधिकतम संभावना एलएम एक 13-वर्ण विंडो के साथ इसे वितरित करता है:
और जब उसने कई ठोस ईंटें बनाईं। उसने उन्हें ढेर में ढेर कर दिया और उसके पैरों को सहलाया। डॉक्टर ने उसका बल्ला लगाकर निदान किया। लड़की और उसके प्रेमी ने उससे पूछा।
बेशक मैंने उदाहरण के लिए चेरी-पिक किया (वास्तव में अधिकांश एमएल एलएम उदाहरण मैंने अब तक पढ़े गए किसी भी आरएनएन उत्पन्न पाठ से बेहतर लग रहे थे) और इस छोटे एमएल एलएम को एक सरल कॉर्पस पर प्रशिक्षित किया गया था, लेकिन आपको यह विचार मिलता है: सीधी सशर्त संभावनाएं बेहतर साबित होती हैं कहीं अधिक जटिल चार-आधारित आरएनएन के ग्रंथ ।
चार-आधारित आरएनएन एलएम भाषा की एक विस्तृत श्रृंखला के लिए व्याकरणिक रूप से सही दृश्यों की नकल कर सकते हैं, बड़ी छिपी परत की आवश्यकता होती है और कम्प्यूटेशनल रूप से अधिक महंगी होती है, जबकि शब्द-आधारित आरएनएन एलएम तेजी से प्रशिक्षित करते हैं और अधिक सुसंगत ग्रंथों को उत्पन्न करते हैं और फिर भी ये उत्पन्न ग्रंथ वास्तविक अर्थ बनाने से बहुत दूर हैं। ।