ओपी rcpinto के सुझाव पर मैंने "लगभग आधा दर्जन पत्रों को देखने के बारे में एक टिप्पणी को परिवर्तित किया, जो ग्रेव्स एट अल के काम का अनुसरण करते हैं, जिन्होंने कैलिबर के परिणाम तैयार किए हैं" और कुछ लिंक प्रदान करेंगे। ध्यान रखें कि यह केवल NTMs से संबंधित प्रश्न के भाग का उत्तर देता है, न कि Google DeepMind से, इसके अलावा मैं अभी भी मशीन सीखने में रस्सियाँ सीख रहा हूँ, इसलिए इन पत्रों में कुछ सामग्री मेरे सिर के ऊपर है; मैंने ग्रेव्स एट अल के मूल पेपर {1] में बहुत सारी सामग्री को प्रबंधित करने का प्रबंधन किया, हालांकि मैं परीक्षण करने के लिए होमग्रोन एनटीएम कोड होने के करीब हूं। मैंने पिछले कुछ महीनों में कम से कम कागजात को कम कर दिया है; वे सख्त वैज्ञानिक तरीके से NTM अध्ययन की नकल नहीं करते हैं, लेकिन उनके कई प्रयोगात्मक परिणाम मूल रूप से कम से कम क्षमता का समर्थन करते हैं:
• एनटीएम संबोधित करने के एक संस्करण पर इस पत्र में , गुल्सेरे, एट अल। ग्रेव्स एट अल के परीक्षणों को ठीक से दोहराने की कोशिश न करें, लेकिन डीपमाइंड टीम की तरह, यह मूल एनटीएम और एक साधारण आवर्तक एलएसटीएम पर कई वेरिएंट के लिए बेहतर बेहतर परिणाम प्रदर्शित करता है। वे एन-ग्राम ग्रेव्स एट अल के बजाय फेसबुक क्यू एंड ए डेटासेट के 10,000 प्रशिक्षण नमूनों का उपयोग करते हैं। उनके कागज पर संचालित है, इसलिए यह सबसे सख्त अर्थों में प्रतिकृति नहीं है। हालाँकि, उन्होंने मूल NTM का एक संस्करण प्राप्त करने का प्रबंधन किया था और कई संस्करण ऊपर और चल रहे थे, साथ ही प्रदर्शन में सुधार का एक ही परिमाण दर्ज किया। 2
• मूल एनटीएम के विपरीत, इस अध्ययन ने सुदृढीकरण सीखने के एक संस्करण का परीक्षण किया , जो अलग नहीं था; ऐसा इसलिए हो सकता है कि जब तक नियंत्रक को पीछे की ओर ले जाने के लिए सीमित नहीं किया गया था, तब तक वे रिपीट-कॉपी की तरह कई प्रोग्रामिंग-हल नहीं कर सकते थे। फिर भी उनके परिणाम NTM के विचार को समर्थन देने के लिए पर्याप्त अच्छे थे। उनके कागज का एक और हालिया संशोधन स्पष्ट रूप से उपलब्ध है, जिसे मुझे अभी तक पढ़ना है, इसलिए शायद उनके संस्करण की कुछ समस्याएं हल हो गई हैं। 3
• LSTM जैसे साधारण तंत्रिका जाल के खिलाफ NTM के मूल स्वाद का परीक्षण करने के बजाय, इस पेपर ने इसे कई और उन्नत NTM मेमोरी संरचनाओं के विरुद्ध खड़ा कर दिया। उन्हें उसी तरह के प्रोग्रामिंग जैसे कार्यों पर अच्छे परिणाम मिले जो ग्रेव्स एट अल। परीक्षण किया गया है, लेकिन मुझे नहीं लगता कि वे एक ही डेटासेट का उपयोग कर रहे थे (यह उनके अध्ययन के तरीके से यह बताना कठिन है कि वे किस डेटासेट को संचालित कर रहे थे)। 4
• पी पर। इस अध्ययन में से 8 , एक NTM स्पष्ट रूप से कई LSTM, फ़ीड-फ़ॉरवर्ड और निकटतम पड़ोसी आधारित योजनाओं को एक ओमनीग्लॉट चरित्र पहचान डेटासेट पर स्पष्ट करता है। लेखकों द्वारा पकाई गई बाहरी मेमोरी के लिए एक वैकल्पिक दृष्टिकोण स्पष्ट रूप से धड़कता है, लेकिन यह अभी भी स्पष्ट रूप से अच्छा प्रदर्शन करता है। लेखक Google पर एक प्रतिद्वंद्वी टीम से संबंधित हैं, ताकि पुनरावृत्ति का आकलन करते समय एक मुद्दा हो सकता है। 5
• पी पर। 2 इन लेखकों ने प्रतिलिपि कार्यों के परीक्षण में "बहुत बड़े अनुक्रम" पर बेहतर सामान्यीकरण प्राप्त करने की सूचना दी, एक बहुत छोटे NTM नेटवर्क का उपयोग करके वे आनुवंशिक NEAT एल्गोरिथ्म के साथ विकसित हुए, जो गतिशील रूप से टोपोलॉजी को बढ़ाता है। 6
NTM काफी नए हैं इसलिए अभी तक मूल अनुसंधान को सख्ती से दोहराने के लिए ज्यादा समय नहीं हुआ है, मुझे लगता है। मुट्ठी भर कागज जो मैंने गर्मियों में स्किम्ड कर दिए थे, हालाँकि, उनके प्रयोगात्मक परिणामों के लिए उधार देने के लिए लगता है; मुझे अभी तक किसी भी रिपोर्ट को देखना है, लेकिन उत्कृष्ट प्रदर्शन। बेशक मेरे पास एक उपलब्धता पूर्वाग्रह है, क्योंकि मैं केवल उन pdfs को पढ़ता हूं जिन्हें मैं एक लापरवाह इंटरनेट खोज में आसानी से पा सकता हूं। उस छोटे से नमूने से ऐसा लगता है कि अनुवर्ती शोध का अधिकांश भाग अवधारणा पर ध्यान केंद्रित करने पर केंद्रित रहा है, न कि प्रतिकृति के बारे में, जो प्रतिकृति डेटा की कमी की व्याख्या करेगा। मुझे आशा है कि वह मदद करेंगे।
1 ग्रेव्स, एलेक्स; वेन, ग्रेग और डेनियलका, इवो, 2014, "न्यूरल ट्यूरिंग मशीन", 10 दिसंबर 2014 को प्रकाशित।
2 गुलश्रे, कैगलर; चन्दर, सारथ; चोय, क्युनघ्युन और बेंगियो, योशुआ, 2016, "डायनामिक न्यूरल ट्यूरिंग मशीन विथ सॉफ्ट एंड हार्ड एड्रेसिंग स्कीम्स" 30 जून 2016 को प्रकाशित हुई।
3 ज़रेम्बा, वोज्शिएक और सुतकीवर, इल्या, 2015, "रीइनफोर्समेंट लर्निंग न्यूरल ट्यूरिंग मशीन," 4 मई 2015 को प्रकाशित हुआ।
4 झांग; वी; यू, यांग और झोउ, बोवेन, 2015, "स्ट्रक्चर्ड मेमोरी फॉर न्यूरल ट्यूरिंग मशीन," 25 अक्टूबर 2015 को प्रकाशित।
5 सेंटोरो, एडम; बार्टुनोव, सर्गेई; बॉटविनिक, मैथ्यू; Wierstra, Daan and Lillicrap, Timothy, 2016, "वन-शॉट लर्निंग विद मेमोरी-ऑगमेंटेड न्यूरल नेटवर्क्स," 19 मई 2016 को प्रकाशित हुआ।
6 बोल ग्रेव, रासमस; जैकबसेन, एमिल जुउल और सेबेस्टियन आरसीआई, अज्ञात तिथि, "तंत्रिका तंत्रिका तंत्र को विकसित करना।" कोई प्रकाशक सूचीबद्ध नहीं है
सिवाय (शायद) बोले ग्रीव एट अल। कॉर्नेल यूनीविस्टी लाइब्रेरी arXiv.org रिपोजिटरी में प्रकाशित किया गया था: इथाका, न्यूयॉर्क।