समय श्रृंखला भविष्यवाणी के लिए गहन सीखने का उपयोग करना

Question

मैं गहरी शिक्षा के क्षेत्र में नया हूं और मेरे लिए पहला कदम deeplearning.net साइट से दिलचस्प लेख पढ़ना था। गहरी शिक्षा के बारे में कागजात में, हिंटन और अन्य लोग ज्यादातर इसे छवि समस्याओं पर लागू करने के बारे में बात करते हैं। क्या कोई मुझे जवाब देने की कोशिश कर सकता है यह समय श्रृंखला मूल्यों (वित्तीय, इंटरनेट ट्रैफ़िक, ...) की भविष्यवाणी की समस्या पर लागू किया जा सकता है और क्या महत्वपूर्ण चीजें हैं जो मुझे ध्यान केंद्रित करना चाहिए अगर यह संभव है?

Comments

क्या आपके पास पूर्वानुमान के लिए गहन सीखने का उपयोग करने के लिए कोई matlab कोड उदाहरण है?

— user3209559

नहीं, मैं deeplearning.net और pylearn2 लाइब्रेरी से कोड उदाहरण का उपयोग कर रहा हूं जिसे मैंने संशोधित किया है। इस पृष्ठ पर matlab कोड उदाहरण खोजने का प्रयास करें और पूर्वानुमान के लिए आवश्यक संशोधन करने का प्रयास करें।

— वेदरन

Answer 1

अनुक्रमिक डेटा के लिए गहन शिक्षण विधियों को अपनाने पर कुछ काम किया गया है। इस काम में बहुत से "मॉड्यूल" विकसित करने पर ध्यान केंद्रित किया गया है, जो एक तरह से प्रतिबंधित बोल्ट्जमन मशीनों (आरबीएम) या ऑटोकेनोडर्स को ढेर करने के लिए एक गहन तंत्रिका नेटवर्क बनाने के लिए एक तरह से स्टैक किया जा सकता है। मैं नीचे कुछ प्रकाश डालूँगा:

• सशर्त आरबीएम : संभवतः समय श्रृंखला के लिए गहन सीखने के सबसे सफल अनुप्रयोगों में से एक। टेलर मॉडल की तरह एक RBM विकसित करता है जो दृश्य इकाइयों के बीच अस्थायी बातचीत जोड़ता है और इसे मॉडलिंग गति कैप्चर डेटा पर लागू करता है। अनिवार्य रूप से आप कुछ के साथ अंत करते हैं जैसे कि छिपी हुई इकाइयों द्वारा जोड़े गए कुछ गैर-रैखिकता के साथ एक रैखिक गतिशील प्रणाली।
• टेम्पोरल आरबीएम : अपनी थीसिस (धारा 3) में इल्या सुतकीर ने कई आरबीएम विकसित किए हैं, जैसे कि यूनिटों के साथ अस्थायी बातचीत। वह कुछ दिलचस्प परिणाम भी प्रस्तुत करता है जिसमें प्रशिक्षण के साथ पुनरावर्ती तंत्रिका नेटवर्क दिखाते हैं, जो कि अधिक जटिल तरीकों से बेहतर या बेहतर प्रदर्शन कर सकते हैं, जैसे कि मार्टेंस का हेसियन-मुक्त एल्गोरिथ्म, अच्छा इनिशियलाइज़ेशन और गति के लिए थोड़ा संशोधित समीकरण का उपयोग करना।
• पुनरावर्ती ऑटोकेनोडर्स : अंत में मैं पार्सिंग के लिए पुनरावर्ती ऑटोकेनोडर्स का उपयोग करने पर रिचर्ड सोचर के काम का उल्लेख करूंगा। हालांकि यह समय श्रृंखला नहीं है, यह निश्चित रूप से संबंधित है।

Comments

गहरे / फीचर सीखने वाले समुदाय में एक धारणा भी तैर रही है कि आप एक आवर्ती नेटवर्क (अक्सर अनुक्रमिक डेटा पर लागू) को एक गहरे नेटवर्क के रूप में देख सकते हैं "अपनी तरफ," जहां सभी परतें समान वजन मैट्रिक्स को साझा करती हैं।

— lmjohns3

गहरी शिक्षा का उपयोग करने के लिए कम्प्यूटेशनल शक्ति पर आवश्यकता के बारे में क्या? गहरी सीखने की उद्योग-शक्ति की समस्या को हल करने के लिए पायथन या मतलाब उपयुक्त है?

— user3269

Pylearn2 थीनो लाइब्रेरी का उपयोग करता है जो CUDA समर्थन के साथ GPU पर निष्पादन को सक्षम करता है।

— वेदरन

Answer 2

हां, समय श्रृंखला भविष्यवाणियों के लिए गहरी शिक्षा लागू की जा सकती है। वास्तव में, यह पहले से ही कई बार किया गया है, उदाहरण के लिए:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

यह वास्तव में कोई "विशेष मामला" नहीं है, गहरी शिक्षा ज्यादातर प्रीप्रोसेसिंग विधि (जेनेरेटिव मॉडल के आधार पर) के बारे में है, इसलिए आपको केवल उन्हीं चीजों पर ध्यान केंद्रित करना होगा, जिन पर आप ध्यान केंद्रित करते हैं जब आप "पारंपरिक अर्थों" में गहरी सीख लेते हैं हाथ, और वही चीजें जो आप गहरी सीखने के बिना समय श्रृंखला भविष्यवाणियों का प्रदर्शन करते समय ध्यान केंद्रित करते हैं।

Answer 3

आवर्तक तंत्रिका नेटवर्क को डीप लर्निंग (DL) का एक प्रकार माना जाता है। मुझे लगता है कि वे (1d) अनुक्रम से अनुक्रम सीखने के लिए सबसे लोकप्रिय डीएल उपकरण हैं। वे वर्तमान में न्यूरल मशीन ट्रांसलेशन (NMT) एप्रोच (LISA (UdeM)), Google, और शायद एक ऐसा युगल है, जिसे मैं याद नहीं कर रहा हूं) का आधार है।

Answer 4

रिक ग्रेवल न्यूरल नेटवर्क्स के साथ एलेक्स ग्रेव्स के सीक्वेंस उत्पन्न करना पाठ की भविष्यवाणी करने और लिखावट संश्लेषण करने के लिए आवर्तक नेटवर्क और दीर्घकालिक अल्पकालिक सेल का उपयोग करता है।

लेडी करपैथी ने स्क्रैच से कैरेक्टर लेवल सीक्वेंस जेनरेट करने के बारे में एक ब्लॉग लिखा है । वह अपने ट्यूटोरियल में आरएनएन का उपयोग करता है।

अधिक उदाहरणों के लिए, आपको देखना चाहिए- Hochreiter, S., & Schmidhuber, J. (1997)। लंबी अवधि की स्मृति। तंत्रिका संगणना, 9 (8), 1735-1780।

Answer 5

शायद यह मदद करेगा:

• I. सतलवर, ओ। विनील्स, और QV V Le, "तंत्रिका नेटवर्क के साथ अनुक्रम सीखने की अनुक्रम," तंत्रिका सूचना प्रसंस्करण प्रणाली में अग्रिमों में, 2014, पीपी 3104-3112।

यदि आपके पास इस पेपर या पैराग्राफ में वाक्यों जैसे डेटा पर आपकी सटीक समय विंडो के लिए परिभाषा है तो आप LSTM का उपयोग करने के साथ ठीक हो जाएंगे, लेकिन मुझे यकीन नहीं है कि समय खिड़की को कैसे खोजना है जो स्पष्ट नहीं हैं और अधिक संदर्भ से अवगत हैं। इसका एक उदाहरण यह हो सकता है कि आप कितने लॉग डेटा देख रहे हैं, संबंधित हैं और यह कुछ स्पष्ट नहीं है।

Comments

क्या आप कह सकते हैं कि कागज में क्या मददगार है? यह दिलचस्प सामग्री है

— छायाकार

मुझे लगता है कि आप यहां कुछ अन्य कागजात पा सकते हैं: cs.stanford.edu/people/ang/?page_id=414

— M.Rez

धन्यवाद, लेकिन मेरा मतलब यह नहीं है। आमतौर पर यहां हम पूछते हैं कि लोग बताते हैं कि वे कैसे लिंक करते हैं जो उत्तर के लिए प्रासंगिक है। यह हर किसी के लिए उपयोगी है, जिनके पास शायद समय नहीं है कि आप नीचे ट्रैक करें और पेपर पढ़ें, और विशेष रूप से बिना लाइब्रेरी डेटाबेस सब्सक्रिप्शन वाले लोग, जो पिछले

— भुगतानों को