LSTM, BiLSTM क्या है और इनका उपयोग कब करना है?

Question

मैं डीप लर्निंग के लिए बहुत नया हूँ और मुझे यह जानने में विशेष रूप से दिलचस्पी है कि LSTM और BiLSTM क्या हैं और इनका उपयोग कब करना है (प्रमुख अनुप्रयोग क्षेत्र)। LSTM और BILSTM RNN से अधिक लोकप्रिय क्यों हैं?

क्या हम इन गहरी शिक्षण वास्तुकलाओं का उपयोग अनचाही समस्याओं में कर सकते हैं?

Comments

BiLSTM का अर्थ है द्विदिश LSTM, जिसका अर्थ है कि संकेत समय के साथ-साथ पिछड़े को भी फैलाता है। आप इस वास्तुकला को अन्य RNN पर भी लागू कर सकते हैं। जानकारी के लिए कृपया en.wikipedia.org/wiki/Bidirectional_recurrent_neural_networks और colah.github.io/posts/2015-08-Understanding-LSTMs साइट पर आपका स्वागत है!

— Emre

यहाँ एक पोस्ट है , RNN और LSTM के बीच का अंतर और यहाँ LSTM और Bidirectional-LTSM के बीच के अंतर को प्रदर्शित करने के लिए एक ब्लॉग है

— Benyamin

Answer 1

RNNआर्किटेक्चर ऐसे हैं LSTMऔर BiLSTMउन अवसरों पर उपयोग किए जाते हैं जहां सीखने की समस्या अनुक्रमिक होती है, उदाहरण के लिए आपके पास एक वीडियो है और आप जानना चाहते हैं कि वह सब क्या है या आप चाहते हैं कि कोई एजेंट आपके लिए दस्तावेज़ की एक पंक्ति पढ़े जो पाठ की एक छवि है और टेक्स्ट फॉर्मेट में नहीं। मैं आपको यहाँ देखने के लिए प्रोत्साहित करता हूँ ।

LSTMsऔर उनके द्विदिश संस्करण लोकप्रिय हैं क्योंकि उन्होंने यह सीखने की कोशिश की है कि कैसे और कब भूलना है और कब अपनी वास्तुकला में फाटकों का उपयोग नहीं करना है। पिछले RNNआर्किटेक्चर में, गायब होने वाले ग्रेडिएंट्स एक बड़ी समस्या थी और उन जालों के कारण इतना कुछ नहीं सीखते थे।

द्विदिश का उपयोग करते हुए LSTMs, आप सीखने के एल्गोरिथ्म को मूल डेटा के साथ एक बार शुरू से अंत तक और एक बार अंत से शुरुआत तक खिलाते हैं। यहां बहसें होती हैं, लेकिन यह आमतौर पर एक-दिशात्मक दृष्टिकोण से अधिक तेजी से सीखता है, हालांकि यह कार्य पर निर्भर करता है।

हां, आप उन्हें अपने कार्य के आधार पर अप्रशिक्षित शिक्षा में भी उपयोग कर सकते हैं। यहाँ और यहाँ पर एक नज़र रखना ।

Comments

अद्भुत उत्तर के लिए बहुत बहुत धन्यवाद। क्या हम NLP में कीवर्ड निष्कर्षण के लिए lstm का उपयोग कर सकते हैं?

— Volka

वास्तव में उनके बारे में बहुत सारे कागज हैं, जैसे आप यहां और यहां देख सकते हैं ।

— मीडिया

बहुत बहुत धन्यवाद। मैं बस सोच रहा हूँ कि क्या ऑफ-द-शेल्फ कीवर्ड एक्सट्रैक्शन डीप लर्निंग अप्रोच है जिसका हम उपयोग कर सकते हैं?

— Volka

वास्तव में मैंने नहीं देखा है, शायद यह पूछने के लिए बेहतर है :)

— मीडिया

Answer 2

मनुष्य हर सेकंड खरोंच से अपनी सोच शुरू नहीं करता है। जैसा कि आप इस निबंध को पढ़ते हैं, आप पिछले शब्दों की अपनी समझ के आधार पर प्रत्येक शब्द को समझते हैं। आप सब कुछ दूर नहीं फेंकते हैं और फिर से खरोंच से सोचना शुरू करते हैं। आपके विचारों में दृढ़ता है।

पारंपरिक तंत्रिका नेटवर्क ऐसा नहीं कर सकते हैं, और यह एक बड़ी कमी की तरह लगता है। उदाहरण के लिए, कल्पना करें कि आप यह वर्गीकृत करना चाहते हैं कि किसी फिल्म में हर बिंदु पर किस तरह की घटना हो रही है। यह स्पष्ट नहीं है कि एक पारंपरिक तंत्रिका नेटवर्क बाद में लोगों को सूचित करने के लिए फिल्म में पिछली घटनाओं के बारे में अपने तर्क का उपयोग कर सकता है।

आवर्तक तंत्रिका नेटवर्क इस समस्या का समाधान करते हैं। वे उन में लूप के साथ नेटवर्क हैं, जिससे जानकारी बनी रहती है।

आगे पढ़ने के लिए यह कोहेन के ब्लॉग पर जाएं

Answer 3

LSTM की तुलना में, BLSTMया BiLSTMदो नेटवर्क हैं, एक दिशा pastमें सूचना का forwardउपयोग और दूसरा दिशा futureमें पहुंच का reverse। विकी

एक नए वर्ग Bidirectionalको आधिकारिक दस्तावेज के अनुसार यहां जोड़ा गया है :

model = Sequential()
model.add(Bidirectional(LSTM(num_channels, 
        implementation = 2, recurrent_activation = 'sigmoid'),
        input_shape=(input_length, input_dim)))

IMDB डेटा का उपयोग कर पूरा उदाहरण इस तरह होगा