तंत्रिका नेटवर्क में नमूने, समय कदम और सुविधाओं के बीच अंतर

Question

मैं LSTM तंत्रिका नेटवर्क पर निम्न ब्लॉग से गुजर रहा हूं: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/

लेखक इनपुट वेक्टर X को LSTM के विभिन्न विन्यास के लिए [नमूने, समय के कदम, सुविधाएँ] के रूप में फिर से दिखाता है।

लेखक लिखता है

दरअसल, अक्षरों के क्रम अलग-अलग सुविधाओं के एक समय के कदम के बजाय एक विशेषता के समय कदम हैं। हमने नेटवर्क को अधिक संदर्भ दिया है, लेकिन अधिक अनुक्रम नहीं है जैसा कि यह अपेक्षित था

इसका क्या मतलब है?

Answer 1

मैंने इसे [नमूने, time_steps, सुविधाओं] के ठीक नीचे पाया है कि आप किससे संबंधित हैं।

X = numpy.reshape(dataX, (len(dataX), seq_length, 1))

नमूने - यह लेन (डेटाएक्स), या आपके पास डेटा बिंदुओं की मात्रा है।

समय कदम - यह आपके आवर्तक तंत्रिका नेटवर्क को चलाने वाले समय कदमों की मात्रा के बराबर है। यदि आप चाहते हैं कि आपके नेटवर्क में 60 अक्षरों की मेमोरी हो, तो यह संख्या 60 होनी चाहिए।

विशेषताएं - यह हर समय कदम में सुविधाओं की मात्रा है। यदि आप चित्र संसाधित कर रहे हैं, तो यह पिक्सेल की मात्रा है। इस स्थिति में आपको समय-समय पर 1 विशेषता दिखाई देती है।

Comments

क्या आप इसके बीच का अंतर समझा सकते हैं: X = numpy.reshape (dataX, (len (dataX), 3, 1)) और X = numpy.reshape (dataX, (len (dataX), 1, 3)) यह कैसे प्रभावित करता है lstm?

— विपुल जैन

(len (dataX), 3, 1) 3 पुनरावृत्तियों के लिए LSTM चलाता है, आकृति के इनपुट वेक्टर (1,) को इनपुट करता है। (len (dataX), 1, 3) 1 पुनरावृत्ति के लिए LSTM चलाता है। जिसका अर्थ है कि पिछले पुनरावृत्तियों से कोई प्रतिक्रिया नहीं हो सकती है, क्योंकि यह भी समवर्ती कनेक्शन के लिए काफी बेकार है। इस स्थिति में RNN को इनपुट आकार (3,)

— जूनटैन सैमुअल

"(len (dataX), 3, 1) 3 पुनरावृत्तियों के लिए LSTM चलाता है" न ही हम इसके लिए युग का उपयोग करते हैं। क्या इसका अर्थ युग 3 के समान है?

— विपुल जैन

मोटे अनुवाद में एक युग का अर्थ है कि हमने अपने डेटा सेट में प्रत्येक डेटा बिंदु पर एक बार प्रशिक्षित किया है। प्रशिक्षण के दौरान, लेन (डेटाएक्स) के उदाहरणों को 1 युग के रूप में देखा जाता है। हालांकि, आरएनएन क्रमिक रूप से डेटा लेते हैं। प्रत्येक प्रशिक्षण उदाहरण पर, आपको इसे कई पुनरावृत्तियों पर डेटा फीड करना होगा। उदाहरण के लिए, मेरे पास एक शब्द है "कार" और प्रत्येक पुनरावृत्ति पर मैं इसे एक पत्र खिलाता हूं, इसे पूरी गणना करने देता हूं और फिर अगले पत्र को खिलाता हूं। शब्द "कार" को पूरा करने के लिए पत्र द्वारा पूरे शब्द पत्र को संसाधित करने के लिए 3 पुनरावृत्तियों की आवश्यकता होती है।

— जूनटैन सैमुअल

@JoonatanSamuel हाय, मुझे पता है कि बहुत समय बीत चुका है लेकिन मुझे एक ही विषय को समझने में बहुत परेशानी हो रही है। आपका उत्तर बहुत स्पष्ट है, लेकिन मैं अभी भी थोड़ा भ्रमित हूं। इमैजिन हमारे पास एक टाइम सीरीज़ थी, जिसमें हर महीने कई सालों तक सेल्स का वर्णन होता था। उदाहरण के लिए len (data) = 3000, data.shape = (3000,1) की कल्पना करें, इसलिए हमारे पास 3000 महीने दर्ज हैं। अगले की भविष्यवाणी करें : यदि मैं अगले एक (केवल अगले एक) की भविष्यवाणी करने के लिए एन पिछले अवलोकन का उपयोग करना चाहता हूं, तो एलएसटीएम को इनपुट डेटा का आकार क्या होना चाहिए? उदाहरण के लिए अगर हम t-n,..., t-2, t-1भविष्यवाणी करना चाहते थे t।

— Euler_Salter

Answer 2

यह बहुत देर हो चुकी है लेकिन सिर्फ मामले में;
एक नमूना व्यक्तिगत प्रशिक्षण उदाहरणों को संदर्भित कर सकता है। इसलिए एक "बैच_साइज़" वैरिएबल है, जो आपके द्वारा तंत्रिका नेटवर्क को भेजे गए नमूनों की गिनती है। यही है, आप तंत्रिका नेटवर्क पर एक बार में कितने अलग-अलग उदाहरण फ़ीड करते हैं।

टाइमस्टेप्स समय की टिक हैं। यह कितना समय आपके नमूने में से प्रत्येक में है। उदाहरण के लिए, एक नमूने में 128-समय के चरण शामिल हो सकते हैं, जहां हर बार कदम सिग्नल प्रसंस्करण के लिए 30 सेकंड का हो सकता है। प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में, एक समय कदम सेटअप के आधार पर एक चरित्र, एक शब्द या एक वाक्य के साथ जुड़ा हो सकता है।

विशेषताएं बस आयामों की संख्या होती हैं जिन्हें हम प्रत्येक समय चरणों में खिलाते हैं। उदाहरण के लिए एनएलपी में, वर्ड 2vec का उपयोग करके 300 विशेषताओं द्वारा एक शब्द का प्रतिनिधित्व किया जा सकता है। सिग्नल प्रोसेसिंग के मामले में, आइए दिखाते हैं कि आपका सिग्नल 3 डी है। यही है, आपके पास एक एक्स, वाई और जेड सिग्नल है, जैसे कि प्रत्येक अक्ष पर एक्सेलेरोमीटर का माप। इसका मतलब है कि आपके पास प्रत्येक नमूने के लिए प्रत्येक चरण में 3 सुविधाएँ भेजी जाएंगी। गिलौम

द्वारा

Answer 3

एक उदाहरण के साथ मेरा जवाब: ["नमस्ते यह xyz है", "आप कैसे कर रहे हैं", "महान व्यक्ति ..."

इस मामले में "[नमूने, समय कदम, सुविधाएँ]" का अर्थ है:

• नमूना: 3 क्योंकि सूची में 3 तत्व हैं
• समय कदम: यहाँ आप max_length = 4 लंबाई ("हैलो यह xyz है") ले सकते हैं = 4; लंबाई ("आप कैसे कर रहे हैं") = 4; लंबाई ("महान व्यक्ति ...") = 2 (विराम चिह्न हटाने के बाद "")। यह कहने का कारण एक समय कदम है, पहले तत्व में "नमस्ते यह xyz है" ==> t0 ("हैलो"), t1 ("यह"), t2 ("है") और t3 ("xzz")
• विशेषताएं: प्रत्येक शब्द के लिए एम्बेडिंग का आकार। उदाहरण के लिए, "हैलो": 50D सरणी, "यह": 50D सरणी और इतने पर