neural-networks पर टैग किए गए जवाब

मैं backpropagation के साथ प्रशिक्षित तंत्रिका नेटवर्क में सॉफ्टमैक्स परत जोड़ने की कोशिश कर रहा हूं, इसलिए मैं इसके ढाल की गणना करने की कोशिश कर रहा हूं। सॉफ्टमैक्स आउटपुट hj=ezj∑ezihj=ezj∑ezih_j = \frac{e^{z_j}}{\sum{e^{z_i}}} जहांjjjआउटपुट न्यूरॉन संख्या है। अगर मैं इसे प्राप्त करता हूं तो मुझे मिलता है ∂hj∂zj=hj(1−hj)∂hj∂zj=hj(1−hj)\frac{\partial{h_j}}{\partial{z_j}}=h_j(1-h_j) लॉजिस्टिक रिग्रेशन …

43 neural-networks 

क्या कोई समझा सकता है कि तंत्रिका नेटवर्क में अधिकतम यूनिट क्या करती हैं? वे कैसे प्रदर्शन करते हैं और पारंपरिक इकाइयों से अलग कैसे होते हैं? मैंने गुडफेलो एट अल द्वारा 2013 के "मैक्सआउट नेटवर्क" पेपर को पढ़ने की कोशिश की । (प्रोफेसर योशुआ बेंगियो के समूह से), लेकिन …

42 machine-learning  neural-networks 

मोमेंटम का उपयोग लगातार पुनरावृत्तियों पर वज़न में होने वाले उतार-चढ़ाव को कम करने के लिए किया जाता है:αα\alpha Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), जहां त्रुटि फ़ंक्शन है, - वेट के वेक्टर, - सीखने की दर।E(w)E(w)E({\bf w})ww{\bf w}ηη\eta वजन में कमी वजन में परिवर्तन को …

41 neural-networks  optimization  regularization  gradient-descent 

डी-फैक्टो स्टैंडर्ड सिग्मोइड फ़ंक्शन, , इतना लोकप्रिय (गैर-गहन) तंत्रिका-नेटवर्क और लॉजिस्टिक प्रतिगमन में क्यों लोकप्रिय है?11+e−x11+e−x\frac{1}{1+e^{-x}} क्यों हम कई अन्य व्युत्पन्न कार्यों का उपयोग नहीं करते हैं, तेजी से गणना समय या धीमी क्षय के साथ (ताकि गायब होने वाला ढाल कम होता है)। सिग्मोइड कार्यों के बारे में कुछ …

40 logistic  neural-networks  least-squares 

मैं सिर्फ अपने पैरों को आंकड़ों में गीला कर रहा हूं इसलिए मुझे खेद है कि अगर यह सवाल समझ में नहीं आता है। मैंने खोज इंजन पर उपयोगकर्ताओं के क्लिक का अध्ययन करने के लिए छिपे हुए राज्यों (अनुचित कैसीनो, डाइस रोल, आदि) और तंत्रिका नेटवर्क की भविष्यवाणी करने …

40 data-mining  algorithms  neural-networks  markov-process 

मैंने पाया कि रैखिक नेटवर्क (ReLU) ने कई स्थानों पर तंत्रिका नेटवर्क के लिए लुप्त हो रही ढाल समस्या के समाधान के रूप में प्रशंसा की । यही है, एक सक्रियण फ़ंक्शन के रूप में अधिकतम (0, x) का उपयोग करता है। जब सक्रियण सकारात्मक होता है, तो यह स्पष्ट …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

मैं तंत्रिका नेटवर्क (एएनएन) का उपयोग करके एक जटिल प्रणाली के परिणाम की भविष्यवाणी करने की कोशिश कर रहा हूं। परिणाम (निर्भर) मान 0 और 10,000 के बीच होते हैं। अलग-अलग इनपुट वैरिएबल की अलग-अलग रेंज होती हैं। सभी चर में लगभग सामान्य वितरण होते हैं। मैं प्रशिक्षण से पहले …

40 machine-learning  neural-networks  multidimensional-scaling 

ImageNet वर्गीकरण पत्रों में शीर्ष -1 और शीर्ष -5 त्रुटि दर कुछ समाधानों की सफलता को मापने के लिए महत्वपूर्ण इकाइयाँ हैं, लेकिन वे त्रुटि दर क्या हैं? में दीप Convolutional तंत्रिका नेटवर्क के साथ ImageNet वर्गीकरण Krizhevsky एट अल द्वारा। एक एकल सीएनएन (पृष्ठ 7) पर आधारित हर समाधान …

38 classification  neural-networks  error  measurement-error  image-processing 

तंत्रिका नेटवर्क को अक्सर उनके जटिल संरचना के कारण "ब्लैक बॉक्स" के रूप में माना जाता है। यह आदर्श नहीं है, क्योंकि यह अक्सर फायदेमंद होता है कि एक मॉडल आंतरिक रूप से कैसे काम कर रहा है। एक प्रशिक्षित तंत्रिका नेटवर्क कैसे काम कर रहा है, यह देखने के …

37 data-visualization  neural-networks 

एक मुद्दा जिसे मैंने सामान्य रूप से न्यूरल नेटवर्क्स के संदर्भ में अक्सर देखा है, और विशेष रूप से डीप न्यूरल नेटवर्क्स, यह है कि वे "डेटा भूखे" हैं - यही है कि वे तब तक अच्छा प्रदर्शन नहीं करते हैं जब तक कि हमारे पास एक बड़ा डेटा सेट …

37 neural-networks  deep-learning  regularization 

मैं एक तंत्रिका नेटवर्क को प्रशिक्षित कर रहा हूं और प्रशिक्षण हानि कम हो जाती है, लेकिन सत्यापन हानि नहीं करता है, या यह बहुत कम घटता है जो मैं अपेक्षा करता हूं, बहुत समान आर्किटेक्चर और डेटा के साथ संदर्भ या प्रयोगों के आधार पर। मैं इसे कैसे ठीक …

37 neural-networks  deep-learning 

सजातीय तंत्रिका नेटवर्क के संदर्भ में "कर्नेल" और "फ़िल्टर" के बीच अंतर क्या है?

37 neural-networks  terminology  deep-learning  conv-neural-network 

सबसे पहले, मुझे एहसास हुआ कि अगर मुझे द्विआधारी भविष्यवाणियां करने की आवश्यकता है, तो मुझे एक-गर्म-एन्कोडिंग के माध्यम से कम से कम दो कक्षाएं बनाना होगा। क्या ये सही है? हालांकि, केवल एक वर्ग के साथ भविष्यवाणियों के लिए बाइनरी क्रॉस एन्ट्रॉपी है? अगर मैं एक श्रेणीगत क्रॉस एन्ट्रापी …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

तंत्रिका नेटवर्क की लागत फ़ंक्शन , और यह गैर-उत्तल होने का दावा किया जाता है । मुझे यह समझ में नहीं आया कि यह ऐसा क्यों है, क्योंकि मैं देख रहा हूं कि यह लॉजिस्टिक रिग्रेशन के लागत समारोह के समान है, है ना?जम्मू( डब्ल्यू।), बी )J(W,b)J(W,b) यदि यह गैर-उत्तल …

36 neural-networks  loss-functions 

LSTM का आविष्कार विशेष रूप से लुप्त हो रही ढाल समस्या से बचने के लिए किया गया था। ऐसा नहीं है कि ऐसा करने के लिए लगातार त्रुटि Carousel (सीईसी) है, जो नीचे चित्र पर (से के साथ माना जाता है Greff एट अल। ) के अनुरूप चारों ओर पाश …

35 neural-networks  lstm