backpropagation पर टैग किए गए जवाब

कई तंत्रिका नेटवर्क किताबें और ट्यूटोरियल बैकप्रॉपैगैशन एल्गोरिथ्म पर बहुत समय बिताते हैं, जो अनिवार्य रूप से ढाल की गणना करने के लिए एक उपकरण है। मान लें कि हम ~ 10K पैरामीटर / वेट के साथ एक मॉडल बना रहे हैं। क्या कुछ ढाल मुक्त अनुकूलन एल्गोरिदम का उपयोग …

94 machine-learning  neural-networks  optimization  backpropagation 

मैं समझता हूँ कि स्टोकेस्टिक ग्रेडिएंट वंश का उपयोग प्रशिक्षण डेटासेट के एक अलग नमूने के साथ प्रत्येक पुनरावृत्ति को अद्यतन करके एक तंत्रिका नेटवर्क को अनुकूलित करने के लिए किया जा सकता है। बैच का आकार कितना बड़ा होना चाहिए?

49 machine-learning  neural-networks  gradient-descent  backpropagation 

विशेष रूप से, मुझे लगता है कि मैं इस कथन के बारे में आश्चर्यचकित हूं: TensorFlow के भविष्य के प्रमुख संस्करण ग्रेडिएंट्स को डिफ़ॉल्ट रूप से बैकप्रॉप पर लेबल इनपुट में प्रवाहित करने की अनुमति देंगे। जिसका उपयोग करने पर दिखाया जाता है tf.nn.softmax_cross_entropy_with_logits। एक ही संदेश में यह मेरे …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

मैं समझने की कोशिश कर रहा हूं कि सॉफ्टपैक्स / क्रॉस-एन्ट्रापी आउटपुट लेयर के लिए बैकप्रॉपैगैशन कैसे काम करता है। क्रॉस एन्ट्रापी एरर फंक्शन है E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j साथ और न्यूरॉन में लक्ष्य और आउटपुट के रूप में , क्रमशः। आउटपुट लेयर में प्रत्येक न्यूरॉन के ऊपर योग होता …

40 backpropagation  derivative  softmax  cross-entropy 

मैंने प्रत्येक विधि के पेशेवरों और विपक्षों पर चर्चा करते हुए कुछ पेपर पढ़े हैं, कुछ ने तर्क दिया कि GA इष्टतम समाधान खोजने में कोई सुधार नहीं देता है जबकि अन्य बताते हैं कि यह अधिक प्रभावी है। ऐसा लगता है कि जीए को आम तौर पर साहित्य में …

34 neural-networks  genetic-algorithms  backpropagation 

एंड्रयू एनजी के दशक में Coursera पर तंत्रिका नेटवर्क और दीप लर्निंग पाठ्यक्रम वह कहता है कि का उपयोग कर लगभग हमेशा उपयोग करने के लिए बेहतर है ।tanhtanhtanhsigmoidsigmoidsigmoid कारण वह देता है कि का उपयोग कर उत्पादन है केंद्र नहीं बल्कि आसपास 0 से के 0.5, और इस "अगले …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

शून्य के साथ वजन को शुरू करना खतरनाक क्यों है? क्या कोई सरल उदाहरण है जो इसे प्रदर्शित करता है?

30 neural-networks  backpropagation 

मैं यहाँ निम्नलिखित पढ़ें : सिग्मॉइड आउटपुट शून्य केंद्रित नहीं हैं । न्यूरल नेटवर्क में प्रसंस्करण की बाद की परतों में न्यूरॉन्स के बाद से यह अवांछनीय है (जल्द ही इस पर) डेटा प्राप्त होगा जो शून्य-केंद्रित नहीं है। धीरे-धीरे वंश के दौरान गतिकी पर इसका प्रभाव पड़ता है, क्योंकि …

26 neural-networks  deep-learning  backpropagation 

मैं इस बात को लेकर उत्सुक हूं कि कैसे न्यूट्रल नेटवर्क का उपयोग नेट-रेस्पेक्ट्स / स्किप कनेक्शन के माध्यम से किया जाता है। मैंने ResNet (जैसे स्किप-लेयर कनेक्शन वाले न्यूरल नेटवर्क ) के बारे में कुछ सवाल देखे हैं, लेकिन यह विशेष रूप से प्रशिक्षण के दौरान ग्रेडिएंट्स के बैक-प्रचार …

22 machine-learning  neural-networks  conv-neural-network  gradient-descent  backpropagation 

जब एक तंत्रिका नेटवर्क को बैक-प्रचार एल्गोरिथ्म का उपयोग करके प्रशिक्षण दिया जाता है, तो वजन अपडेट को निर्धारित करने के लिए ढाल वंश विधि का उपयोग किया जाता है। मेरा सवाल है: धीरे-धीरे एक निश्चित वजन के संबंध में न्यूनतम बिंदु का पता लगाने के लिए ढाल मूल विधि …

22 neural-networks  gradient-descent  backpropagation 

गहरे और उथले तंत्रिका नेटवर्क के प्रशिक्षण में, अन्य मेटाफ्यूरिस्टिक्स के विपरीत ग्रेडिएंट मेथड्स (जैसे ग्रेडिएंट डिसेंट, नेस्टरोव, न्यूटन-राफसन) का आमतौर पर इस्तेमाल क्यों किया जाता है? मेटाह्यूरिस्टिक्स से मेरा मतलब है कि नकली एनालिंग, चींटी कॉलोनी ऑप्टिमाइज़ेशन आदि जैसे तरीके, जो एक स्थानीय मिनीमा में अटकने से बचने के …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

जब आप सभी वजन को एक ही मूल्य (0.5) कहते हैं, तो बैकप्रॉपैगैशन काम क्यों नहीं करता है, लेकिन यादृच्छिक संख्याओं को देखते हुए ठीक काम करता है? क्या एल्गोरिथ्म को त्रुटि की गणना नहीं करनी चाहिए और वहां से काम करना चाहिए, इस तथ्य के बावजूद कि वजन शुरू …

20 machine-learning  neural-networks  backpropagation 

मुझे बहुपरत परसेप्ट्रॉन (MLP) में उपयोग किए जाने वाले बैकप्रोपैजेशन एल्गोरिथ्म पर थोड़ा भ्रम हुआ । त्रुटि को लागत फ़ंक्शन द्वारा समायोजित किया जाता है। बैकप्रोपेगेशन में, हम छिपी हुई परतों के वजन को समायोजित करने की कोशिश कर रहे हैं। आउटपुट एरर मैं समझ सकता हूं, वह है, e …

19 machine-learning  neural-networks  backpropagation 

जब मैंने मिनी बैच ग्रेडिएंट सभ्य लागू किया, तो मैंने प्रशिक्षण बैच में सभी उदाहरणों के ग्रेडिएंट्स को औसत किया। हालाँकि, मैंने देखा कि अब ऑनलाइन ग्रेडिएंट सभ्य के लिए इष्टतम सीखने की दर बहुत अधिक है। मेरा अंतर्ज्ञान यह है कि यह इसलिए है क्योंकि औसत ग्रेडिएंट कम शोर …

15 neural-networks  gradient-descent  backpropagation 

एक आवर्तक तंत्रिका नेटवर्क में, आप आमतौर पर कई समय के चरणों के माध्यम से प्रचार को आगे बढ़ाते हैं, नेटवर्क को "अनियंत्रित" करते हैं, और फिर इनपुट के अनुक्रम में वापस प्रचार करते हैं। आप अनुक्रम में प्रत्येक व्यक्ति के कदम के बाद वजन को अपडेट क्यों नहीं करेंगे? …

14 time-series  neural-networks  backpropagation  rnn