derivative पर टैग किए गए जवाब

मैं समझने की कोशिश कर रहा हूं कि सॉफ्टपैक्स / क्रॉस-एन्ट्रापी आउटपुट लेयर के लिए बैकप्रॉपैगैशन कैसे काम करता है। क्रॉस एन्ट्रापी एरर फंक्शन है E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j साथ और न्यूरॉन में लक्ष्य और आउटपुट के रूप में , क्रमशः। आउटपुट लेयर में प्रत्येक न्यूरॉन के ऊपर योग होता …

40 backpropagation  derivative  softmax  cross-entropy 

मैं कौरसेरा पर मशीन लर्निंग स्टैनफोर्ड कोर्स कर रहा हूं। लॉजिस्टिक रिग्रेशन पर अध्याय में, लागत समारोह यह है: फिर, इसे यहाँ व्युत्पन्न किया गया है: मैंने लागत समारोह के व्युत्पन्न होने की कोशिश की, लेकिन मुझे कुछ पूरी तरह से अलग मिला। व्युत्पन्न कैसे प्राप्त किया जाता है? मध्यस्थ …

29 regression  logistic  gradient-descent  derivative 

यकीन नहीं होता कि यह सवाल यहाँ है, लेकिन यह अनुकूलन में ढाल के तरीकों से निकटता से संबंधित है, जो यहाँ विषय पर लगता है। वैसे भी, अगर आपको लगता है कि कुछ अन्य समुदाय के विषय में बेहतर विशेषज्ञता है तो आप बेझिझक पलायन कर सकते हैं। संक्षेप …

27 optimization  derivative  tensorflow  automatic-differentiation 

पुस्तक पैटर्न मान्यता और मशीन लर्निंग (सूत्र 1.27) में, यह देता है जहाँx=g(y),px(x)वह पीडीएफ है जोचर के परिवर्तन के संबंध मेंpy(y)से मेल खाती है।py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y) |x=g(y)x=g(y)x=g(y)px(x)px(x)p_x(x)py(y)py(y)p_y(y) पुस्तकों का कहना है, क्योंकि है कि टिप्पणियों की सीमा में पड़ने वाले है , के …

16 machine-learning  probability  self-study  derivative  jacobian 

मेरे पास एक डेटासेट है जिसमें मान लें, स्थिति, गति और त्वरण के लिए कुछ माप हैं। सभी एक ही "रन" से आते हैं। मैं एक रैखिक प्रणाली का निर्माण कर सकता था और उन सभी मापों में एक बहुपद को फिट कर सकता था। लेकिन क्या मैं स्प्लिन के …

14 r  model  fitting  splines  derivative 

मेरा मानना ​​है कि गॉसियन प्रक्रिया (जीपी) का व्युत्पन्न एक और जीपी है, और इसलिए मैं यह जानना चाहूंगा कि क्या जीपी के व्युत्पन्न समीकरणों के पूर्वानुमान समीकरणों के लिए बंद फॉर्म समीकरण हैं? विशेष रूप से, मैं चुकता घातांक (जिसे गाऊसी भी कहा जाता है) कोवरियस कर्नेल का उपयोग …

12 stochastic-processes  gaussian-process  derivative 

गुडफेलो की (2016) पुस्तक में गहन अध्ययन पर, उन्होंने L2 नियमितीकरण ( https://www.deeplearningbook.org/contents/ अनियमितization.html पृष्ठ 247) पर शीघ्र रोक लगाने की बात की । लागत समारोह का द्विघात अनुमान है:jjj J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) जहां हेसियन मैट्रिक्स (Eq। 7.33) है। क्या यह बीच का शब्द याद आ रहा है? टेलर विस्तार होना चाहिए: …

11 neural-networks  deep-learning  loss-functions  derivative 

मैं कुछ बिंदुओं पर देखा है दूसरे के लिए सम्मान के साथ एक संभावना माप की रेडॉन-Nikodym व्युत्पन्न का उपयोग, सबसे विशेष रूप से Kullback-Leibler विचलन, जहां यह कुछ मनमाना पैरामीटर के लिए एक मॉडल की संभावना उपाय के व्युत्पन्न है में θθ\theta साथ असली पैरामीटर के संबंध में θ0θ0\theta_0 …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

मैं समझता हूं कि तंत्रिका नेटवर्क (एनएन) को कुछ अनुमानों (नेटवर्क और फ़ंक्शन दोनों पर अनुमानित) के तहत दोनों कार्यों और उनके डेरिवेटिव के लिए सार्वभौमिक सन्निकटन माना जा सकता है। वास्तव में, मैंने सरल, अभी तक गैर-तुच्छ कार्यों (जैसे, बहुपद) पर कई परीक्षण किए हैं, और ऐसा लगता है …

11 machine-learning  neural-networks  function  derivative 

एंड्रयू एनजी के मशीन लर्निंग कोर्स में, वह इस सूत्र का उपयोग करते हैं: ∇Atr(ABATC)=CAB+CTABT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T और वह एक त्वरित प्रमाण करता है जो नीचे दिखाया गया है: ∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB∇Atr(ABATC)=∇Atr(f(A)ATC)=∇∘tr(f(∘)ATC)+∇∘tr(f(A)∘TC)=(ATC)Tf′(∘)+(∇∘Ttr(f(A)∘TC)T=CTABT+(∇∘Ttr(∘T)Cf(A))T=CTABT+((Cf(A))T)T=CTABT+CAB\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ …

10 machine-learning  matrix  derivative