cross-entropy पर टैग किए गए जवाब

मैं एन-कक्षाओं में वस्तुओं के एक सेट को वर्गीकृत करने के लिए एक तंत्रिका नेटवर्क का प्रशिक्षण दे रहा हूं। प्रत्येक वस्तु एक ही समय में कई वर्गों (मल्टी-क्लास, मल्टी-लेबल) से संबंधित हो सकती है। मैंने पढ़ा है कि बहु-वर्ग की समस्याओं के लिए आम तौर पर एमएमएस के बजाय …

64 neural-networks  python  loss-functions  keras  cross-entropy 

मैं समझने की कोशिश कर रहा हूं कि सॉफ्टपैक्स / क्रॉस-एन्ट्रापी आउटपुट लेयर के लिए बैकप्रॉपैगैशन कैसे काम करता है। क्रॉस एन्ट्रापी एरर फंक्शन है E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j साथ और न्यूरॉन में लक्ष्य और आउटपुट के रूप में , क्रमशः। आउटपुट लेयर में प्रत्येक न्यूरॉन के ऊपर योग होता …

40 backpropagation  derivative  softmax  cross-entropy 

मेरे दिमाग में, नमूना वितरण से सच्चे वितरण तक केएल विचलन बस क्रॉस एन्ट्रॉपी और एन्ट्रॉपी के बीच का अंतर है। हम कई मशीन लर्निंग मॉडल में लागत फ़ंक्शन होने के लिए क्रॉस एन्ट्रॉपी का उपयोग क्यों करते हैं, लेकिन टी-स्ने में कुल्बैक-लीब्लर विचलन का उपयोग करते हैं? क्या सीखने …

39 kullback-leibler  tsne  cross-entropy 

सबसे पहले, मुझे एहसास हुआ कि अगर मुझे द्विआधारी भविष्यवाणियां करने की आवश्यकता है, तो मुझे एक-गर्म-एन्कोडिंग के माध्यम से कम से कम दो कक्षाएं बनाना होगा। क्या ये सही है? हालांकि, केवल एक वर्ग के साथ भविष्यवाणियों के लिए बाइनरी क्रॉस एन्ट्रॉपी है? अगर मैं एक श्रेणीगत क्रॉस एन्ट्रापी …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

5.5 में, डीप लर्निंग (इयान गुडफेलो, योशुआ बेंगियो और आरोन कोर्टविल द्वारा), यह बताता है कि एक नकारात्मक लॉग-लाइबिलिटी से युक्त कोई भी नुकसान प्रशिक्षण सेट और मॉडल द्वारा परिभाषित संभावना वितरण द्वारा परिभाषित अनुभवजन्य वितरण के बीच का अंतर-प्रवेश है। उदाहरण के लिए, मतलब चुकता त्रुटि अनुभवजन्य वितरण और …

28 machine-learning  normal-distribution  cross-entropy 

जब एक पिक्सेल विभाजन तंत्रिका नेटवर्क, जैसे पूरी तरह से दृढ़ नेटवर्क, को प्रशिक्षित करते हैं, तो आप क्रॉस-एन्ट्रापी लॉस फ़ंक्शन बनाम डाइस-गुणांक हानि फ़ंक्शन का उपयोग करने का निर्णय कैसे लेते हैं? मुझे लगता है कि यह एक छोटा सवाल है, लेकिन यह निश्चित नहीं है कि अन्य जानकारी …

27 neural-networks  loss-functions  cross-entropy 

मैं थोड़ा सा ऑटोएन्कोडर्स प्रयोग कर रहा हूं, और टेंसरफ़्लो के साथ मैंने एक मॉडल बनाया जो एमएनआईएसटी डेटासेट के पुनर्निर्माण की कोशिश करता है। मेरा नेटवर्क बहुत सरल है: एक्स, ई 1, ई 2, डी 1, वाई, जहां ई 1 और ई 2 एन्कोडिंग परतें हैं, डी 2 और …

21 mse  autoencoders  tensorflow  cross-entropy 

क्या प्रति-प्रवेश लागत प्रतिगमन के संदर्भ में समझ में आता है (वर्गीकरण के विपरीत)? यदि हां, तो आप TensorFlow के माध्यम से एक खिलौना उदाहरण दे सकते हैं? यदि नहीं, तो क्यों नहीं? मैं माइकल नील्सन द्वारा न्यूरल नेटवर्क्स और डीप लर्निंग में क्रॉस-एंट्रोपी के बारे में पढ़ रहा था …

14 regression  entropy  tensorflow  cross-entropy 

मैंने न्यूरल नेटवर्क्स के साथ तंत्रिका नेटवर्क के बारे में सीखना शुरू कर दिया है। डॉट कॉम ट्यूटोरियल। तीसरे अध्याय में विशेष रूप से क्रॉस एन्ट्रापी फ़ंक्शन के बारे में एक अनुभाग है, और क्रॉस एन्ट्रापी नुकसान को परिभाषित करता है: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + …

12 neural-networks  loss-functions  softmax  cross-entropy 

मैं समझता हूँ कि स्वतंत्र प्रेक्षणों का एक सेट दिया गया है अधिकतम संभावना अनुमानक (या, समतुल्य रूप, फ्लैट के साथ मानचित्र / वर्दी पहले) कि पहचान करता मापदंडों \ mathbf {θ} कि मॉडल वितरण उत्पादन P_ {मॉडल} \ बाएँ (\, \ cdot \;; \ mathbf {c} \ right) जो …

12 maximum-likelihood  deep-learning  cross-entropy 

दो असतत वितरण और , क्रॉस एन्ट्रॉपी को परिभाषित किया गया हैपीपीpक्षक्षq एच( पी , क्यू) = - ∑एक्सपी ( एक्स ) लॉगक्ष( x ) ।एच(पी,क्ष)=-Σएक्सपी(एक्स)लॉग⁡क्ष(एक्स)।H(p,q)=-\sum_x p(x)\log q(x). मुझे आश्चर्य है कि यह दो प्रायिकता वितरण के बीच दूरी का एक सहज उपाय क्यों होगा? मुझे लगता है कि के …

11 probability  distributions  cross-entropy