क्रास एन्ट्रॉपी वर्गीकरण मानक हानि फ़ंक्शन बन गया है और कुल्बेक लीब्लर विचलन नहीं?

Question

क्रॉस एन्ट्रापी केएल विचलन और लक्ष्य वितरण के एंट्रोपी के समान है। केएल शून्य के बराबर होता है जब दो वितरण समान होते हैं, जो लक्ष्य वितरण की एन्ट्रॉपी की तुलना में मेरे लिए अधिक सहज लगता है, जो कि मैच में क्रॉस एन्ट्रॉपी है।

मैं यह नहीं कह रहा हूं कि किसी एक में अधिक जानकारी है, सिवाय इसके कि एक मानवीय दृष्टिकोण एक सकारात्मक की तुलना में एक शून्य अधिक सहज ज्ञान युक्त हो सकता है। बेशक, एक आम तौर पर एक मूल्यांकन पद्धति का उपयोग करता है कि वास्तव में यह देखने के लिए कि वर्गीकरण कितना अच्छा होता है। लेकिन क्या केएल ऐतिहासिक पर क्रॉस एन्ट्रॉपी का विकल्प है?

Answer 1

जब मशीन सीखने में वर्गीकरण की समस्या आती है, तो क्रॉस एन्ट्रॉपी और केएल डाइवर्जेंस बराबर होते हैं । जैसा कि पहले ही सवाल में कहा गया है, सामान्य सूत्र यह है:

$$H(p, q) = H(p) + D_{KL}(p||q)$$

$p$$q$$H(p, q)$$H(p)$$D$

$p$

$$p = [0,..., 1, ..., 0]$$

जो मूल रूप से एक डेल्टा-फंक्शन है वितरण है। लेकिन डेल्टा फ़ंक्शन का एन्ट्रापी शून्य है, इसलिए केएल विचलन बस क्रॉस-एंट्रोपी के बराबर होता है।

$H(p)$$0$

Answer 2

क्रॉस-एन्ट्रॉपी एक एन्ट्रॉपी है, न कि एन्ट्रापी अंतर।

वर्गीकरण मानदंड की अवधारणा के लिए एक अधिक प्राकृतिक और शायद सहज तरीका एक परिभाषा के बजाय एक संबंध के माध्यम से है।

$H(P, Q) - H(P) = D_{\mathrm{KL}}(P\|Q) = - \sum_i P(i) \log\frac{Q(i)}{P(i)}$

यह क्वांटम मैकेनिकल थर्मोडायनामिक्स और सूचना सिद्धांत के बीच, जॉन वॉन न्यूमैन के साथ क्लाउड शैनन द्वारा पहचाने गए समानताएं हैं। एन्ट्रॉपी एक पूर्ण मात्रा नहीं है। यह एक सापेक्ष है, इसलिए न तो एन्ट्रॉपी और न ही क्रॉस एन्ट्रॉपी की गणना की जा सकती है, लेकिन उनका अंतर ऊपर के असतत मामले या इसके निरंतर भाई-बहन के लिए हो सकता है।

$H(P, Q) - H(P) = D_{\mathrm{KL}}(P\|Q) = - \int_{-\infty}^\infty \, p(x) \log\frac {q(x)} {p(x)} \, dx$

हालांकि हम देख सकते हैं $H(...) = ...$साहित्य में, समीकरण के दाईं ओर कोई H '(...) नहीं है, यह तकनीकी रूप से सटीक नहीं है। ऐसे मामलों में हमेशा कुछ निहित एन्ट्रॉपी होती है, जो बाएं हाथ की तरफ एन्ट्रापी सापेक्ष होती है।