गुणात्मक रूप से क्रॉस एंट्रॉपी क्या है

यह प्रश्न सूत्र के रूप में, क्रॉस एन्ट्रॉपी की मात्रात्मक परिभाषा देता है।

मैं एक और अधिक महत्वपूर्ण परिभाषा की तलाश में हूं, विकिपीडिया कहता है:

सूचना सिद्धांत में, दो प्रायिकता वितरण के बीच क्रॉस एन्ट्रापी संभावनाओं के एक समूह से किसी घटना की पहचान करने के लिए आवश्यक बिट्स की औसत संख्या को मापता है, यदि कोडिंग स्कीम का उपयोग "सही" वितरण पी के बजाय किसी दिए गए प्रायिकता वितरण q के आधार पर किया जाता है। ।

मैंने उस हिस्से पर जोर दिया है जो मुझे यह समझने में परेशानी दे रहा है। मैं एक अच्छी परिभाषा चाहूंगा जिसमें एन्ट्रॉपी की अलग (पहले से मौजूद) समझ की आवश्यकता न हो।

entropy information-theory

— लिंडन व्हाइट
स्रोत

आप क्रॉस- मेन्ट्रोपी की एक परिभाषा के लिए पूछ रहे हैं, एक ही समय में, एन्ट्रापी को ही परिभाषित करेगा । और सहज रूप से ऐसा ... यदि आपको एंट्रोपी की अवधारणा को समझने में परेशानी हो रही है, तो पहले मूल अवधारणा और फिर उसके किसी एक विस्तार को समझना एक अच्छा विचार होगा।

— एलेकोस पापाडोपोलोस

व्यक्तिगत रूप से मुझे एन्ट्रॉपी की एक बुनियादी समझ थी (हालांकि मैंने इसे लागू किए लगभग 12 महीने हो चुके हैं)। लेकिन एंट्रोपी की एक मात्रात्मक अभिव्यक्ति, एक छोटे पैराग्राफ में फिट होनी चाहिए, और क्रॉस एन्ट्रॉपी को केवल एक और लेना चाहिए। इसलिए मुझे लगता है कि एक अच्छा जवाब दोनों को शामिल कर सकता है, ताकि पाठक को इसे समझने के लिए कहीं और संदर्भित करने की आवश्यकता न हो।

— लिंडन व्हाइट

संबंधित पोस्ट देखें: आंकड़े.stackexchange.com/questions/66186/… और आँकड़े.stackexchange.com/questions/188903/…

— kjetil b halvorsen

एक घटना संभावना के साथ होने वाली सांकेतिक शब्दों में बदलना करने के लिए आप की जरूरत कम से कम बिट्स (क्यों? देखने पर "शैनन के एन्ट्रापी में लघुगणक की भूमिका क्या है?" मेरा उत्तर )। $p$ $\log_2(1/p)$

तो इष्टतम एन्कोडेड संदेश की औसत लंबाई एन्कोडिंग में है यह है कि,शैनन एन्ट्रापीमूल प्रायिकता वितरण का।

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}}),

$\sum_i p_i \log_2(\tfrac{1}{p_i}),$

हालांकि, अगर संभावना वितरण के लिए आप एन्कोडिंग जो एक अलग संभावना वितरण के लिए इष्टतम है का उपयोग , तो एन्कोडेड संदेश की औसत लंबाई है $P$ $Q$ हैपार एन्ट्रापी, जो तुलना में अधिक है

\underset{मैं}{Σ} {पी}_{मैं} code_length (मैं) = \underset{मैं}{Σ} {पी}_{मैं} {लॉग}_{2} (\frac{1}{{क्ष}_{मैं}}),

$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$

।

\sum_{i} p_{i} \log_{2} (\frac{1}{p_{i}})

$\sum_i p_i \log_2(\tfrac{1}{p_i})$

$P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

फिर अगर हम इसे बेहतर तरीके से एनकोड करना चाहते हैं, तो हम ए को 0 और बी को 1 के रूप में एनकोड करते हैं, इसलिए हमें प्रति एक अक्षर में एक बिट इनकोडेड संदेश मिलता है। (और यह हमारे प्रायिकता वितरण के बिल्कुल शैनन एंट्रोपी है।)

$P$ $Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$

— पायोत्र मिगदल
स्रोत

अच्छी व्याख्या, धन्यवाद। हालाँकि, विकिपीडिया परिभाषा sum_i [p_i * log (q_i)] है। आपका 1 / q_i का उपयोग संभव राज्यों की संख्या देता है, इसलिए log_2 यह दर्शाता है कि किसी एकल प्रतीक को एन्कोड करने के लिए आवश्यक बिट्स की संख्या में, लेकिन विकिपीडिया पृष्ठ कुछ अलग तरह से वर्णन कर रहा है।

— Redcalx

@locster विकिपीडिया में यह राशि से पहले ऋण चिह्न है, जो होने के बराबर है

1 / q_{i}

$1/q_i$ , जैसा

\log (1 / q_{i}) = - \log (q_{i})

$\log(1/q_i)=-\log(q_i)$ ।

— पायोत्र मिग्डल