एक संयुक्त एन्ट्रापी के बारे में अंतर्ज्ञान

Question

मुझे संयुक्त एन्ट्रापी के बारे में कुछ अंतर्ज्ञान बनाने में परेशानी हो रही है। = संयुक्त वितरण में अनिश्चितता ; = में अनिश्चितता ; = में अनिश्चितता ।$H(X,Y)$$p(x,y)$$H(X)$$p_x(x)$$H(Y)$$p_y(y)$

यदि H (X) अधिक है, तो वितरण अधिक अनिश्चित है और यदि आप इस तरह के वितरण के परिणाम को जानते हैं तो आपके पास अधिक जानकारी है! इसलिए H (X) भी सूचना की मात्रा निर्धारित करता है।

अब हम दिखा सकते हैं$H(X,Y) \leq H(X) + H(Y)$

लेकिन अगर आप जानते हैं कि आप और प्राप्त कर सकते हैं तो कुछ अर्थों में में और , दोनों की तुलना में अधिक जानकारी है , इसलिए पी से संबंधित अनिश्चितता (x, y) अधिक हो सकती है जो व्यक्तिगत अनिश्चितताओं का योग है?$p(x,y)$$p_x(x)$$p_y(y)$$p(x,y)$$p_x(x)$$p_y(y)$

Answer 1

एक सामान्य नियम के रूप में, अतिरिक्त जानकारी एन्ट्रापी को कभी नहीं बढ़ाती है, जिसे औपचारिक रूप से कहा गया है:

$$\begin{equation} H(X|Y) \leq H(X) \, \, \, * \end{equation}$$

समानता यह मानती है कि यदि और स्वतंत्र हैं, जिसका अर्थ है ।$X$$Y$$H(X|Y) = H(X)$

इस परिणाम का उपयोग संयुक्त एन्ट्रापी को साबित करने के लिए किया जा सकता है । इसे प्रदर्शित करने के लिए, एक साधारण केस । श्रृंखला नियम के अनुसार, हम नीचे के रूप में सम्मिलित एन्ट्रोपी लिख सकते हैं$H(X_1, X_2, ..., X_n) \leq \sum_{i=1}^{n} H(X_i)$$H(X,Y)$

$$\begin{equation} H(X,Y) = H(X|Y) + H(Y) \end{equation}$$

असमानता को ध्यान में रखते हुए , चर की एन्ट्रापी को कभी नहीं बढ़ाता है , और इसलिए । इंडक्शन का उपयोग करने से यह परिणाम उन मामलों को सामान्य कर सकता है जिनमें दो से अधिक चर शामिल हैं।$*$$H(X|Y)$$X$$H(X,Y) \leq H(X) + H(Y)$

आशा है कि इसने संयुक्त एन्ट्रापी के बारे में अस्पष्टता (या आपकी एन्ट्रापी) को कम करने में मदद की है!

Answer 2

शैनन एंट्रोपी का एक और दृष्टिकोण है। कल्पना कीजिए कि आप उन प्रश्नों के माध्यम से अनुमान लगाना चाहते हैं कि एक चर का ठोस मूल्य क्या है। सादगी के लिए, कल्पना करें कि मान केवल आठ अलग-अलग मानों को , और सभी समान रूप से संभावित हैं।$\left(0,1,..., 8\right)$

सबसे प्रभावी तरीका एक द्विआधारी खोज करना है। पहले आप पूछें कि क्या 4 से अधिक या कम है। फिर 2 या 6 के खिलाफ तुलना करें, और इसी तरह। कुल मिलाकर आपको तीन से अधिक प्रश्नों की आवश्यकता नहीं होगी (जो इस ठोस वितरण के बिट्स की संख्या है)।

हम दो चर के मामले के लिए सादृश्य पर ले जा सकते हैं। यदि वे स्वतंत्र नहीं हैं, तो उनमें से किसी एक के मूल्य को जानने से आपको अगले प्रश्न के लिए बेहतर अनुमान लगाने में मदद मिलती है (औसत रूप से यह omidi द्वारा इंगित परिणामों में परिलक्षित होता है )। इसलिए, एन्ट्रापी कम है, जब तक कि वे पूरी तरह से स्वतंत्र न हों, जहां आपको स्वतंत्र रूप से उनके मूल्यों का अनुमान लगाने की आवश्यकता होती है। यह कहना कि एन्ट्रापी कम साधन (इस ठोस उदाहरण के लिए) है जिसे आपको औसतन कम प्रश्न बनाने की आवश्यकता है (अर्थात अधिक बार आप अच्छे अनुमान नहीं लगाएंगे)।

Answer 3

ऐसा प्रतीत होता है कि आप विचार बना रहे हैं "यदि अधिक जानकारी जब ज्ञात हो, तो अज्ञात होने पर अधिक एन्ट्रापी"। यह एक सही अंतर्ज्ञान नहीं है, क्योंकि, यदि वितरण अज्ञात है, तो हम इसकी एंट्रोपी को भी नहीं जानते हैं। यदि वितरण ज्ञात है, तो एन्ट्रापी यादृच्छिक चर की प्राप्ति के बारे में अनिश्चितता का वर्णन करने के लिए आवश्यक जानकारी राशि को निर्धारित करता है , जो अज्ञात रहता है (हम केवल वितरण को जानते हुए, इस अनिश्चितता के आसपास की संरचना को जानते हैं)। एंट्रोपी वितरण में "वर्तमान" जानकारी को निर्धारित नहीं करता है । इसके विपरीत: वितरण में अधिक जानकारी "शामिल", अनिश्चितता का वर्णन करने के लिए कम जानकारी "आवश्यक", और इसलिए कमएन्ट्रापी है समान वितरण पर विचार करें: इसमें बहुत कम जानकारी शामिल है, क्योंकि चर के सभी संभावित मूल्य परिवर्तनीय हैं: इसलिए यह सभी वितरणों के बीच अधिकतम एन्ट्रापी है जो बाउंडेड समर्थन के साथ है।

संयुक्त एन्ट्रापी के लिए, आप इसके बारे में सोच सकते हैं: संयुक्त वितरण में इस बात की जानकारी होती है कि दो चर निर्भर हैं या नहीं, साथ ही सीमांत वितरण प्राप्त करने के लिए पर्याप्त जानकारी। सीमांत वितरण में इस बात की जानकारी नहीं होती है कि दो यादृच्छिक चर निर्भर या स्वतंत्र हैं। तो संयुक्त वितरण में अधिक जानकारी है, और इसमें शामिल यादृच्छिक चर के आसपास हमें अनिश्चितता कम होती है:

अधिक जानकारी के वितरण में शामिल कम अनिश्चितता के आसपास चर इस अनिश्चितता का वर्णन करने के लिए कम जानकारी की जरूरत है कम एन्ट्रोपी।$\rightarrow$$\rightarrow$$\rightarrow$

Comments

थैंक्स, जो चीजों को बहुत स्पष्ट करता है। मैं उन पंक्तियों के साथ सोच रहा था कि एक वितरण में सहसंबंधों को मूल्यों की एक जोड़ी की अनिश्चितता को कम करना चाहिए और इसलिए को छोटा होना चाहिए । $(X,Y)$$H(X,Y)$$H(X) + H(Y)$

— user21455

हां, यही सार है।

— एलेकोस पापाडोपोलोस