संभाव्यता के रूप में पारस्परिक जानकारी

Question

संयुक्त एन्ट्रापी के बारे में परस्पर जानकारी:

$$0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1$$

के रूप में परिभाषित किया जा सकता है: "X से Y तक जानकारी का एक टुकड़ा संप्रेषित करने की संभावना"?

मुझे इतना भोला होने के लिए खेद है, लेकिन मैंने कभी भी सूचना सिद्धांत का अध्ययन नहीं किया है, और मैं बस उस की कुछ अवधारणाओं को समझने की कोशिश कर रहा हूं।

Comments

सीवी, लूका मैगी में आपका स्वागत है! कितना प्यारा पहला सवाल!

— एलेक्सिस

Answer 1

आप जिस उपाय का वर्णन कर रहे हैं उसे सूचना गुणवत्ता अनुपात [IQR] (विजया, सरनो और जुलायिका, 2017) कहा जाता है। IQR आपसी जानकारी "कुल अनिश्चितता" (संयुक्त एन्ट्रापी) (छवि स्रोत: Wijaya, Sarno और Zulaika, 2017) से विभाजित है।$I(X,Y)$$H(X,Y)$

जैसा कि विजाया, सरनो और जुलाका (2017) द्वारा वर्णित है,

IQR की सीमा । सबसे बड़ा मूल्य (IQR = 1) तक पहुंचा जा सकता है अगर DWT सूचना को खोए बिना एक संकेत को पूरी तरह से फिर से बना सकता है। अन्यथा, सबसे कम मूल्य (IQR = 0) का अर्थ है MWT एक मूल संकेत के साथ संगत नहीं है। दूसरे शब्दों में, विशेष MWT के साथ एक फिर से संगठित संकेत आवश्यक जानकारी और मूल संकेत विशेषताओं के साथ पूरी तरह से अलग नहीं रख सकता है।$[0,1]$

आप इसे संभाव्यता के रूप में व्याख्या कर सकते हैं कि सूचना को खोए बिना सिग्नल पूरी तरह से पुनर्निर्माण किया जाएगा । ध्यान दें कि इस तरह की व्याख्या संभाव्यता के विषयवादी व्याख्या के करीब है , फिर पारंपरिक, लगातार व्याख्या के लिए।

यह एक द्विआधारी घटना (जानकारी का पुनर्निर्माण नहीं बनाम) के लिए एक संभावना है, जहां IQR = 1 का अर्थ है कि हम पुनर्निर्मित जानकारी को विश्वसनीय मानते हैं, और IQR = 0 का अर्थ है कि विपरीत। यह बाइनरी घटनाओं की संभावनाओं के लिए सभी गुणों को साझा करता है। इसके अलावा, एन्ट्रापीज संभावनाओं के साथ कई अन्य गुणों को साझा करते हैं (जैसे सशर्त एंट्रियों की परिभाषा, स्वतंत्रता आदि)। तो यह एक संभावना की तरह लग रहा है और इसे पसंद करता है।

---

विजाया, डीआर, सरनो, आर।, और जुलाइका, ई। (2017)। माँ तरंग चयन के लिए एक उपन्यास मीट्रिक के रूप में सूचना गुणवत्ता अनुपात। केमोमेट्रिक्स और इंटेलिजेंट लेबोरेटरी सिस्टम, 160, 59-71।

Comments

IQR फ़ंक्शन को संभाव्यता माप के परिभाषित गुणों के खिलाफ जांच करने के लिए लिए कैसे परिभाषित किया गया है? क्या आप और को जहां विशेषता कार्य कर ? मैं ( एक्स ' , वाई ' ) एच ( एक्स ' , वाई ' ) एक्स ' : = एक्स मैं ( एक ) $A\subset\Omega$$I(X',Y')$$H(X',Y')$$X':=XI(A),\, Y':=YI(A)$$I$

— हंस

खैर, मेरा प्रश्न आपके उत्तर के एक भाग पर निर्देशित है, न कि एक अकेले प्रश्न पर। क्या आप सुझाव दे रहे हैं कि मैं एक नया प्रश्न और लिंक खोलूं और इसे आपके उत्तर पर निर्देशित करूं?

— हंस

@ मैंने जो कहा, वह यह है कि यह उपाय आसानी से परिभाषा पर फिट बैठता है, अगर मैं गलत हूं तो मुझे सुधारो। Axioms 1. और 2. स्पष्ट हैं। स्वयंसिद्ध 3. के लिए, ओवरलैप है, कुल स्थान है, इसलिए अंश को आसानी से संभाव्यता के रूप में देखा जा सकता है। H ( X , Y $I(X, Y)$$H(X, Y)$

— टिम

एक संभावना एक नमूना स्थान और उसकी सिग्मा मैदान पर परिभाषित किया गया है । मैं उलझन में हूँ कि इस संभावना को मापने के लिए ये क्या हैं। यादृच्छिक चर X और Y के लिए परिभाषित संभावना माप के लिए पहले से ही एक नमूना स्थान और इसका सिग्मा क्षेत्र है । नई प्रायिकता का नमूना स्थान और क्षेत्र IQR को मापता है जो कि X और Y से जुड़े पुराने प्रायिकता माप के समान है ? यदि नहीं, तो उन्हें कैसे परिभाषित किया गया है? या, क्या आप कह रहे हैं कि इन आवश्यकताओं को परिभाषित नहीं किया जाना चाहिए? फिर आप इसे स्वयंसिद्धों के खिलाफ कैसे जांचें? $(\Omega, \mathscr{F})$$X$$Y$$X$$Y$

— हंस

@ मैंने यह स्पष्ट रूप से कहा कि यह स्वयंसिद्ध के अनुरूप है, लेकिन यह वास्तव में क्या होगा इसकी संभावना कहना मुश्किल है। मैंने जो व्याख्या की थी, वह संभवतः पुनर्निर्माण के संकेत की है। यह एक्स या वाई का संभाव्यता वितरण नहीं है। मुझे लगता है कि आप इसे समझने और समझने में गहराई से जा सकते हैं। सवाल यह था कि क्या इसकी संभावना के रूप में व्याख्या की जा सकती है और इसका उत्तर औपचारिक रूप से हां था।

— टिम

Answer 2

यहां प्रायिकता स्थान की परिभाषा दी गई है। आइए हम वहां सूचनाओं का उपयोग करें। IQR एक टपल की एक समारोह है $(\Omega,\mathscr F,P,X,Y)$ (पहले तीन घटकों के रूप में संभावना अंतरिक्ष दो यादृच्छिक चर पर परिभाषित कर रहे हैं)। एक प्रायिकता माप को एक सेट फंक्शन होना चाहिए जो टिम के उत्तर में सूचीबद्ध परिभाषा की सभी शर्तों को पूरा करता है। एक यह निर्दिष्ट करना होगा $\Theta:=(\Omega,\mathscr F,P,X,Y)$ एक सेट के कुछ सबसेट के रूप में $\tilde\Omega$ । इसके अलावा, Θ का सेट$\Theta$के के सबसेट के एक क्षेत्र के रूप में है $\tilde\Omega$ , और कहा कि $\text{IQR}(\Omega,\mathscr F,P,X,Y)$ संभावना माप की परिभाषा टिम जवाब में सूचीबद्ध में सूचीबद्ध सभी तीन गुण को पूरा करने के है। जब तक कोई ऐसी वस्तु का निर्माण नहीं करता, तब तक यह कहना गलत है कि IQR एक प्रायिकता उपाय है। मैं एक के लिए इस तरह के एक जटिल प्रायिकता माप की उपयोगिता नहीं देख रहा हूं (न कि IQR फ़ंक्शन ही बल्कि एक प्रायिकता उपाय के रूप में)। टिम के उत्तर में उद्धृत पेपर में IQR को संभावना के रूप में नहीं कहा जाता है या उपयोग नहीं किया जाता है, लेकिन मीट्रिक के रूप में (पूर्व एक बाद का एक प्रकार है, लेकिन उत्तरार्द्ध पूर्व का एक प्रकार नहीं है।)।

दूसरी ओर, एक तुच्छ निर्माण है जो किसी भी संख्या को $[0,1]$ पर एक संभावना होने की अनुमति देता है। विशेष रूप से हमारे मामले में, किसी भी बात पर विचार $\Theta$ । नमूना स्थान के रूप में एक दो तत्व सेट उठाओ $\tilde\Omega:=\{a,b\}$ , क्षेत्र हो $\tilde{\mathscr F}:=2^{\tilde\Omega}$ और संभावना उपाय सेट $\tilde P(a):=\text{IQR}(\Theta)$ । हमारे पास प्रायिकता रिक्त स्थान का एक वर्ग है जिसे अनुक्रमित किया गया है$\Theta$ ।

Comments

$(x_i, y_i)$

$\Theta:=(\Omega,\mathscr F,P,X,Y)$

यह भी मामला है यदि आप अंत में सिग्मॉइड सक्रियण फ़ंक्शन के साथ जटिल तंत्रिका नेटवर्क का उपयोग करते हैं, तो क्या आप साबित कर सकते हैं कि आउटपुट मीट्रिक-सैद्धांतिक शब्दों में संभावना है ..? फिर भी, हम इसे प्रायिकता के रूप में व्याख्या करने के लिए चुनते हैं।

— टिम

$[0,1]$$A$$P(A):=\mu(f(A))$$\mu$$R$$f$

क्षमा करें, लेकिन मुझे इस तरह के विचार-विमर्श और सिद्धांत को कभी भी रोचक नहीं लगा, इसलिए मैं आगे की चर्चा से पीछे हटूंगा। मैं यहां आपकी बात भी नहीं देख रहा हूं, खासकर जब से आपका आखिरी पैराग्राफ ठीक वैसा ही कह रहा है जैसा कि मैं भीख मांगता हूं।

— टिम