सूचना का लाभ, आपसी जानकारी और संबंधित उपाय

33

एंड्रयू अधिक जानकारी के लाभ को परिभाषित करता है :

$IG(Y|X) = H(Y) - H(Y|X)$

जहां है सशर्त एन्ट्रापी । हालाँकि, विकिपीडिया उपरोक्त मात्रा को पारस्परिक जानकारी कहता है । $H(Y|X)$

दूसरी ओर विकिपीडिया दो यादृच्छिक चर के बीच सूचना लाभ को कुल्बैक-लीब्लर डाइवर्जेंस (उर्फ सूचना विचलन या रिश्तेदार एन्ट्रापी) के रूप में परिभाषित करता है :

$D_{KL}(P||Q) = H(P,Q) - H(P)$

जहाँ को क्रॉस-एंट्रोपी के रूप में परिभाषित किया गया है । $H(P,Q)$

ये दोनों परिभाषाएं एक-दूसरे के साथ असंगत लगती हैं।

मैंने अन्य लेखकों को भी दो अतिरिक्त संबंधित अवधारणाओं के बारे में बात करते हुए देखा है, अर्थात् अंतर एन्ट्रापी और सापेक्ष जानकारी प्राप्त करना।

इन राशियों के बीच सटीक परिभाषा या संबंध क्या है? क्या एक अच्छी पाठ्य पुस्तक है जो उन सभी को शामिल करती है?

जानकारी हासिल
आपसी जानकारी
क्रॉस एन्ट्रापी
सशर्त एन्ट्रापी
विभेदक एन्ट्रापी
रिश्तेदार जानकारी हासिल करें

information-theory

— अमेलियो वाज़केज़-रीना
स्रोत

2

भ्रम की स्थिति में और इजाफा करने के लिए, ध्यान दें कि क्रॉस एन्ट्रोपी के लिए आपके द्वारा उपयोग किया जाने वाला नोटेशन भी संयुक्त एन्ट्रापी के लिए उपयोग किया जाने वाला नोटेशन है। मैंने खुद को भ्रमित करने से बचने के लिए क्रॉस-एन्ट्रापी के लिए

उपयोग किया है , लेकिन यह मेरे लाभ के लिए है और मैंने उस नोटेशन को कहीं और नहीं देखा है।

H^{x} (P, Q)

$H^x(P, Q)$

— माइकल मैकगोवन

24

मुझे लगता है कि कुल्बैक-लीब्लर डाइवर्जेंस को "सूचना लाभ" कहना गैर-मानक है।

पहली परिभाषा मानक है।

EDIT: हालाँकि, को आपसी जानकारी भी कहा जा सकता है। $H(Y)−H(Y|X)$

ध्यान दें कि मुझे नहीं लगता कि आपको कोई वैज्ञानिक अनुशासन मिलेगा जो वास्तव में मानकीकृत, सटीक और सुसंगत नामकरण योजना है। इसलिए आपको हमेशा फ़ार्मुलों को देखना होगा, क्योंकि वे आम तौर पर आपको एक बेहतर विचार देंगे।

पाठ्यपुस्तकें: "विभिन्न प्रकार की एन्ट्रापी में अच्छा परिचय" देखें ।

इसके अलावा: कॉस्मा शालिज़ी: कॉम्प्लेक्स सिस्टम साइंस के तरीके और तकनीक: थॉमस एस। डिस्बेक और जे। यशा कृश (सं।) में एक अवलोकन, अध्याय 1 (पृष्ठ 33-114), बायोमेडिसिन में जटिल सिस्टम साइंस http: //। arxiv.org/abs/nlin.AO/0307015

रॉबर्ट एम। ग्रे: एन्ट्रॉपी एंड इंफॉर्मेशन थ्योरी http://ee.stanford.edu/~gray/it.html

डेविड मैकके: सूचना सिद्धांत, आविष्कार और लर्निंग एल्गोरिदम http://www.inference.phy.cam.ac.uk/mackay/itila/book.html

यह भी, "क्या है" एन्ट्रापी और जानकारी हासिल "?"

— wolf.rauch
स्रोत

साभार @wolf मैं इस उत्तर को स्वीकार करने के लिए इच्छुक हूं। यदि पहली परिभाषा मानक है, तो आप आपसी जानकारी को कैसे परिभाषित करेंगे?

— एमेलियो वाज़केज़-रीना

2

माफ़ कीजिये। पहली मात्रा,

को अक्सर पारस्परिक जानकारी भी कहा जाता है। यह असंगत नामकरण का मामला है। जैसा कि मैंने कहा, मुझे नहीं लगता कि अवधारणाओं और नामों का कोई सुसंगत, अस्पष्ट, एक-से-एक पत्राचार है। उदाहरण के लिए "आपसी जानकारी" या "जानकारी हासिल करना" केएल विचलन का एक विशेष मामला है, ताकि विकिपीडिया लेख दूर न हो।

I G (Y | X) = H (Y) - H (Y | X)

$IG(Y|X)=H(Y)−H(Y|X)$

— भेड़िया.चौच

4

$p(X,Y)$ और $P(X)P(Y)$ बीच कुल्बैक-लीबेर डाइवर्जेंस आपसी जानकारी के समान है, जिसे आसानी से प्राप्त किया जा सकता है:

\begin{aligned} I (X; Y) & = H (Y) - H (Y ∣ X) \\ = - \sum_{y} p (y) \log p (y) + \sum_{x, y} p (x) p (y ∣ x) \log p (y ∣ x) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{y} (\sum_{x} p (x, y)) \log p (y) \\ = \sum_{x, y} p (x, y) \log p (y ∣ x) - \sum_{x, y} p (x, y) \log p (y) \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x)}{p (y)} \\ = \sum_{x, y} p (x, y) \log \frac{p (y ∣ x) p (x)}{p (y) p (x)} \\ = \sum_{x, y} p (x, y) \log \frac{p (x, y)}{p (y) p (x)} \\ = D_{K L} (P (X, Y) ∣∣ P (X) P (Y)) \end{aligned}

$\begin{align} I(X; Y) &= H(Y) - H(Y \mid X)\\ &= - \sum_y p(y) \log p(y) + \sum_{x,y} p(x) p(y\mid x) \log p(y\mid x)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{y} \left(\sum_{x}p(x,y)\right) \log p(y)\\ &= \sum_{x,y} p(x, y) \log{p(y\mid x)} - \sum_{x,y}p(x, y) \log p(y)\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)}{p(y)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(y\mid x)p(x)}{p(y)p(x)}\\ &= \sum_{x,y} p(x, y) \log \frac{p(x, y)}{p(y)p(x)}\\ &= \mathcal D_{KL} (P(X,Y)\mid\mid P(X)P(Y)) \end{align}$

$p(y) = \sum_x p(x,y)$

— क्रिस elgoog
स्रोत

1

\begin{aligned} मैं (एक्स; Y) = {डी}_{कश्मीर एल} (पी (एक्स, y) | | पी (एक्स) पी (y)) । \end{aligned}

$\begin{align*} I(X;Y) = D_{KL}(p(x,y)||p(x)p(y)). \end{align*}$

— yters
स्रोत

1

मशीन सीखने के मॉडल को प्रशिक्षित करने के लिए एक सुविधा के रूप में शाब्दिक डेटासेट से आपसी जानकारी निकालना: (कार्य ब्लॉगों की आयु, लिंग और व्यक्तित्व की भविष्यवाणी करना था)

— Krebto
स्रोत

1

दोनों परिभाषाएं सही हैं, और सुसंगत हैं। मुझे यकीन नहीं है कि आप क्या अस्पष्ट पाते हैं क्योंकि आप कई बिंदुओं को इंगित करते हैं जिन्हें स्पष्टीकरण की आवश्यकता हो सकती है।

$MI_{Mutual Information}\equiv$ $IG_{InformationGain}\equiv I_{Information}$ एक ही चीज़ के लिए सभी अलग-अलग नाम हैं। अलग-अलग संदर्भों में इनमें से एक नाम बेहतर हो सकता है, मैं इसे यहां जानकारी कहूंगा ।

$D_{KL}$ $K_{LD}$ $K_{LD}$ स्वतंत्र । उस मात्रा को हम सूचना कहते हैं ।

$\operatorname{H} (X,Y)$

\begin{aligned} I (X; Y) & \equiv H (X) - H (X | Y) \\ \equiv H (Y) - H (Y | X) \\ \equiv H (X) + H (Y) - H (X, Y) \\ \equiv H (X, Y) - H (X | Y) - H (Y | X) \end{aligned}

$\begin{aligned}\operatorname {I} (X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}$ in both last lines,

H (X, Y)

$\operatorname{H}(X,Y)$ है संयुक्त एन्ट्रापी। हालाँकि यह सूचना लाभ पृष्ठ में परिभाषा के साथ असंगत लग सकता है :

D K L (P | | Q) = H (P, Q) - H (P)

$DKL(P||Q)=H(P,Q)−H(P)$ लेकिन आप महत्वपूर्ण स्पष्टीकरण को उद्धृत करने में असफल नहीं हुए -

H (P, Q)

$\operatorname{H}(P,Q)$ वहां क्रॉस- मेन्ट्रोपी के रूप में इस्तेमाल किया जा रहा है (जैसा कि क्रॉस एन्ट्रॉपी पेज में भी है)।

जॉइंट- मेन्ट्रोपी और क्रॉस -entropy समान नहीं हैं ।

की जाँच करें इस और इस जहां इस अस्पष्ट अंकन संबोधित किया जाता है और क्रोस एंट्रोपी के लिए एक अनूठा अंकन की पेशकश की है - $H_q(p)$

मुझे उम्मीद है कि इस नोटेशन को स्वीकार किया जाएगा और विकी-पेज अपडेट किए जाएंगे।

— אלימלל שרייבר
स्रोत

आश्चर्य है कि समीकरणों को ठीक से क्यों नहीं दिखाया गया है ..

— शोहुआ ली