ज्ञात औसत निरपेक्ष विचलन के लिए किस वितरण में अधिकतम एन्ट्रापी है?

मैं हैकर न्यूज पर अन्य विचलन जैसे माध्य निरपेक्ष विचलन के विपरीत मानक विचलन के उपयोग के बारे में चर्चा पढ़ रहा था । इसलिए, अगर हम अधिकतम एन्ट्रापी के सिद्धांत का पालन करते हैं, तो हम किस तरह के वितरण का उपयोग करेंगे यदि हम केवल वितरण के माध्य और पूर्ण निरपेक्ष माध्य को जानते हैं?

या यह मध्यिका और औसत माध्य से औसत विचलन का उपयोग करने के लिए अधिक समझ में आता है?

मुझे ग्रीचुक, मोलिबॉआ और ज़बरनकिन द्वारा सामान्य विचलन उपायों के साथ एक पेपर अधिकतम एंट्रोपी सिद्धांत मिला, जिसके बारे में मुझे जानकारी है जिसके बारे में मुझे जानकारी है, लेकिन मुझे इसे समझने में थोड़ा समय लग रहा है।

distributions maximum-entropy mad

— डिट्रिच एप
स्रोत

दिलचस्प सवाल; क्रॉस वेलिडेट में आपका स्वागत है!

— निक स्टानर

ये बुद्धिमान सज्जन, कोत्ज़, एस।, कोज़ुबोव्स्की, टीजे, और पॉडगॉर्स्की, के। (2001)। द लैप्लस डिस्ट्रीब्यूशन एंड जेनुअलाइजेशन: ए रेविसिट विद एप्लिकेशंस टू कम्यूनिकेशंस, इकोनॉमिक्स, इंजीनियरिंग एंड फाइनेंस (नं। 183)। स्प्रिंगर।

एक अभ्यास के साथ हमें चुनौती दें:

यहां छवि विवरण दर्ज करें

प्रमाण सूचना-सैद्धांतिक प्रमाण का पालन कर सकता है कि दिए गए माध्य और विचरण के लिए सामान्य अधिकतम एन्ट्रापी है। विशेष रूप से: Let उपरोक्त लाप्लास घनत्व है, और किसी भी अन्य घनत्व है, लेकिन एक ही मतलब और पूर्ण विचलन होने दें। इसका मतलब यह है कि निम्नलिखित समानता रखती है: $f(x)$ $g(x)$

E_{g} (| X - c_{1} |) = \int g (x) | x - c_{1} | d x = c_{2} = \int f (x) | x - c_{1} | d x = E_{f} (| X - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ अब दो घनत्वों के कुल्बैक-लीब्लर विचलन पर विचार करें :

0 \leq D_{K L} (g | | f) = \int g (x) \ln (\frac{g (x)}{f (x)}) d x = \int g (x) \ln g (x) d x - \int g (x) \ln f (x) d x [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

पहले अभिन्न की (अंतर) एन्ट्रापी के नकारात्मक है , यह निरूपित । दूसरा अभिन्न अंग है (स्पष्ट रूप से लाप्लासियन पीडीएफ लेखन) $g$ $-h(g)$

\int g (x) \ln [f (x)] d x = \int g (x) \ln [\frac{1}{2 c_{2}} \exp {- \frac{1}{c_{2}} | x - c_{1} |}] d x

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int g (x) d x - \frac{1}{c_{2}} \int g (x) | x - c_{1} | d x

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ पहला इंटीग्रल एकता को एकीकृत करता है, और eq का उपयोग भी करता है। हम प्राप्त करते हैं

[1]

$[1]$

\int g (x) \ln [f (x)] d x = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int f (x) | x - c_{1} | d x = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ लेकिन यह के अंतर एन्ट्रापी का नकारात्मक है, इसे दर्शाते हैं ।

- h (f)

$-h(f)$

इन परिणामों को eq में सम्मिलित करता है। हमारे पास चूंकि मनमाना था, यह साबित करता है कि उपरोक्त नुस्खों के साथ सभी वितरणों के बीच लैपलैसियन घनत्व अधिकतम एन्ट्रापी है। $[2]$

0 \leq D (g | | f) = - h (g) - (- h (f)) \Rightarrow h (g) \leq h (f)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— एलेकोस पापाडोपोलोस
स्रोत

इस तरह के एक सरल वितरण, और एक अच्छा लेखन भी! मैं संदिग्ध वितरण में 0. छोड़कर चिकनी किया जाएगा

— Dietrich Epp

धन्यवाद। शायद ही कभी "वही के साथ जाता है" -इसके बाद से लाप्लास वितरण में पूर्ण मूल्य शामिल है, यह एक प्रमुख संदिग्ध था।

— एलेकोस पापाडोपोलोस