अधिकतम एन्ट्रापी वितरण की सांख्यिकीय व्याख्या

23

मैंने विभिन्न सेटिंग्स में कई वितरणों के उपयोग को सही ठहराने के लिए अधिकतम एन्ट्रापी के सिद्धांत का उपयोग किया है; हालाँकि, मुझे अभी तक एक सांख्यिकीय तैयार करने में सक्षम होना है, जैसा कि सूचना-सिद्धांत, अधिकतम एन्ट्रोपी की व्याख्या के विपरीत है। दूसरे शब्दों में, वितरण के सांख्यिकीय गुणों के बारे में एंट्रोपी को अधिकतम करने से क्या होता है?

क्या किसी ने पार किया है या शायद खुद को अधिकतम की एक सांख्यिकीय व्याख्या की खोज की है। एन्ट्रापी वितरण जो जानकारी के लिए अपील नहीं करता है, लेकिन केवल संभाव्य अवधारणाओं के लिए?

इस तरह की व्याख्या के उदाहरण के रूप में (जरूरी नहीं कि सच हो): "आरवी के डोमेन पर मनमाना लंबाई एल के अंतराल के लिए (इसकी 1-डी को सादगी के लिए निरंतर मानते हुए), इस अंतराल में निहित अधिकतम संभावना को कम से कम किया जाता है। अधिकतम एन्ट्रापी वितरण द्वारा। "

तो, आप देखते हैं कि "सूचनात्मकता" या अन्य अधिक दार्शनिक विचारों के बारे में कोई बात नहीं है, बस संभाव्य प्रभाव है।

— Annika
स्रोत

3

मुझे लगता है कि आपको इस बारे में अधिक विशिष्ट होना चाहिए कि आप क्या देख रहे हैं: एन्ट्रॉपी "सांख्यिकीय" के रूप में विचरण के रूप में एक उपाय है आदि के बाद इसलिए एन्ट्रापी अधिकतम अधिकतम एन्ट्रापी वितरण एक पूरी तरह से अच्छा सांख्यिकीय विवरण है। तो मुझे लगता है कि आपको "औचित्य" के साथ आने के लिए बाहर के आँकड़ों पर जाना होगा

— seanv507

1

Seanv: मैं मानता हूं कि एक सांख्यिकीय कार्य के रूप में एंट्रॉपी, वैधानिक, अपेक्षित मूल्य, तिरछा आदि के रूप में "सांख्यिकीय" के रूप में है, हालांकि, उदाहरण के रूप में अर्थ और मानक विचलन का उपयोग करते हुए, ये मार्कोव और चेबीशेव के प्रमेयों और अंततः के माध्यम से विशुद्ध रूप से संभाव्य व्याख्याएं हैं। केंद्रीय सीमा प्रमेयों में से एक और साथ ही साथ लंबे समय तक चलने वाले रकम (मतलब के लिए) और आरएमएस त्रुटि (मानक विचलन के लिए) में से एक है। मुझे संभवतः "अधिकतम एन्ट्रापी वितरणों की संभाव्य व्याख्या" पढ़ने के लिए अपने प्रश्न को फिर से लिखना चाहिए।

— अन्निका

1

Annika, अधिकतम एन्ट्रापी वितरण निम्नलिखित व्याख्या: यदि

आईआईडी यादृच्छिक चर, तो सशर्त probalitity हैं

के रूप में

जहां

सेट से अधिकतम एन्ट्रापी वितरण है

X_{1}, X_{2}, \dots

$X_1,X_2,\dots$

P (\cdot | X_{1} + \dots + X_{n} = n a) \to P^{*} (\cdot)

$P(\cdot|X_1+\dots+X_n=na)\to P^*(\cdot)$

n \to \infty

$n\to \infty$

P^{*}

$P^*$

{P : E_{P} X = a}

$\{P:\mathbb{E}_PX=a\}$ । यह भी देखें ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1056374&tag=1

— Ashok

2

धन्यवाद अशोक। बीमार उस कागज को और अधिक विस्तार से देखें। ऐसा लगता है कि दिए गए मतलब के लिए एन्ट्रापी को अधिकतम करने का एक विशिष्ट मामला है, लेकिन मैं अभी भी उत्सुक हूं कि शैनन एन्ट्रापी को अधिकतम करने का संचालन गणितीय रूप से ऐसा क्यों कर रहा है जो उपरोक्त परिणाम रखता है? क्या यह प्रभावी रूप से अधिकतम घनत्व या संभाव्यता माप की औसत एकाग्रता को कम से कम कर रहा है?

— अन्निका

19

यह वास्तव में मेरा क्षेत्र नहीं है, इसलिए कुछ

मैं आश्चर्य की अवधारणा से शुरू करूंगा । हैरान होने का क्या मतलब है? आमतौर पर, इसका मतलब है कि ऐसा कुछ हुआ जो होने की उम्मीद नहीं थी। तो, यह एक संभाव्य अवधारणा को आश्चर्यचकित करता है और इसे इस तरह से समझा जा सकता है (आईजे गुड ने उस बारे में लिखा है)। विकिपीडिया और बेयसियन आश्चर्य भी देखें ।

हां / नहीं की स्थिति के विशेष मामले को लें, कुछ हो सकता है या नहीं। यह प्रायिकता $p$ साथ होता है । कहो, अगर पी = 0.9 और ऐसा होता है, तो आप वास्तव में आश्चर्यचकित नहीं हैं। यदि $p=0.05$ और ऐसा होता है, तो आप कुछ हैरान हैं। और अगर $p=0.0000001$ और ऐसा होता है, तो आप वास्तव में आश्चर्यचकित हैं। तो, "मनाया परिणाम में आश्चर्य मूल्य" का एक प्राकृतिक उपाय क्या हुआ की संभावना का कुछ (विरोधी) मोनोटोन फ़ंक्शन है। यह स्वाभाविक लगता है (और अच्छी तरह से काम करता है ...) क्या हुआ की संभावना का लघुगणक लेने के लिए, और फिर हम एक सकारात्मक संख्या प्राप्त करने के लिए ऋण चिह्न में फेंकते हैं। इसके अलावा, लघुगणक को ले कर हम आश्चर्य के क्रम पर ध्यान केंद्रित करते हैं, और व्यवहार में, प्रायिकताएँ केवल क्रम से, कम या ज्यादा तक ही जानी जाती हैं ।

इसलिए, हम

Surprise (A) = - \log p (A)

$\text{Surprise}(A) = -\log p(A)$ को परिभाषित करते हैं जहां

A

$A$ मनाया परिणाम है, और

p (A)

$p(A)$ इसकी संभावना है।

अब हम पूछ सकते हैं कि अपेक्षित आश्चर्य क्या है । $X$ को संभाव्यता $p$ साथ एक बर्नौली यादृच्छिक चर होने दें । इसके दो संभावित परिणाम हैं, 0 और 1. संबंधित आश्चर्य मान

\begin{aligned} Surprise (0) & = - \log (1 - p) \\ Surprise (1) & = - \log p \end{aligned}

$\begin{align} \text{Surprise}(0) &= -\log(1-p) \\ \text{Surprise}(1) &= -\log p \end{align}$ तो आश्चर्य की बात है जब अवलोकन

X

$X$ ही उम्मीद के साथ एक यादृच्छिक चर रहा है

p \cdot - \log p + (1 - p) \cdot - \log (1 - p)

$p \cdot -\log p + (1-p) \cdot -\log(1-p)$ और कहा कि आश्चर्य की बात है ---! ---

X

$X$ की एन्ट्रापी! तो एन्ट्रापी कोआश्चर्यकीउम्मीद है!

अब, यह प्रश्न अधिकतम एन्ट्रापी के बारे में है । कोई भी अधिकतम एन्ट्रापी वितरण का उपयोग क्यों करना चाहेगा? खैर, यह होना चाहिए क्योंकि वे अधिकतम आश्चर्यचकित होना चाहते हैं! कोई ऐसा क्यों चाहेगा?

इसे देखने का एक तरीका निम्नलिखित है: आप कुछ के बारे में सीखना चाहते हैं, और उस लक्ष्य के लिए आपने कुछ सीखने के अनुभव (या प्रयोग ...) निर्धारित किए हैं। यदि आप पहले से ही इस विषय के बारे में सब कुछ जानते थे, तो आप हमेशा पूरी तरह से भविष्यवाणी करने में सक्षम होते हैं, इसलिए कभी आश्चर्यचकित नहीं होते हैं। फिर आपको नया अनुभव कभी नहीं मिलता है, इसलिए कुछ भी नया न सीखें (लेकिन आप पहले से ही सब कुछ जानते हैं --- सीखने के लिए कुछ भी नहीं है, इसलिए यह ठीक है)। अधिक विशिष्ट स्थिति में जिसे आप भ्रमित कर रहे हैं, पूरी तरह से भविष्यवाणी करने में सक्षम नहीं है, एक सीखने का अवसर है! यह इस विचार की ओर ले जाता है कि हम अपेक्षित आश्चर्य से "संभव सीखने की मात्रा" को माप सकते हैं , अर्थात, एन्ट्रॉपी। तो, एन्ट्रापी को अधिकतम करना सीखने के लिए अधिकतम अवसर के अलावा और कुछ नहीं है। यह एक उपयोगी अवधारणा की तरह लगता है, जो प्रयोगों और ऐसी चीजों को डिजाइन करने में उपयोगी हो सकता है।

एक काव्यात्मक उदाहरण सर्वविदित है

वेन एइर ईने रीस मच, डन कन्न एर एर्गज़लेन ...

एक व्यावहारिक उदाहरण: आप ऑनलाइन परीक्षणों के लिए एक प्रणाली डिजाइन करना चाहते हैं (ऑनलाइन का अर्थ है कि हर किसी को एक ही प्रश्न नहीं मिलता है, प्रश्नों को गतिशील रूप से पिछले उत्तरों के आधार पर चुना जाता है, इसलिए प्रत्येक व्यक्ति के लिए, किसी तरह से अनुकूलित किया जाता है)।

यदि आप बहुत कठिन सवाल करते हैं, तो वे कभी भी महारत हासिल नहीं करते हैं, आप कुछ भी नहीं सीखते हैं। यह इंगित करता है कि आपको कठिनाई स्तर कम करना चाहिए। इष्टतम कठिनाई स्तर क्या है, अर्थात कठिनाई स्तर जो सीखने की दर को अधिकतम करता है? सही उत्तर की संभावना को $p$ । हम बर्नौली एन्ट्रापी को अधिकतम करने वाले $p$ का मान चाहते हैं । लेकिन वह $p=0.5$ । इसलिए आप उन सवालों के जवाब देना चाहते हैं, जहाँ एक सही उत्तर प्राप्त करने की संभावना (उस व्यक्ति से) 0.5 है।

फिर एक सतत यादृच्छिक चर $X$ का मामला । $X$ को देखकर हम कैसे आश्चर्यचकित हो सकते हैं ? किसी विशेष परिणाम $\{X=x\}$ की संभावना शून्य है, $-\log p$ परिभाषा बेकार है। लेकिन हम आश्चर्यचकित होंगे यदि $x$ जैसी किसी चीज के अवलोकन की संभावना छोटी है, अर्थात, यदि घनत्व फ़ंक्शन मान $f(x)$ छोटा है (मान $f$ निरंतर है)। यह ओर जाता है

Surprise (x) = - \log f (x)

$\DeclareMathOperator{\E}{\mathbb{E}} \text{Surprise}(x) = -\log f(x)$ कि परिभाषा के साथ, अवलोकन से उम्मीद आश्चर्य

X

$X$ है

E {- \log f (X)} = - \int f (x) \log f (x) d x

$\E \{-\log f(X)\} = -\int f(x) \log f(x) \; dx$ यह है कि, के अवलोकन से उम्मीद आश्चर्य

X

$X$ का अंतर एन्ट्रापी है

X

$X$ । इसे अपेक्षित तार्किकता के रूप में भी देखा जा सकता है।

लेकिन यह वास्तव में पहले, घटना, मामले के समान नहीं है। एक उदाहरण है। यादृच्छिक चर $X$ को पत्थर के फेंकने की लंबाई का प्रतिनिधित्व करते हैं (खेल प्रतियोगिता में कहते हैं)। उस लंबाई को मापने के लिए हमें एक लंबाई इकाई चुनने की आवश्यकता है, क्योंकि लंबाई का कोई आंतरिक पैमाना नहीं है, क्योंकि इसमें संभावना है। हम मिमी या किमी में, या आमतौर पर, मीटर में माप सकते हैं। लेकिन आश्चर्य की हमारी परिभाषा, इसलिए आश्चर्य की उम्मीद है, चुनी गई इकाई पर निर्भर करती है, इसलिए कोई आक्रमण नहीं है। उस कारण से, अंतर एन्ट्रापी के मूल्य सीधे शैनन एन्ट्रॉपी है जिस तरह से तुलनीय नहीं हैं। यह अभी भी उपयोगी हो सकता है, अगर कोई इस समस्या को याद करता है।

— kjetil b halvorsen
स्रोत

5

यह अधिकतम एन्ट्रापी का सबसे अच्छा और सहज स्पष्टीकरण है जो मैंने देखा है!

— व्लादिस्लाव्स डोवलगेक्स

3

जबकि सूचना सिद्धांत और अधिकतम एन्ट्रापी में कोई विशेषज्ञ नहीं है, मुझे इसमें थोड़ी देर के लिए दिलचस्पी है।

एन्ट्रापी एक संभाव्यता वितरण की अनिश्चितता का माप है जो मानदंड के एक सेट के अनुसार प्राप्त किया गया था। यह और संबंधित उपाय संभाव्यता वितरण को चिह्नित करते हैं। और, यह अद्वितीय माप है जो उन मानदंडों को पूरा करता है। यह स्वयं संभाव्यता के मामले के समान है, जैसा कि जेनेस (2003) में खूबसूरती से समझाया गया है, यह अनूठा उपाय है जो तार्किक बयानों की अनिश्चितता के किसी भी उपाय के लिए कुछ बहुत ही वांछनीय मानदंडों को संतुष्ट करता है।

संभावना वितरण की अनिश्चितता का कोई अन्य उपाय जो एंट्रॉपी से अलग था, एन्ट्रापी को परिभाषित करने के लिए उपयोग किए जाने वाले मानदंडों में से एक या अधिक का उल्लंघन करना होगा (अन्यथा यह आवश्यक रूप से एन्ट्रॉपी होगा)। इसलिए, यदि आप संभावना के मामले में कुछ सामान्य बयान दिया था कि किसी तरह एक ही परिणाम अधिकतम एन्ट्रापी के रूप में दे दी है ... तो यह होता हो अधिकतम एन्ट्रापी!

करीबी बात यह है कि मैं अब तक के सबसे अधिक एन्ट्रापी वितरणों के बारे में संभावना बयान कर सकता हूं, जेनेस की एकाग्रता प्रमेय है । आप इसे कपूर और केसवन (1992) में स्पष्ट रूप से समझा सकते हैं। यहाँ एक ढीला प्रतिबंध है:

$p$ $n$ $p_i$ $i=1,...,n$ $m$ $m+1$

$S$ $m+1$ $S_{\textrm{max}}$

$N$

2 N (S_{max} - S) \sim χ_{n - m - 1}^{2} .

$2N(S_{\textrm{max}} - S) \sim \chi^2_{n-m-1}.$

(S_{max} - \frac{χ_{n - m - 1}^{2} (0.95)}{2 N}, S_{max}) .

$\left( S_{\textrm{max}} - \frac {\chi^2_{n-m-1} (0.95)}{2N}, S_{\textrm{max}} \right).$

S_{max} - \frac{χ_{n - m - 1}^{2} (0.95)}{2 N}

$S_{\textrm{max}} - \frac {\chi^2_{n-m-1} (0.95)}{2N}$

ET Jaynes (2003) प्रायिकता सिद्धांत: विज्ञान का तर्क। कैम्ब्रिज यूनिवर्सिटी प्रेस।

जेएन कपूर और के। केसवन (1992) अनुप्रयोगों के साथ एन्ट्रापी अनुकूलन सिद्धांत। शैक्षणिक प्रेस, इंक।

— jvbraun
स्रोत

3

$\sigma$

"इसलिए, इस व्याख्या में मूल केंद्रीय सीमा प्रमेय इस तथ्य को व्यक्त करता है कि प्रति शून्य और सामान्य विचरण के साथ स्वतंत्र यादृच्छिक चर के योग का प्रति प्रतीक अधिकतम को जाता है। यह उचित रूप से उचित लगता है; वास्तव में, यह एक अभिव्यक्ति है। ऊष्मप्रवैगिकी का दूसरा नियम, जिसे एडिंगटन ने 'प्रकृति के नियमों के बीच सर्वोच्च स्थान' के रूप में देखा। "

मैंने अभी तक इस के निहितार्थों का पता नहीं लगाया है, और न ही मुझे यकीन है कि मैं उन्हें पूरी तरह से समझता हूं।

[संपादित करें: फिक्स्ड टाइपो]

— एफ। टसेल
स्रोत