एक रिश्तेदार, सामान्यीकृत उपयोगिता फ़ंक्शन को एक pmf के रूप में व्यवहार करते समय, शैनन एन्ट्रापी या शैनन जानकारी की व्याख्या क्या है?

10

मान लीजिए कि एक असतत रैंडम वैरिएबल के पारस्परिक रूप से अनन्य परिणामों का एक सेट है और एक उपयोगिता फ़ंक्शन है जहां , , आदि। $\Omega$ $f$ $0 < f(\omega) \leq 1$ $\sum_\Omega f(\omega) = 1$

जब को समान रूप से पर वितरित किया जाता है और एक प्रायिकता मास फ़ंक्शन होता है , तो शैनन एन्ट्रॉपी होता है अधिकतम ( , और में एक तत्व जब है के सभी के लिए बड़े पैमाने पर, शैनन एन्ट्रापी कम से कम है ( , वास्तव में)। यह सरलीकरण (या अनिश्चितता में कमी ) और परिणामों और अनिश्चितता (या अपेक्षित आश्चर्य ) और यादृच्छिक चर के बारे में अंतर्ज्ञान से मेल खाती है : $f$ $\Omega$ $f$ $H(\Omega) = \sum_{\Omega}f(\omega)log\frac{1}{f(\omega)}$ $=log|\Omega|)$ $\Omega$ $f$ $0$

जब को समान रूप से वितरित किया जाता है, तो अनिश्चितता को अधिकतम किया जाता है, और अधिक परिणाम वहाँ बड़े पैमाने पर समान रूप से वितरित करने के लिए होते हैं, और हम जितना अधिक अनिश्चित होते हैं। $f$
जब ने अपने सभी द्रव्यमान को एक परिणाम में केंद्रित किया है, तो हमारे पास कोई अनिश्चितता नहीं है। $f$
जब हम किसी परिणाम को प्रायिकता प्रदान करते हैं , तो जब हम वास्तव में निरीक्षण करते हैं, तो हमें कोई जानकारी नहीं मिलती है ("अप्रसन्न")। $1$
जब हम किसी परिणाम को संभाव्यता के करीब और करीब सौंपते हैं , तो वास्तव में होने वाला अवलोकन अधिक से अधिक सूचनात्मक ("आश्चर्यजनक") हो जाता है। $0$

(यह सब कुछ अधिक ठोस - लेकिन कम महामारी के बारे में कुछ भी नहीं कहता है - शैनन जानकारी की कोडिंग व्याख्या / बेशक, निश्चित रूप से।)

हालाँकि, जब की उपयोगिता फ़ंक्शन की व्याख्या होती है , तो क्या या की एक कामुक व्याख्या होती है ? यह मुझे लगता है कि हो सकता है: $f$ $log\frac{1}{f(\omega)}$ $\sum f(\omega)log\frac{1}{f(\omega)}$

अगर पीएमएफ के रूप में पर एक समान वितरण का प्रतिनिधित्व करता है , तो एक उपयोगिता समारोह के रूप में परिणामों से अधिक उदासीनता से मेल खाती है जो अधिक नहीं हो सकता है * $f$ $\Omega$ $f$
एक उपयोगिता फ़ंक्शन जहां एक परिणाम में सभी उपयोगिताएं हैं और बाकी के पास कोई भी नहीं है (जैसा कि उपयोगिता का तिरछा हो सकता है) बहुत मजबूत रिश्तेदार वरीयताओं से मेल खाती है - उदासीनता की कमी।

क्या इस पर एक संदर्भ का विस्तार हो रहा है? क्या मैंने संभावना जन कार्यों की तुलना करने और असतत यादृच्छिक चर पर सामान्यीकृत, सापेक्ष उपयोगिताओं की सीमाओं के बारे में कुछ याद किया है?

* मैं उदासीनता घटता के बारे में जानता हूं और यह नहीं देखता कि वे विभिन्न कारणों से मेरे प्रश्न के लिए प्रासंगिक कैसे हो सकते हैं, एक स्पष्ट नमूना स्थान पर अपना ध्यान केंद्रित करने के साथ और इस तथ्य के साथ कि मुझे प्रति उदासीनता में 'उदासीनता' में दिलचस्पी नहीं है, जागरूक बल्कि यों कहें कि उपयोगिताओं को संभाव्यता के रूप में कैसे व्याख्यायित किया जाए और कैसे संभाव्यता पर क्रियात्मक व्याख्या की जाए जब (विवेकाधीन) प्रश्न में 'संभाव्यता वितरण' वास्तव में हो या इसके अतिरिक्त किसी उपयोगिता कार्य की व्याख्या हो।

— EM23
स्रोत

मेरे पास कोई जवाब नहीं है, लेकिन आपका सवाल मुझे निष्पक्ष केक काटने की समस्या में एन्ट्रॉपी का उपयोग करने के बारे में सोचता है: en.wikipedia.org/wiki/Fair_cake-cutting मानक मॉडल यह है कि केक एक अंतराल है [0] 1], और अंतराल पर विभिन्न सामान्यीकृत मूल्य उपायों के साथ एजेंट हैं। उपायों को गैर-परमाणु माना जाता है, लेकिन उनके "एन्ट्रोपी" पर आगे कोई धारणा नहीं है। यह सोचने के लिए दिलचस्प हो सकता है कि हम केक काटने की समस्याओं के बारे में क्या कह सकते हैं जहां उपयोगिता कार्यों ने प्रवेश किया है।

n

$n$

— इरेल सेगल-हलेवी

3

शैनन की एन्ट्रापी पर चर्चा करने से पहले, एक और बिंदु है जिस पर चर्चा की जानी चाहिए: ऐसा प्रतीत होता है कि आपके पास ऑर्डिनल के बजाय कार्डिनल उपयोगिता को ध्यान में रखना है ।

"सामान्यीकृत" उपयोगिता कार्यों को दोनों मामलों में निश्चित रूप से प्राप्त किया जा सकता है। लेकिन "सापेक्ष वरीयता" की अवधारणा को केवल कार्डिनल उपयोगिता के संदर्भ में परिभाषित और मापा जा सकता है।

और मुद्दा आपके द्वारा वर्णित दो चरम सीमाओं पर नहीं उठता है, लेकिन सभी संभावित मध्यवर्ती मामलों में।

एक सरल उदाहरण: मान लें कि तीन "परिणाम" हैं, (कहते हैं, खपत का स्तर, या तीन अलग-अलग सामान प्रत्येक मात्रा में)। आपकी उपयोगिता फ़ंक्शन ने उन्हें मूल्यों को सौंपा $A, B, C$

V (A) = 1, V (B) = 9, V (C) = 90

$V(A) = 1, \;\;V(B) = 9,\;\; V(C) = 90$

क्रमिक उपयोगिता के तहत, यह सिर्फ हमें बताता है कि

A <_{p r} B <_{p r} C

$A <_{pr} B <_{pr} C$

निश्चित रूप से हम प्राप्त करने के लिए से विभाजित करके इन्हें सामान्य कर सकते हैं $100$

U_{V} (A) = 0.01, U_{V} (B) = 0.09, U_{V} (C) = 0.9

$U_V(A)=0.01, \;\; U_V(B) = 0.09,\;\; U_V(C) =0.9$ और तीन परिणामों की रैंकिंग संरक्षित है

लेकिन क्रमिक उपयोगिता के तहत, हम एक और उपयोगिता फ़ंक्शन का उपयोग कर सकते हैं जो असाइन करेगा

W (A) = 31, W (B) = 32, W (C) = 37

$W(A) = 31, \;\;W(B) = 32,\;\; W(C) = 37$

और प्राप्त करें

U_{W} (A) = 0.31, U_{W} (B) = 0.32, U_{W} (C) = 0.37

$U_W(A)=0.31, \;\; U_W(B) = 0.32,\;\; U_W(C) =0.37$

रैंकिंग समान है, इसलिए दो उपयोगिता फ़ंक्शन और क्रमिक उपयोगिता के बराबर हैं । $V$ $W$

लेकिन आप जो वर्णन कर रहे हैं, वह उपयोगिता फ़ंक्शन तुलना में अलग-अलग सापेक्ष वरीयताओं का प्रतिनिधित्व करता है और इसलिए यह समान उपयोगिता फ़ंक्शन नहीं है। लेकिन यह केवल कार्डिनल उपयोगिता के तहत सार्थक है , जहां उपयोगिता संख्याओं के बीच मात्रात्मक तुलना को अर्थ माना जाता है। $W$ $V$

क्या आप कार्डिनल उपयोगिता के आसपास के मुद्दों से परिचित हैं?

— एलेकोस पापाडोपोलोस
स्रोत

जागरूक कि ऐसे मुद्दे मौजूद हैं? हाँ। क्यों (व्यक्तिगत संस्करण से परे) मुझे इस तरह के मुद्दों पर ध्यान से विचार करने की आवश्यकता हो सकती है? वास्तव में, हालांकि डोमेन के लिए मैं में (कार्यों और वातावरण है कि स्पष्ट RVs हैं साथ निर्णय समस्याओं) मेरी रुचि है, उपयोगिता आम तौर पर कार्डिनल, जहाँ तक मैं बता सकता है माना जाता है - और वास्तव में अलग उपयोगिता कार्यों पर विचार किया जाएगा , हालांकि वरीयताओं की समान क्रमिक रैंकिंग प्रदर्शित करके विशेष रूप से संबंधित है। हालाँकि, मैं कार्डिनल उपयोगिता के आसपास के मुद्दों के बारे में और अधिक सुनने के लिए खुश हूं।

V

$V$

U

$U$

— EM23

3

मेरे अन्य उत्तर में ओपी के साथ विनिमय के बाद, आइए उनके दृष्टिकोण के साथ थोड़ा काम करें।

हमारे पास परिमित समर्थन, , और प्रायिकता मास फ़ंक्शन (PMF), साथ असतत रैंडम वेरिएबल $X$ $X = \{x_1,...,x_k\}$ $\Pr(X=x_i)=p_i, i=1,...,k$

के समर्थन में मूल्य एक वास्तविक-मूल्यवान कार्डिनल उपयोगिता फ़ंक्शन में इनपुट भी हैं , । हम फिर सामान्यीकृत उपयोगिता फ़ंक्शन पर विचार करते हैं $X$ $u(x_i) > 0\; \forall i$

\begin{matrix} (1) & w (X) : w (x_{i}) = \frac{u (x_{i})}{\sum_{i = 1}^{k} u (x_{i})}, i = 1, . . ., k \end{matrix}

$w(X): w(x_i) = \frac {u(x_i)}{\sum_{i=1}^ku(x_i)},\;\;i=1,...,k \tag{1}$

और हमें बताया गया है कि

\begin{matrix} (2) & w (x_{i}) = p_{i} \end{matrix}

$w(x_i) = p_i \tag{2}$

ध्यान दें कि हम केवल यह अवलोकन नहीं करते हैं कि परिमित डोमेन का एक सामान्य गैर-नकारात्मक असतत कार्य, सामान्य रूप में प्रायिकता के बड़े पैमाने पर कार्य करने की क्षमता को संतुष्ट करता है, विशेष रूप से यह मानता है कि यादृच्छिक के PMF का कार्यात्मक रूप है चर जिसका मान इनपुट के रूप में लेता है। $w(x_i)$ $w(x_i)$

चूँकि एक यादृच्छिक चर का औसत दर्जे का कार्य है, इसलिए यह एक यादृच्छिक चर है। तो हम इसके अपेक्षित मूल्य जैसी चीजों पर सार्थक विचार कर सकते हैं। हमारे पास अचेतन सांख्यिकीविद् के कानून का उपयोग करना $w(x_i)$

\begin{matrix} (3) & E [w (X)] = \sum_{i = 1}^{k} p_{i} w (x_{i}) = \sum_{i = 1}^{k} p_{i}^{2} \end{matrix}

$E[w(X)] = \sum_{i=1}^kp_iw(x_i) = \sum_{i=1}^kp_i^2 \tag{3}$

यह एक उत्तल समारोह है, और अगर हम पर extremize करने की कोशिश 'बाधा के तहत s हम आसानी से प्राप्त $p_i$ $\sum_{i=1}^kp_i=1$

\begin{matrix} (4) & argmin E [w (X)] = p^{*} : p_{1} = p_{2} = . . . = p_{k} = 1 / k \end{matrix}

$\text{argmin} E[w(X)] = \mathbf p^*: p_1=p_2=...=p_k=1/k \tag {4}$

और हमने एक सामान्य परिणाम प्राप्त किया है:

सामान्य रूप से परिभाषित उपयोगिता फ़ंक्शन जैसा कि ऊपर परिभाषित किया गया है यदि का वितरण यूनिफ़ॉर्म है तो न्यूनतम अपेक्षित मूल्य है। $X$

जाहिर है ऐसे मामले में एक स्थिर कार्य होगा , और शून्य विचरण के साथ एक यादृच्छिक यादृच्छिक चर । $w(X)$ $E[w(X)]=1/k$

शैनन की एंट्रोपी की ओर मुड़ते हैं जो ओपी का ध्यान केंद्रित करती है। गणना करने के लिए, शैनन की एन्ट्रॉपी को यादृच्छिक चर की संभाव्यता द्रव्यमान समारोह की आवश्यकता होती है ... इसलिए हमें यादृच्छिक चर का PMF ज्ञात करना चाहिए ... $w(X)$

लेकिन यह मेरी धारणा है कि यह ओपी के दिमाग में नहीं है। इसके बजाय, यह शैनन की एंट्रोपी को एक मीट्रिक के रूप में देखता है जिसमें कुछ वांछनीय बीजीय गुण होते हैं और शायद एक सार्थक तरीके से ब्याज के कुछ को कॉम्पैक्ट कर सकते हैं।

यह अर्थशास्त्र में इससे पहले किया गया है, विशेष रूप से औद्योगिक संगठन में, इंडेक्स ऑफ मार्केट कॉन्सेंट्रेशन ("एक बाजार की प्रतिस्पर्धा / एकाधिकार संरचना") का निर्माण किया गया है। मैं दो नोट करता हूं जो यहां विशेष रूप से प्रासंगिक हैं।

ए) Herfindahl सूचकांक, के शेयरों बाजार अपने तर्कों के रूप में है एक बाजार, में सक्रिय कंपनियों तो वे निर्माण से एकता के लिए योग,। इसका बिना बिके संस्करण है $n$ $s_i$

H = \sum_{i = 1}^{n} s_{i}^{2}

$H = \sum_{i=1}^n s_i^2$

जो एक अभिव्यक्ति है जिसमें ऊपर दिए गए के अपेक्षित मान के साथ सटीक संरचना है। $w(X)$

बी) Entropy सूचकांक जो शैनन के Entropy के साथ सटीक गणितीय रूप है।

R_{e} = - \sum_{i = 1}^{n} s_{i} \ln s_{i}

$R_e = -\sum_{i=1}^n s_i\ln s_i$

एनकौआ, डी।, और जैक्विमिन, ए। (1980)। एकाधिकार की डिग्री, एकाग्रता के संकेत और प्रवेश की धमकी। अंतर्राष्ट्रीय आर्थिक समीक्षा, 87-105। , "स्वीकार्य" एकाग्रता सूचक के एक स्वयंसिद्ध व्युत्पत्ति प्रदान करते हैं, अर्थात वे उन गुणों को परिभाषित करते हैं जो इस तरह के सूचकांक के पास होने चाहिए। चूंकि उनका दृष्टिकोण अमूर्त है, मेरा मानना है कि यह ओपी के लिए अर्थ का पता लगाने और संलग्न करने के लिए उपयोगी हो सकता है।

— एलेकोस पापाडोपोलोस
स्रोत

1

ऐसा लगता है कि उपयोगिता समारोह न केवल कार्डिनल है, बल्कि यहां तक कि एक अनुपात पैमाने पर भी परिभाषित किया गया है। उपयोगिताओं के साथ दो परिणामों पर विचार करें 1/4 और 3/4। स्पष्ट रूप से, हम लागू कर सकते हैं: जिस स्थिति में उपयोगिताओं 0 और 1. बन जाती हैं। हालाँकि, अब हमने एन्ट्रापी को सख्ती से सकारात्मक मान से बदलकर शून्य कर दिया है! $v=v*2-0.5$

इस प्रकार, आपको पहले अपनी उपयोगिता के लिए एक सार्थक अनुपात पैमाना प्रदान करना होगा। ऐसा करने का एक तरीका प्राकृतिक 0 उपयोगिता स्तर की व्याख्या देना है। इस विनिर्देश के बिना एन्ट्रापी अर्थहीन है।

— HRSE
स्रोत