वहाँ मात्रा के लिए किसी भी उपयोग है

वहाँ मात्रा के लिए किसी भी उपयोग है आँकड़े या सूचना सिद्धांत में?

\int f (x)^{2} d x

$\int f(x)^2 dx$

probability entropy information-theory

— charles.y.zheng
स्रोत

रेनी एन्ट्रॉपी

— कार्डिनल

एक पीडीएफ है, है ना?

f

$f$

— whuber

हाँ,

एक घनत्व है।

f

$f$

— charles.y.zheng

@ कार्डिनल उत्तर!

@mbq: ठीक है, मैं बाद में कुछ लिखने की कोशिश करूँगा जो एक उत्तर के योग्य है। :)

— कार्डिनल

दे निरूपित एक प्रायिकता घनत्व समारोह (या तो क्रमशः Lebesgue के संबंध में या गिनती उपाय, के साथ), मात्रा $f$ $\newcommand{\rd}{\mathrm{d}}$ के रूप में जाना जाता हैRenyi एन्ट्रापीआदेश के। यह शैनन एंट्रोपी का एक सामान्यीकरण है जो समान गुणों में से कई को बरकरार रखता है। मामले के लिए, हम व्याख्याके रूप में, और मानक शैनन एन्ट्रापी को यह मेल खाती।

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

रेनी ने इसे अपने पेपर में पेश किया

ए रेनी, सूचना और एन्ट्रापी के उपायों पर , प्रोक। 4 वें बर्कले सिम्प। गणित पर।, स्टेट। और शायद। (1960), पीपी। 547-561।

जो न केवल विचारों के लिए बल्कि अनुकरणीय प्रदर्शनी शैली के लिए भी पढ़ने लायक है।

मामला के लिए अधिक सामान्य विकल्पों में से और यह विशेष मामला है (भी) जिसे अक्सर रेनी एन्ट्रॉपी के रूप में संदर्भित किया जाता है। यहाँ हम देखते हैं कि एक यादृच्छिक चर घनत्व के साथ वितरित के लिए । $\alpha = 2$ $\alpha$

H_{2} (f) = - \log (\int f^{2} d μ) = - \log (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

$- \log(x)$

H_{2} (f) = - \log (E f (X)) \leq E (- \log f (X)) = - E \log f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$ जहां दायीं ओर का हिस्सा शैनन एंट्रोपी को दर्शाता है। इसलिए रेनी एन्ट्रॉपी शैनन एन्ट्रापी के लिए एक निचली सीमा प्रदान करता है और, कई मामलों में, गणना करना आसान होता है।

$X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

$f$ $\Omega = \{x_i: i \in \mathbb{N}\}$ ।

(सामान्य) रेनी एन्ट्रॉपी भी जाहिरा तौर पर थर्मल संतुलन में एक प्रणाली की मुक्त ऊर्जा से संबंधित है, हालांकि मैं व्यक्तिगत रूप से उस पर नहीं हूं। विषय पर ए (बहुत) हाल का पेपर है

जेसी बैज़, रेनी एन्ट्रॉपी और फ्री एनर्जी , अर्क्सिव [क्वांट-फ] 1101.2098 (फरवरी 2011)।

— कार्डिनल
स्रोत

मैं वास्तव में रेनी एन्ट्रॉपी का उपयोग शैनन एंट्रोपी के विकल्प के रूप में कर रहा था; मेरे अंतर्ज्ञान की पुष्टि देखकर अच्छा लगा। ज्ञानवर्धक प्रतिक्रिया के लिए धन्यवाद।

— charles.y.zheng

- \log x

$-\log x$

समझा। विशेष रूप से, मुझे उस संपत्ति की आवश्यकता है जो अधिकतम एन्ट्रापी संयुक्त वितरण है जो कि दिए गए

— मार्जिन को