एन्ट्रापी स्थान और पैमाने पर कैसे निर्भर करती है?

घनत्व फ़ंक्शन साथ एक निरंतर वितरण की एन्ट्रोपी को की अपेक्षा के नकारात्मक के रूप में परिभाषित किया गया है और इसलिए मानदंड $f$ $\log(f),$

H_{f} = - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x .

$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$

हम यह भी कहते हैं कि किसी भी यादृच्छिक चर $X$ जिसका वितरण में घनत्व $f$ है, एन्ट्रापी $H_f.$ (यह इंटीग्रल तब भी अच्छी तरह से परिभाषित है जब $f$ में शून्य हो, क्योंकि $\log(f(x))f(x)$ को ऐसे मानों पर बराबर शून्य पर ले जाया जा सकता है।)

जब $X$ और $Y$ यादृच्छिक परिवर्तनीय हैं जिसके लिए $Y = X+\mu$ ( $\mu$ एक निरंतर है), $Y$ के एक संस्करण होना कहा जाता है $X$ द्वारा स्थानांतरित $\mu.$ इसी प्रकार, जब $Y = X\sigma$ ( $\sigma$ एक सकारात्मक स्थिर है), $Y$ कहा जाता है के एक संस्करण होने के लिए $X$ द्वारा बढ़ाया $\sigma.$ एक स्केल के साथ एक स्केल को $Y=X\sigma + \mu.$

ये संबंध अक्सर होते हैं। उदाहरण के लिए, $X$ की माप की इकाइयों को बदलना और इसे तराजू।

कैसे की एन्ट्रापी है $Y = X\sigma + \mu$ की है कि से संबंधित $X?$

distributions data-transformation entropy

— व्हीबर
स्रोत

चूँकि $X$ का संभाव्यता तत्व $f(x)\mathrm{d}x,$ चर $y = x\sigma + \mu$ का परिवर्तन $x = (y-\mu)/\sigma,$ है

f (x) d x = f (\frac{y - μ}{σ}) d (\frac{y - μ}{σ}) = \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

यह निम्नानुसार है कि $Y$ का घनत्व है

f_{Y} (y) = \frac{1}{σ} f (\frac{y - μ}{σ}) .

$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$

नतीजतन $Y$ की एन्ट्रापी है

H (Y) = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (\frac{y - μ}{σ})) \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

जो, चर वापस बदल रहा है पर $x = (y-\mu)/\sigma,$ पैदा करता है

\begin{aligned} H (Y) & = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (x)) f (x) d x \\ = - \int_{- \infty}^{\infty} (\log (\frac{1}{σ}) + \log (f (x))) f (x) d x \\ = \log (σ) \int_{- \infty}^{\infty} f (x) d x - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x \\ = \log (σ) + H_{f} . \end{aligned}

$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$

$f(x)\mathrm{d}x$

निष्कर्ष है

$Y = X\sigma + \mu$ $X$ $\log(\sigma).$

$\sigma \ge 1$ $\log(\sigma).$

$\mu$ $\sigma$ $(\mu,\sigma)$ $\mu=0$ $\sigma=1.$

\log (f (x)) = - \frac{1}{2} \log (2 π) - x^{2} / 2,

$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$

जहां से

H = - E [- \frac{1}{2} \log (2 π) - X^{2} / 2] = \frac{1}{2} \log (2 π) + \frac{1}{2} .

$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$

$(\mu,\sigma)$ $\log\sigma$

H = \frac{1}{2} \log (2 π) + \frac{1}{2} + \log (σ) = \frac{1}{2} \log (2 π e σ^{2})

$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$

जैसा कि विकिपीडिया द्वारा रिपोर्ट किया गया है ।

— व्हीबर
स्रोत