विशेष संभावना वितरण

यदि पर ग़ैर शून्य मान के साथ एक प्रायिकता वितरण है , किस प्रकार (ओं) के लिए वहाँ मौजूद है एक निरंतर ऐसी है कि सभी के लिए ? $p(x)$ $[0,+\infty)$ $p(x)$ $c\gt 0$ $\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^2$ $0\lt\epsilon\lt 1$

ऊपर की असमानता वास्तव में वितरण और इसके संपीड़ित संस्करण बीच एक कुल्बैक-लीब्लर डाइवर्जेंस है । मुझे पता चला है कि यह असमानता एक्सपोनेंशियल, गामा और वेइबुल वितरण के लिए है और मुझे यह जानने में दिलचस्पी है कि क्या संभावना वितरण का एक बड़ा वर्ग काम करता है। $p(x)$ ${(1+\epsilon)}p({x}{(1+\epsilon)})$

किसी भी विचार का क्या मतलब है कि असमानता?

— Sus20200
स्रोत

चूंकि Since सकारात्मक है जो

ϵ

$\epsilon$ की बजाय संकुचित (एक्स-दिशा में) होगा।

— Glen_b -Reinstate मोनिका

यह सवाल अस्पष्ट है: आपके क्वांटिफायर क्या हैं? आप इस असमानता के लिए पकड़ करना चाहते हैं सभी

ϵ

$\epsilon$ , कम से कम एक

ϵ

$\epsilon$ , या कुछ और? क्या

c

$c$ को एक प्राथमिकता दी गई है या क्या आपका मतलब है कि

का कम से कम एक मूल्य मौजूद होना चाहिए ? और जब से आप "

" द्वारा प्रायिकता वितरण के वर्गों का उल्लेख करते हैं , तो क्या आपका मतलब एक विशिष्ट वितरण है या क्या आप शायद उनमें से एक पैरामीट्रिक परिवार का मतलब है?

c

$c$

p (x)

$p(x)$

— whuber

@whuber आपकी टिप्पणियों के लिए धन्यवाद। मैंने उल्लिखित मुद्दों को स्पष्ट करने के लिए अपनी समस्या बयान में सुधार किया। मेरा मतलब है, उपरोक्त असमानता को किस

लिए रखा गया है? इसका उत्तर या तो वितरणों के एक पैरामीट्रिक परिवार को पेश करना या

लिए एक अंतर समीकरण का प्रस्ताव करना हो सकता है जो पर्याप्त है और वांछित असमानता देता है।

p (x)

$p(x)$

p (x)

$p(x)$

— सुस 20200

क्या यह असमानता किसी भी p (x) के लिए काम नहीं करेगी जो निरंतर और अनंत समर्थन के साथ है? आप एक पैरामीट्रिक परिवार के अंदर केएल विचलन की गणना कर रहे हैं (

। केएल 0 पर diffentiable है, तो यह व्युत्पन्न है 0. ले जा रहा है

(के लिए केएल की वक्रता की अधिकतम होने के लिए

), हमारे पास बाध्य है। अतिरिक्त काम के साथ, पी के गुणों से सी को बाध्य करना संभव हो सकता है

ϵ \to p (x (1 + ϵ))

$\epsilon \rightarrow p(x(1+\epsilon))$

C

$C$

ϵ \in [0, 1]

$\epsilon \in [0,1]$

— गिलोयूम देहेने

यह अनंत हो सकता है जब तक

। केएल के पहले के आदेश विस्तार है

L = lim_{x \to 0} p (x) x = 0

$L = \lim_{x \rightarrow 0} p(x)x = 0$

L ϵ + O (ϵ^{2})

$L \epsilon + O(\epsilon^2)$

— आर्थर बी

प्रारंभिक

लिखना

I_{p} (ϵ) = \int_{0}^{\infty} p (x) \log (\frac{p (x)}{(1 + ϵ) p (x (1 + ϵ))}) d x .

$\mathcal{I}_p(\epsilon) = \int_0^\infty p(x) \log\left(\frac{p(x)}{(1+\epsilon)p(x(1+\epsilon))}\right)\, dx.$

लघुगणक और और के बीच का संबंध और इसके तर्क दोनों को घातांक के रूप में व्यक्त करने का सुझाव देता है । उस अंत तक, परिभाषित करें $p(x)$ $p(x(1+\epsilon))$ $p$

q (y) = \log (p (e^{y}))

$q(y) = \log(p(e^y))$

सभी वास्तविक के लिए जिसके लिए दाहिने हाथ की ओर से परिभाषित और के बराबर है जहाँ भी । सूचना है कि चर के परिवर्तन जरूरत पर जोर देता और (लेने होने के लिए घनत्व एक वितरण की) है कि कुल के कानून संभावना जिससे के रूप में व्यक्त किया जा सकता है $y$ $-\infty$ $p(e^y)=0$ $x=e^y$ $dx=e^y dy$ $p$

\begin{matrix} (1) & 1 = \int_{0}^{\infty} p (x) d x = \int_{R} e^{q (y) + y} d y . \end{matrix}

$1 = \int_0^\infty p(x)dx = \int_\mathbb{R} e^{q(y)+y} dy.\tag{1}$

हमें मान लेते हैं जब । $e^{q(y)+y}\to 0$ $y\to\pm\infty$ बाहर संभाव्यता वितरण यह नियम के पास घनत्व में असीम कई कीलें या । विशेष रूप से, यदि की पूंछ अंततः मोनोटोनिक है, इस धारणा का अर्थ है, यह दिखाना एक गंभीर नहीं है। $p$ $0$ $\infty$ $p$ $(1)$

लघुगणक के साथ काम करना आसान बनाने के लिए, यह भी देखें

1 + ϵ = e^{ϵ} + O (ϵ^{2}) .

$1+\epsilon = e^\epsilon + O(\epsilon^2).$

निम्नलिखित गणना के गुणकों अप करने के लिए प्रदर्शन किया जाएगा क्योंकि , को परिभाषित $\epsilon^2$

δ = \log (1 + ϵ) .

$\delta = \log(1+\epsilon).$

हम साथ ही बदल सकता है द्वारा , साथ करने के लिए इसी और सकारात्मक सकारात्मक करने के लिए इसी । $1+\epsilon$ $e^\delta$ $\delta=0$ $\epsilon=0$ $\delta$ $\epsilon$

विश्लेषण

एक स्पष्ट जिस तरह असमानता असफल हो सकता है अभिन्न के लिए होगा कुछ के लिए विचलित । अगर, उदाहरण के लिए, वहाँ थे होने के लिए यह क्या होगा किसी भी उचित अंतराल सकारात्मक संख्याओं की, कोई फर्क नहीं पड़ता कि कितना छोटा है, जिसमें समान रूप से शून्य थे लेकिन अंतराल पर शून्य नहीं थे $\mathcal{I}_p(\epsilon)$ $\epsilon \in (0, 1]$ $[u, v]$ $p$ $p$ $[u-\epsilon, v-\epsilon]$ । यह सकारात्मक संभावना के साथ एकीकृत होने का कारण होगा।

चूँकि प्रश्न की प्रकृति के विषय में अनिर्णायक है , इसलिए हम तकनीकी मुद्दों में उलझ सकते हैं कि कितना चिकना हो सकता है। आइए ऐसे मुद्दों से बचें, अभी भी कुछ अंतर्दृष्टि हासिल करने की उम्मीद कर रहे हैं, यह मानकर कि हर जगह उतने ही डेरिवेटिव हैं जितने कि हम उपयोग करने के लिए देखभाल कर सकते हैं। (दो यदि पर्याप्त होगा क्योंकि वह गारंटी देता है निरंतर है।) किसी भी घिरे सेट पर घिरा रहता है, इसका अर्थ है कि शून्य जब कभी नहीं है । $p$ $p$ $q$ $q^{\prime\prime}$ $q$ $p(x)$ $x \gt 0$

ध्यान दें कि सवाल वास्तव में के व्यवहार से संबंधित है के रूप में ऊपर से शून्य दृष्टिकोण। चूंकि यह अभिन्न की एक सतत समारोह है अंतराल में , यह कुछ अधिकतम उपलब्ध हो जाता है जब किसी भी सकारात्मक अंतराल तक ही सीमित है , हमें सक्षम चुनने के लिए , जाहिर है क्योंकि $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\epsilon$ $(0,1]$ $M_p(a)$ $\epsilon$ $[a,1]$ $c = M_p(a)/a^2$

c ϵ^{2} = M_{p} (a) {(\frac{ϵ}{a})}^{2} \geq M_{p} (a) \geq I_{p} (ϵ)

$c\epsilon^2 = M_p(a) \left(\frac{\epsilon}{a}\right)^2 \ge M_p(a) \ge \mathcal{I}_p(\epsilon)$

असमानता को काम करता है। यही कारण है कि हम केवल गणना सापेक्ष के साथ संबंध होने की आवश्यकता है । $\epsilon^2$

उपाय

चर के परिवर्तन से उपयोग करना के लिए से, के लिए , और को , चलो की गणना करते हैं में दूसरे क्रम के माध्यम से (या एक सरलीकरण को प्राप्त करने की आशा में)। उस अंत तक परिभाषित करें $x$ $y$ $p$ $q$ $\epsilon$ $\delta$ $\mathcal{I}_p(\epsilon)$ $\epsilon$ $\delta$

R (y, δ) δ^{2} = q (y + δ) - q (y) - δ q^{'} (y)

$\mathcal{R}(y, \delta) \delta^2 = q(y+\delta) - q(y) - \delta q^\prime(y)$

आदेश- होने के लिए से टेलर विस्तार में शेष आसपास । $2$ $q$ $y$

\begin{aligned} I_{p} (ϵ) & = \int_{R} e^{q (y) + y} (q (y) - q (y + δ) - δ) d y \\ = - \int_{R} e^{q (y) + y} (δ + δ q^{'} (y) + R (y, δ) δ^{2}) d y \\ = - δ \int_{R} e^{q (y) + y} (1 + q^{'} (y)) d y - δ^{2} \int_{R} e^{q (y) + y} R (y, δ) d y . \end{aligned}

$\eqalign{ \mathcal{I}_p(\epsilon) &= \int_\mathbb{R}e^{q(y) + y} \left(q(y) - q(y+\delta) - \delta\right)\, dy \\ &=-\int_\mathbb{R}e^{q(y) + y} \left(\delta + \delta q^\prime(y) + \mathcal{R}(y, \delta) \delta^2 \right)\, dy \\ &= -\delta\int_\mathbb{R}e^{q(y) + y} \left(1+q^\prime(y)\right)\, dy -\delta^2\int_\mathbb{R}e^{q(y) + y} \mathcal{R}(y, \delta)\, dy. }$

चर को बाएं हाथ के अभिन्न अंग में बदलने से पता चलता है कि यह गायब हो जाना चाहिए, जैसा कि निम्नलिखित धारणा में टिप्पणी की गई है । वेरिएबल्स को वापस में राइट हैंड इंटीग्रल में बदलना $q(y)+y$ $(1)$ $x=e^y$

I_{p} (ϵ) = - δ^{2} \int_{R} p (x) R (\log (x), δ) d y = - δ^{2} E_{p} (R (\log (x), δ)) .

$\mathcal{I}_p(\epsilon) = - \delta^2 \int_\mathbb{R} p(x) \mathcal{R}(\log(x), \delta)\, dy = -\delta^2 \mathbb{E}_p\left(\mathcal{R}(\log(x), \delta)\right).$

असमानता रखती है (हमारे विभिन्न तकनीकी मान्यताओं के तहत) यदि और केवल यदि का गुणांक दाहिने हाथ की ओर परिमित है। $\delta^2$

व्याख्या

यह, बंद करने के लिए एक अच्छा स्थान है, क्योंकि यह आवश्यक मुद्दे को उजागर करने के लिए प्रकट होता है: की द्विघात क्रिया से घिरा है ठीक जब टेलर विस्तार में द्विघात त्रुटि (विस्फोट नहीं करता वितरण के सापेक्ष ) के रूप में दृष्टिकोण । $\mathcal{I}_p(\epsilon)$ $\epsilon$ $q$ $y$ $\pm\infty$

आइए प्रश्न में वर्णित कुछ मामलों की जाँच करें: घातांक और गामा वितरण। (घातांक गामा का एक विशेष मामला है।) हमें पैमाने के मापदंडों के बारे में चिंता करने की आवश्यकता नहीं है, क्योंकि वे केवल माप की इकाइयों को बदलते हैं। केवल गैर-पैमाने के पैरामीटर मायने रखते हैं।

इधर, क्योंकि के लिए , एक मनमाना आसपास टेलर विस्तार है $p(x) = x^k e^{-x}$ $k \gt -1$

q (y) = - e^{y} + k y - \log Γ (k + 1) .

$q(y) = -e^y + k y - \log\Gamma(k+1).$

y

$y$

शेष के साथ टेलर की प्रमेय का तात्पर्य

का प्रभुत्व है

पर्याप्त रूप से छोटे के लिए

। चूँकि

की अपेक्षापरिमित है, इसलिए असमानता गामा वितरण के लिए है।

Constant + (k - e^{y}) δ - \frac{e^{y}}{2} δ^{2} + \dots .

$\text{Constant} + (k-e^y)\delta - \frac{e^y}{2}\delta^2 + \cdots.$

R (\log (x), δ)

$\mathcal{R}(\log(x),\delta)$

e^{y + δ} / 2 < x

$e^{y+\delta}/2 \lt x$

δ

$\delta$

x

$x$

इसी तरह की गणना वेइबुल वितरण, अर्ध-सामान्य वितरण, तार्किक वितरण इत्यादि के लिए असमानता को दर्शाती है। वास्तव में, प्रतिपक्षों को प्राप्त करने के लिए हमें कम से कम एक धारणा का उल्लंघन करना होगा, हमें उन वितरणों को देखने के लिए मजबूर करना होगा जहां कुछ अंतराल पर गायब हो जाता है, या है। लगातार दो बार अलग-अलग नहीं, या असीम रूप से कई मोड हैं। आमतौर पर सांख्यिकीय मॉडलिंग में उपयोग किए जाने वाले वितरण के किसी भी परिवार पर लागू करने के लिए ये आसान परीक्षण हैं। $p$

— व्हीबर
स्रोत