भट्टाचार्य दूरी और केएल विचलन के बीच अंतर

Question

मैं निम्नलिखित प्रश्नों के लिए एक सहज व्याख्या की तलाश में हूं:

सांख्यिकी और सूचना सिद्धांत में, भट्टाचार्य दूरी और केएल विचलन के बीच अंतर क्या है, दो असतत संभावना वितरण के बीच अंतर के उपाय के रूप में?

क्या उनके पास बिल्कुल कोई संबंध नहीं है और दो संभावना वितरण के बीच की दूरी को पूरी तरह से अलग तरीके से मापते हैं?

Answer 1

भट्टाचार्य गुणांक के रूप में परिभाषित किया गया है और एक दूरी में बदल सकता है के रूप में जिसे हेलिंगर दूरी कहा जाता है । इस बीच एक कनेक्शन Hellinger दूरी और Kullback-Leibler विचलन है

$$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$$ $d_H(p,q)$ $$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$$ $$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$$

हालाँकि, यह सवाल नहीं है: यदि भट्टाचार्य की दूरी को d_B (p, q) \ stackrel {\ text {def}} {=} - \ log D_B (p, q) \ _ के रूप में परिभाषित किया गया है ,

$$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$$ तो $$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$$ इसलिए, असमानता दो दूरियाँ $${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$$ एक व्यक्ति आश्चर्यचकित हो सकता है कि क्या यह असमानता पहले वाले से है। यह विपरीत होता है: चूंकि $$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$$

हमारे पास पूरा ऑर्डर

$${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$$

Comments

प्रतिभाशाली! यह स्पष्टीकरण वह होना चाहिए जिसकी मैं उत्सुकता से तलाश कर रहा हूं। बस एक आखिरी सवाल: किस मामले में (या किस प्रकार के पी और क्यू) असमानता समानता बन जाएगी?

— ज्वैलस्यू २ Jewel

यह देखते हुए कि समारोह सख्ती से उत्तल है, मैं ग्रहण करेंगे जब अनुपात समानता के लिए केवल मामला है में स्थिर है । पी ( एक्स ) / q ( x ) $-\log(\cdot)$$p(x)/q(x)$$x$

— शीआन

और केवल मामला है जब में स्थिर है जब है । x p = $p(x)/q(x)$$x$$p=q$

— शीआन

Answer 2

मुझे दोनों के बीच किसी भी स्पष्ट संबंध का पता नहीं है, लेकिन मैंने जो पाया वह देखने के लिए उन पर एक त्वरित प्रहार करने का फैसला किया। तो यह बहुत जवाब नहीं है, लेकिन अधिक ब्याज की बात है।

सरलता के लिए, आइए असतत वितरणों पर काम करें। हम ई.पू. दूरी के रूप में लिख सकते हैं

$$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$$

और केएल विचलन के रूप में

$$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$$

अब हम लॉग को दूरी पर योग के अंदर धकेल नहीं सकते हैं , तो चलिए लॉग को the विचलन के बाहर खींचने की कोशिश करते हैं :$\text{BC}$$\text{KL}$

$$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$$

आइए उनके व्यवहार पर विचार करें जब को संभावनाओं पर एक समान वितरण होना तय है :$p$$n$

$$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$$

बाईं ओर, हमारे पास कुछ का लॉग है जो ज्यामितीय माध्य के रूप में समान है । दाईं ओर, हमारे पास अंकगणितीय माध्य के लॉग के समान कुछ है । जैसा कि मैंने कहा, यह बहुत अधिक उत्तर नहीं है, लेकिन मुझे लगता है कि यह एक साफ अंतर्ज्ञान देता है कि बीसी दूरी और केएल विचलन कैसे और बीच विचलन पर प्रतिक्रिया करता है ।$p$$q$