कुलबबैक-लीब्लर दूरी का एक अनुकूलन?

28

इस तस्वीर को देखो: यहाँ छवि विवरण दर्ज करें

यदि हम लाल घनत्व से एक नमूना बनाते हैं तो कुछ मान 0.25 से कम होने की उम्मीद है जबकि नीले वितरण से इस तरह का नमूना उत्पन्न करना असंभव है। परिणामस्वरूप, लाल घनत्व से नीला घनत्व तक कुल्बैक-लीब्लर की दूरी अनंत है। हालांकि, दो घटता कुछ "प्राकृतिक अर्थ" में अलग नहीं हैं।

यहाँ मेरा सवाल है: क्या यह कुल्बैक-लीब्लर दूरी का एक अनुकूलन है जो इन सभी घटता के बीच एक सीमित दूरी की अनुमति देगा?

kullback-leibler

— ocram
स्रोत

1

किस "प्राकृतिक अर्थ" में ये वक्र "भिन्न नहीं" हैं? यह सांख्यिकीय निकटता किसी भी सांख्यिकीय संपत्ति से कैसे संबंधित है? (मैं कई जवाब के बारे में सोच सकते हैं, लेकिन सोच रहा हूँ क्या आपके मन में है।)

— whuber

1

खैर ... वे इस अर्थ में एक दूसरे के बहुत करीब हैं कि दोनों सकारात्मक मूल्यों पर परिभाषित हैं; वे दोनों बढ़ते हैं और फिर घटते हैं; दोनों में वास्तव में समान अपेक्षा है; और कुल्बैक लीबलर की दूरी "छोटी" है यदि हम एक्स-अक्ष के एक हिस्से तक सीमित हैं ... लेकिन इन सहज ज्ञान युक्त धारणाओं को किसी भी सांख्यिकीय संपत्ति से जोड़ने के लिए, मुझे इन विशेषताओं के लिए कुछ कठोर परिभाषा की आवश्यकता होगी ...

— ओकराम

en.wikipedia.org/wiki/Statutic_distance

— मेमिंग

18

आप Devroye, Gyorfi और Lugosi के अध्याय 3 को देख सकते हैं, पैटर्न की पहचान , स्प्रिंगर, 1996 का एक संभाव्य सिद्धांत , विशेष रूप से, -divergences पर अनुभाग देखें। $f$

-Divergences को Kullback के सामान्यीकरण के रूप में देखा जा सकता है - Leibler (या, वैकल्पिक रूप से, KL को -Divergence केविशेष मामले के रूप में देखा जा सकता है)। $f$ $f$

सामान्य रूप है

D_{f} (p, q) = \int q (x) f (\frac{p (x)}{q (x)}) λ (d x),

$D_f(p, q) = \int q(x) f\left(\frac{p(x)}{q(x)}\right) \, \lambda(dx) ,$

जहां एक उपाय है कि के साथ जुड़े उपायों हावी है और और एक उत्तल समारोह संतोषजनक है । (यदि और लेबेस्ग माप के संबंध में घनत्व हैं, तो बस लिए अंकन स्थानापन्न करें और आप जाने के लिए अच्छे हैं।) $\lambda$ $p$ $q$ $f(\cdot)$ $f(1) = 0$ $p(x)$ $q(x)$ $dx$ $\lambda(dx)$

हम ले कर KL को ठीक करते हैं । हम नर्क का अंतर माध्यम से प्राप्त कर सकते हैं $f(x) = x \log x$ और हमें लेनेसेकुल-भिन्नतायादूरीमिलती है $f(x) = (1 - \sqrt{x})^2$ $L_1$ । बाद वाला देता है $f(x) = \frac{1}{2} |x - 1|$

D_{T V} (p, q) = \frac{1}{2} \int | p (x) - q (x) | d x

$D_{\mathrm{TV}}(p, q) = \frac{1}{2} \int |p(x) - q(x)| \, dx$

ध्यान दें कि यह अंतिम कम से कम आपको एक परिमित उत्तर देता है।

डेन्सिटी एस्टीमेशन: द व्यू $L_1$ नामक एक और छोटी पुस्तक में , देवरोई अपने कई अच्छे इनविजिंस गुणों (दूसरों के बीच) के कारण इस बाद की दूरी के उपयोग के लिए दृढ़ता से तर्क देता है। यह बाद की पुस्तक शायद पूर्व की तुलना में पकड़ पाने के लिए थोड़ा कठिन है और जैसा कि शीर्षक से पता चलता है, थोड़ा और अधिक विशिष्ट है।

परिशिष्ट : इस प्रश्न के माध्यम से , मुझे पता चला कि ऐसा प्रतीत होता है कि माप @Didier का प्रस्ताव है (स्थिर तक) जेन्सन-शैनन डाइवर्जेंस के रूप में जाना जाता है। इस प्रश्न में प्रदान की जवाब देने के लिए लिंक का पालन करें, तो आप देखेंगे कि यह पता चला है कि इस मात्रा के वर्ग जड़ वास्तव में एक मीट्रिक है और पहले से साहित्य में मान्यता दी गई थी एक का एक विशेष मामला होने के लिए -divergence । मुझे यह दिलचस्प लगा कि इस प्रश्न की चर्चा के माध्यम से हमें सामूहिक रूप से "प्रबलित" पहिया (बल्कि जल्दी से) लगता है। @ डिडिएर की प्रतिक्रिया के नीचे टिप्पणी में मैंने जो व्याख्या दी, वह पहले भी मान्यता प्राप्त थी। चारों ओर, वास्तव में स्वच्छ की तरह। $f$

— कार्डिनल
स्रोत

1

बहुत अच्छा! मैं "पैटर्न की पहचान का एक संभावित सिद्धांत" खोजने और इसके अध्याय 3 को समझने की कोशिश करने जा रहा हूं!

— ऑसम

1

अच्छा जवाब, ध्यान दें कि सबसे अधिक बार

को एक और तरीका परिभाषित किया गया है जो इसे आधा

दूरी बनाता है ।

D_{T V}

$D_{TV}$

L_{1}

$L_1$

— रॉबिन जिरार्ड

1

@robin, आपकी टिप्पणी के लिए धन्यवाद। हां, मुझे इसका एहसास है। मैं सिर्फ एक गन्दा बाहरी स्थिर प्रदर्शनी में बचने की कोशिश कर रहा था। लेकिन, सख्ती से बोलना, आप सही हैं। मैंने उसी के अनुसार इसे अपडेट किया है।

— कार्डिनल

3

आपकी जानकारी, मैं अब तक आँकड़ों पर चला गया सबसे उपयोगी जानकारी है। इसके लिए मेरा हार्दिक धन्यवाद। मैं यहां आपके द्वारा दिए गए संदर्भ को पुन: प्रस्तुत करता हूं: research-repository.st-andrews.ac.uk/bitstream/10023/1591/1/… एंड्रेस एंड शिंडेलिन, संभावना वितरण के लिए एक नया मीट्रिक, IEEE ट्रांस। जानकारी पर। तेरा। , वॉल्यूम। ४ ९, सं। 3, जुलाई 2003, पीपी। 1858-1860।

— क्या

1

@ डीडियर, ठीक है, यह किसी भी अन्य चीज़ की तुलना में अधिक खुश दुर्घटना थी। कोई भी अन्य प्रश्न का जवाब नहीं दे रहा था, इसलिए मैंने यह पता लगाने की कोशिश की कि जेन्सन-शैनन डायवर्जेंस पहले स्थान पर क्या था। एक बार जब मुझे परिभाषा मिली, तो मुझे अपने परिशिष्ट के माध्यम से दो प्रश्नों को जोड़ना उचित लगा। मुझे खुशी है कि आपने इसे उपयोगी पाया। सादर।

— कार्डिनल

19

Kullback-Leibler विचलन के के संबंध में अनंत है जब के संबंध में पूरी तरह से लगातार नहीं है , है कि, जब वहाँ एक औसत दर्जे का सेट मौजूद है ऐसी है कि और । इसके अलावा केएल विचलन अर्थ में, सममित नहीं है कि सामान्य रूप में $\kappa(P|Q)$ $P$ $Q$ $P$ $Q$ $A$ $Q(A)=0$ $P(A)\ne0$ । याद रखें कि $\kappa(P\mid Q)\ne\kappa(Q\mid P)$ इन दोनों कमियों में से एक रास्ता, अभी भी केएल विचलन के आधार पर, मिडपॉइंटको पेश करना है

κ (P ∣ Q) = \int P \log (\frac{P}{Q}) .

$\kappa(P\mid Q)=\int P\log\left(\frac{P}{Q}\right).$

इस प्रकार

एक प्रायिकता मापक है, और

और

हमेशा

संबंध में पूरी तरह से निरंतर हैं। इसलिए एक के बीच एक "दूरी" पर विचार कर सकते

और

, अभी भी केएल विचलन लेकिन प्रयोग पर आधारित

, के रूप में परिभाषित

तब

R = \frac{1}{2} (P + Q) .

$R=\tfrac12(P+Q).$

R

$R$

P

$P$

Q

$Q$

R

$R$

P

$P$

Q

$Q$

R

$R$

η (P, Q) = κ (P ∣ R) + κ (Q ∣ R) .

$\eta(P,Q)=\kappa(P\mid R)+\kappa(Q\mid R).$

गैर नकारात्मक और हर के लिए परिमित है

और

,

अर्थों में सममित है कि

हर के लिए

और

, और

iff

।

η (P, Q)

$\eta(P,Q)$

P

$P$

Q

$Q$

η

$\eta$

η (P, Q) = η (Q, P)

$\eta(P,Q)=\eta(Q,P)$

P

$P$

Q

$Q$

η (P, Q) = 0

$\eta(P,Q)=0$

P = Q

$P=Q$

एक बराबर तैयार है

η (P, Q) = 2 \log (2) + \int (P \log (P) + Q \log (Q) - (P + Q) \log (P + Q)) .

$\eta(P,Q)=2\log(2)+\int \left(P\log(P)+Q\log(Q)-(P+Q)\log(P+Q)\right).$

परिशिष्ट 1 के मध्य की शुरूआत और अर्थ में मनमाने ढंग से नहीं है कि जहां कम से कम के समूह के ऊपर है प्रायिकता के उपाय। $P$ $Q$

η (P, Q) = min [κ (P ∣ \cdot) + κ (Q ∣ \cdot)],

$\eta(P,Q)=\min [\kappa(P\mid \cdot)+\kappa(Q\mid \cdot)],$

परिशिष्ट 2 @cardinal टिप्पणी कि भी एक है -divergence, उत्तल समारोह के लिए $\eta$ $f$

f (x) = x \log (x) - (1 + x) \log (1 + x) + (1 + x) \log (2) .

$f(x)=x\log(x)−(1+x)\log(1+x)+(1+x)\log(2).$

— किया
स्रोत

2

@ मर्को, @ डिडिएर पियाउ, यह ध्यान दिया जा सकता है कि @ डिडिएर का सुझाव

डाइवरेजेशन का एक और विशेष मामला है जहां

f

$f$

।

f (x) = x \log x - (1 + x) \log (\frac{1 + x}{2})

$f(x) = x \log x - (1+x) \log( \frac{1+x}{2} )$

— कार्डिनल

1

η (P, Q) = \int P \log P + \int Q \log Q - 2 \int R \log R = 2 H (R) - (H (P) + H (Q))

$\eta(P, Q) = \int P \log P + \int Q \log Q - 2 \int R \log R = 2 H(R) - (H(P) + H(Q))$

η (P, Q) = 2 (H (μ (P, Q)) - μ (H (P), H (Q))

$\eta(P,Q) = 2 ( H(\mu(P,Q)) - \mu(H(P), H(Q))$

μ (x, y) = \frac{x + y}{2}

$\mu(x,y) = \frac{x+y}{2}$

\frac{1}{2} η (P, Q)

$\frac{1}{2} \eta(P,Q)$

3

क्या यह सिर्फ जेनसेन-शैनन विचलन नहीं है?

— मेमोरियल जूल

होने लगता है ।

— क्या

"जहां न्यूनतम संभावना उपायों के सेट पर है।" जेन्सेन-शैनन विचलन का यह लक्षण वर्णन मुझे पसंद है। क्या कहीं इसका प्रमाण है?

— user76284

10

$P$ $Q$ $P$ $Q$

इसे केएल दूरी के "अनुकूलन" के रूप में चिह्नित करना कठिन है, लेकिन यह "प्राकृतिक" और परिमित होने की अन्य आवश्यकताओं को पूरा करता है।

$\mathbb{R_+} \to [0,C]$ $C$

— व्हीबर
स्रोत

1

Kolmogorov दूरी के बारे में आपके सुझाव के लिए धन्यवाद। क्या आप मोनोटोनिक परिवर्तन के बारे में अपनी टिप्पणी थोड़ा स्पष्ट कर सकते हैं? Thx

— ओकराम

1

\arctan (K L (P, Q))

$\arctan(KL(P,Q))$

f (K L (P, Q))

$f(KL(P,Q))$

f : R_{+} \to [0, C]

$f:\mathbb{R_+} \to [0,C]$

x \geq y

$x \ge y$

f (x) \geq f (y)

$f(x) \ge f(y)$

x, y \geq 0

$x,y \ge 0$

1

हाँ, यही मेरा मतलब है :-) मुझे यकीन नहीं था कि क्या परिवर्तन लागू करना है। अब, यह स्पष्ट है, thx

— ओकराम

1

\arctan

$\arctan$

π / 2

$\pi/2$

\arctan

$\arctan$

π / 2

$\pi/2$

+ \infty

$+\infty$

— क्या

@ डिडिएर हाँ, रूपांतरित केएल डाइवर्जेंस (जब सममिति, जैसा कि आप वर्णन करते हैं) त्रिकोण की असमानता को संतुष्ट नहीं कर सकते हैं और इसलिए यह दूरी नहीं होगी, लेकिन यह अभी भी एक टोपोलॉजी को परिभाषित करेगा (जो संभवतः मेट्रिजेबल होगा)। आप इस तरह से कम या कुछ भी नहीं देंगे। मैं इनमें से किसी को भी करने के गुण के बारे में अज्ञेय बना हुआ हूं: ऐसा लगता है कि यह पहली जगह केएल विचलन के अनंत मूल्यों से जुड़ी कठिनाइयों पर पैप करने का एक तरीका है।

— whuber

2

$P$ $Q$ $\kappa(P \mid Q)$

δ (P, Q) \equiv min [κ (P ∣ Q), κ (Q ∣ P)]

$\delta(P,Q)\equiv \min \big[\kappa(P \mid Q),\kappa(Q \mid P)\big]$

आंतरिक विसंगति (या बायेसियन संदर्भ मानदंड) की खोज आपको इस उपाय पर कुछ लेख देगी।

आपके मामले में, आप केएल-विचलन को ले जाएंगे जो परिमित है।

केएल का एक और वैकल्पिक उपाय हेलिंगर दूरी है

$Q\rightarrow 0$ $P\rightarrow 0$ $0$

δ (P, Q) \equiv min [\int P \log (\frac{P}{Q}), \int Q \log (\frac{Q}{P})]

$\delta(P,Q)\equiv \min \Big[\int P \,\log \big(\frac{P}{Q}\big),\int Q \log \big(\frac{Q}{P}\big)\Big]$

$P\rightarrow 0$ $0$ $\lim_{z\rightarrow 0} z \log(z) =0$ $P$ $Q$ $Q$

— probabilityislogic
स्रोत

1

P

$P$

Q

$Q$

P

$P$

Q

$Q$

1

हां ... मुझे डर है कि आंतरिक विसंगति आवश्यकता को पूरा नहीं करती है। लेकिन सुझाव के लिए धन्यवाद। किसी भी अन्य सुझाव की सराहना की जाएगी।

— ओकराम

1

यह आवश्यकता को पूरा करता है, यदि आप नीले घनत्व के समर्थन को प्रतिबंधित करते हैं, जहां यह कड़ाई से सकारात्मक समर्थन है, जैसा कि आपके पास लाल एक (> 0) के लिए है

— प्रायिकतालोगिक

3

P

$P$

Q

$Q$

P ≪ Q

$P\ll Q$

A

$A$

Q (A) = 0

$Q(A)=0$

P (A) = 0

$P(A)=0$

δ (P, Q)

$\delta(P,Q)$

P ≪ Q

$P\ll Q$

Q ≪ P

$Q\ll P$

2

P + Q

$P+Q$

P ≪ P + Q

$P\ll P+Q$

Q ≪ P + Q

$Q\ll P+Q$

η (P, Q) := κ (P | P + Q) + κ (Q | P + Q)

$\eta(P,Q):=\kappa(P|P+Q)+\kappa(Q|P+Q)$

η (P, Q) = 0

$\eta(P,Q)=0$

P = Q

$P=Q$

η

$\eta$

η (P, Q)

$\eta(P,Q)$

P

$P$

Q

$Q$