मुझे दो गाऊसी लोगों के बीच केएल-विचलन का निर्धारण करने की आवश्यकता है। मैं अपने परिणामों की तुलना इनसे कर रहा हूं, लेकिन मैं उनके परिणाम को पुन: पेश नहीं कर सकता। मेरा परिणाम स्पष्ट रूप से गलत है, क्योंकि KL, KL (p, p) के लिए 0 नहीं है।
मुझे आश्चर्य है कि मैं कहां गलती कर रहा हूं और पूछ रहा हूं कि क्या कोई इसे हाजिर कर सकता है।
चलो और । बिशप के PRML से मुझे पता हैp(x)=N(μ1,σ1)q(x)=N(μ2,σ2)
KL(p,q)=−∫p(x)logq(x)dx+∫p(x)logp(x)dx
जहां एकीकरण सभी वास्तविक रेखाओं पर किया जाता है, और यह कि
∫p(x)logp(x)dx=−12(1+log2πσ21),
इसलिए मैं अपने आप को तक सीमित हूं, जिसे मैं बाहर लिख सकता हूं∫p(x)logq(x)dx
−∫p(x)log1(2πσ22)(1/2)e−(x−μ2)22σ22dx,
जिसे अलग किया जा सकता है
12log(2πσ22)−∫p(x)loge−(x−μ2)22σ22dx.
मुझे जो भी मिला ले रहा हूं
12log(2πσ22)−∫p(x)(−(x−μ2)22σ22)dx,
जहाँ मैं रकम अलग करता हूँ और प्राप्त करता हूँ।σ22
12log(2πσ22)+∫p(x)x2dx−∫p(x)2xμ2dx+∫p(x)μ22dx2σ22
Let को तहत उम्मीद संचालक को सूचित करते हैं , मैं इसे फिर से लिख सकता हूं⟨⟩p
12log(2πσ22)+⟨x2⟩−2⟨x⟩μ2+μ222σ22.
हम जानते हैं कि । इस प्रकारvar(x)=⟨x2⟩−⟨x⟩2
⟨x2⟩=σ21+μ21
और इसीलिए
12log(2πσ2)+σ21+μ21−2μ1μ2+μ222σ22,
जो मैं के रूप में डाल सकते हैं
12log(2πσ22)+σ21+(μ1−μ2)22σ22.
सब कुछ एक साथ रखकर, मुझे मिलता है
KL(p,q)=−∫p(x)logq(x)dx+∫p(x)logp(x)dx=12log(2πσ22)+σ21+(μ1−μ2)22σ22−12(1+log2πσ21)=logσ2σ1+σ21+(μ1−μ2)22σ22.
जो गलत है क्योंकि यह दो समान गौसियों के लिए के बराबर है ।
1
किसी को भी मेरी त्रुटि हाजिर कर सकते हैं?
अपडेट करें
चीजों को साफ़ करने के लिए mpiktas का धन्यवाद। सही जवाब है:
KL(p,q)=logσ2σ1+σ21+(μ1−μ2)22σ22−12