kullback-leibler पर टैग किए गए जवाब

मुझे दो गाऊसी लोगों के बीच केएल-विचलन का निर्धारण करने की आवश्यकता है। मैं अपने परिणामों की तुलना इनसे कर रहा हूं, लेकिन मैं उनके परिणाम को पुन: पेश नहीं कर सकता। मेरा परिणाम स्पष्ट रूप से गलत है, क्योंकि KL, KL (p, p) के लिए 0 नहीं है। मुझे …

79 normal-distribution  kullback-leibler 

मैंने KL Divergence के पीछे अंतर्ज्ञान के बारे में सीखा है कि डेटा के सैद्धांतिक / सच्चे वितरण से एक मॉडल वितरण फ़ंक्शन कितना भिन्न होता है। मैं जिस स्रोत को पढ़ रहा हूं, वह कहता है कि इन दो वितरणों के बीच 'दूरी' की सहज समझ सहायक है, लेकिन …

47 distributions  distance  intuition  kullback-leibler 

मुझे केएल विचलन सूत्र को प्राप्त करने में दो बहुभिन्नरूपी सामान्य वितरण मानने में परेशानी हो रही है। मैं univariate मामला काफी आसानी से किया है। हालाँकि, मुझे गणित के आँकड़े लेते हुए काफी समय हो गया है, इसलिए मुझे इसे मल्टीवेरेट करने के मामले में कुछ परेशानी हो रही …

46 normal-distribution  kullback-leibler  proof 

मेरे दिमाग में, नमूना वितरण से सच्चे वितरण तक केएल विचलन बस क्रॉस एन्ट्रॉपी और एन्ट्रॉपी के बीच का अंतर है। हम कई मशीन लर्निंग मॉडल में लागत फ़ंक्शन होने के लिए क्रॉस एन्ट्रॉपी का उपयोग क्यों करते हैं, लेकिन टी-स्ने में कुल्बैक-लीब्लर विचलन का उपयोग करते हैं? क्या सीखने …

39 kullback-leibler  tsne  cross-entropy 

मैं देख सकता हूं कि कुल्बैक-लिब्लर बनाम कोलमोगोरोव-स्मिरनोव दूरी उपायों के बीच बहुत सारे औपचारिक अंतर हैं। हालांकि, दोनों का उपयोग वितरण के बीच की दूरी को मापने के लिए किया जाता है। क्या एक विशिष्ट स्थिति है जहां एक को दूसरे के बजाय इस्तेमाल किया जाना चाहिए? ऐसा करने …

37 distributions  distance-functions  kolmogorov-smirnov  kullback-leibler 

मैं निम्नलिखित प्रश्नों के लिए एक सहज व्याख्या की तलाश में हूं: सांख्यिकी और सूचना सिद्धांत में, भट्टाचार्य दूरी और केएल विचलन के बीच अंतर क्या है, दो असतत संभावना वितरण के बीच अंतर के उपाय के रूप में? क्या उनके पास बिल्कुल कोई संबंध नहीं है और दो संभावना …

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

क्या दो सममित कोवरियस मैट्रिस (दोनों समान आयाम वाले) के बीच समानता या दूरी के कोई उपाय हैं? मैं केएल के विचलन के लिए एनालॉग्स के बारे में सोच रहा हूँ दो संभावना वितरण या वैक्टर के बीच यूक्लिडियन दूरी को छोड़कर मैट्रिस पर लागू होता है। मुझे लगता है …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

इस तस्वीर को देखो: यदि हम लाल घनत्व से एक नमूना बनाते हैं तो कुछ मान 0.25 से कम होने की उम्मीद है जबकि नीले वितरण से इस तरह का नमूना उत्पन्न करना असंभव है। परिणामस्वरूप, लाल घनत्व से नीला घनत्व तक कुल्बैक-लीब्लर की दूरी अनंत है। हालांकि, दो घटता …

28 kullback-leibler 

Wasserstein metric और Kullback-Leibler divergence के बीच व्यावहारिक अंतर क्या है ? वासेरस्टीन मैट्रिक को पृथ्वी के मूवर की दूरी के रूप में भी जाना जाता है । विकिपीडिया से: वासेरस्टीन (या वासेरस्टीन) मीट्रिक एक दूरी फ़ंक्शन है जो किसी दिए गए मीट्रिक स्पेस एम पर संभाव्यता वितरण के बीच …

25 distributions  kullback-leibler  metric  wasserstein 

क्रॉस वैलिडेट के बहुत फंसने के बाद, मुझे अभी भी ऐसा नहीं लगता है कि मैं सूचना सिद्धांत के दायरे से बाहर केएल विचलन को समझने के करीब हूं। यह एक मैथ पृष्ठभूमि के साथ किसी के रूप में अजीब है, क्योंकि सूचना सिद्धांत की व्याख्या को समझना बहुत आसान …

23 inference  entropy  information-theory  kullback-leibler  compression 

मैं वर्गीकरण और प्रतिगमन पेड़ों का अध्ययन कर रहा हूं, और विभाजन स्थान के उपायों में से एक GINI स्कोर है। अब मैं सबसे अच्छा विभाजन स्थान निर्धारित करने के लिए उपयोग किया जाता है जब दो वितरणों के बीच एक ही डेटा की संभावना अनुपात का लॉग शून्य होता …

21 cart  likelihood-ratio  information-theory  kullback-leibler  gini 

क्या कोई फ़िशर सूचना मीट्रिक और रिश्तेदार एन्ट्रापी (या केएल विचलन) के बीच निम्नलिखित संबंध को विशुद्ध रूप से गणितीय रूप से कठोर तरीके से साबित कर सकता है ? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

आइए हम निम्नलिखित दो संभाव्यता वितरणों पर विचार करें P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 मैंने कुल्बैक-लीब्लर विचलन की गणना की है जो कि बराबर है , मैं सामान्य रूप से जानना चाहता हूं कि यह …

18 interpretation  information-theory  kullback-leibler 

केएल विचलन गैर-नकारात्मक क्यों है? सूचना सिद्धांत के दृष्टिकोण से, मुझे ऐसी सहज समझ है: कहते हैं कि एएA और दो असेम्बल हैं जो द्वारा लेबल किए गए तत्वों के एक ही सेट से बने होते हैं । और क्रमशः और से अधिक भिन्न संभाव्यता वितरण हैं।बीबीBएक्सएक्सxपी ( एक्स )पी(एक्स)p(x)क्ष( …

18 information-theory  kullback-leibler 

गामा वितरण parameterize करने के लिए चुनना Γ(b,c)Γ(b,c)\Gamma(b,c) पीडीएफ द्वारा g(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c)=1Γ(c)xc−1bce−x/bg(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} के बीच Kullback-Leibler विचलनΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)औरΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)द्वारा [1] के रूप में दिया जाता है KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align} मेरा अनुमान …

15 kullback-leibler  gamma-distribution  exponential-family