कुल्बैक-लिब्लर बनाम कोलमोगोरोव-स्मिरनोव दूरी

37

मैं देख सकता हूं कि कुल्बैक-लिब्लर बनाम कोलमोगोरोव-स्मिरनोव दूरी उपायों के बीच बहुत सारे औपचारिक अंतर हैं। हालांकि, दोनों का उपयोग वितरण के बीच की दूरी को मापने के लिए किया जाता है।

क्या एक विशिष्ट स्थिति है जहां एक को दूसरे के बजाय इस्तेमाल किया जाना चाहिए?
ऐसा करने के लिए औचित्य क्या है?

— ग्रेग
स्रोत

एक संबंधित प्रश्न: आंकड़े.stackexchange.com/questions/4/…

— GaBorgulya

23

केएल-विचलन का उपयोग आमतौर पर सूचना-सिद्धांत संबंधी सेटिंग्स, या यहां तक कि बायेसियन सेटिंग्स में किया जाता है, उदाहरण के लिए, कुछ निष्कर्ष निकालने से पहले और बाद में वितरण के बीच सूचना परिवर्तन को मापने के लिए। समरूपता और त्रिकोण असमानता की कमी के कारण यह विशिष्ट (मीट्रिक) अर्थों में दूरी नहीं है, और इसलिए इसका उपयोग उन स्थानों पर किया जाता है जहां दिशात्मकता सार्थक है।

केएस-दूरी का उपयोग आमतौर पर गैर-पैरामीट्रिक परीक्षण के संदर्भ में किया जाता है। वास्तव में, मैंने शायद ही कभी इसे "वितरणों के बीच की दूरी" के रूप में इस्तेमाल करते हुए देखा है, जहां दूरी, जेन्सेन-शैनन दूरी और अन्य दूरी अधिक सामान्य हैं। $\ell_1$

— सुरेश वेंकटसुब्रमण्यन
स्रोत

5

X_{1}, X_{2}, \dots

$X_1, X_2, \ldots$

p_{0}

$p_0$

p_{1}

$p_1$

T_{n} = n^{- 1} \sum_{i = 1}^{n} \log (p_{1} (X_{i}) / p_{0} (X_{i}))

$T_n = n^{-1} \sum_{i=1}^n \log( p_1(X_i) / p_0(X_i) )$

T_{n}

$T_n$

p_{0}

$p_0$

T_{n} \to - D (p_{0} | | p_{1})

$T_n \to -D(p_0 \,\vert\vert\, p_1)$

p_{1}

$p_1$

T_{n} \to D (p_{1} | | p_{0})

$T_n \to D(p_1 \,\vert\vert\, p_0)$

D (\cdot | | \cdot)

$D(\cdot \,\vert\vert\, \cdot)$

T_{n} > 0

$T_n > 0$

p_{0}

$p_0$

वास्तव में। यह एक उत्कृष्ट उदाहरण है। और वास्तव में चेरनॉफ़-होफिंग पूंछ सीमा के अधिकांश सामान्य संस्करण केएल-विचलन का उपयोग करते हैं।

— सुरेश वेंकटसुब्रमण्यम

2

अधिक आम शब्दों में पिछले जवाब के रूप में एक ही बात बताते हुए:

केएल डाइवर्जेंस - वास्तव में एक माप प्रदान करता है कि एक दूसरे से दो वितरण कितने बड़े अंतर हैं। जैसा कि पिछले उत्तर द्वारा बताया गया है, यह माप सममित नहीं होने के बाद से उचित दूरी की मीट्रिक नहीं है। वितरण A और B के बीच की दूरी वितरण B और A के बीच की दूरी से भिन्न मान है।

कोलमोगोरोव-स्मिर्नोव टेस्ट - यह एक मूल्यांकन मीट्रिक है जो एक संदर्भ वितरण के सापेक्ष एक परीक्षण वितरण के संचयी वितरण के बीच सबसे बड़ा अलगाव दिखता है। इसके अलावा, आप इस मीट्रिक का उपयोग कोलमोगोरोव वितरण के खिलाफ एक जेड-स्कोर की तरह कर सकते हैं, परिकल्पना परीक्षण करने के लिए कि क्या परीक्षण वितरण संदर्भ के समान वितरण है। यह मीट्रिक एक दूरी समारोह के रूप में इस्तेमाल किया जा सकता है क्योंकि यह सममित है। A, B के CDF बनाम B के CDF के बीच सबसे बड़ा अलगाव है, B के CDF बनाम B के CDF के बीच सबसे बड़ा अलगाव है।

— SriK
स्रोत