जेन्सेन शैनन डायवर्जेंस बनाम कुल्बैक-लीब्लर डाइवर्जेंस?

Question

मुझे पता है कि केएल डाइवर्जेंस सममित नहीं है और इसे कड़ाई से मीट्रिक नहीं माना जा सकता है। यदि ऐसा है, तो जेएस डाइवर्जेंस द्वारा मीट्रिक के लिए आवश्यक गुणों को संतुष्ट करने के लिए इसका उपयोग क्यों किया जाता है?

क्या ऐसे परिदृश्य हैं जहां केएल विचलन का उपयोग किया जा सकता है लेकिन जेएस विचलन या इसके विपरीत नहीं?

Comments

वे दोनों का उपयोग किया जाता है, केवल यह संदर्भ पर निर्भर करता है। जब यह स्पष्ट है कि सख्त मीट्रिक होना आवश्यक है, जैसे कि जब क्लस्टरिंग की जाती है, तो जेएस अधिक बेहतर विकल्प है। दूसरी ओर, मॉडल चयन में एआईसी का उपयोग जो केएल पर आधारित है, व्यापक है। एकाइक वेट की एक अच्छी व्याख्या है जिसके लिए जेएस या तो एक समकक्ष प्रदान नहीं कर सकता है या इसे अभी तक लोकप्रिय नहीं होना है।

— जेम्स

Answer 1

मुझे Quora पर एक बहुत ही परिपक्व उत्तर मिला और इसे केवल उन लोगों के लिए यहाँ रखा गया है जो यहाँ खोज रहे हैं:

$𝐾𝐿[𝑞;𝑝]$$𝑞(𝑥)$$𝑝(𝑥)$

$𝑝(𝑥)$$𝑞(𝑥)$$𝑝(𝑥)$$𝑞(𝑥)$$𝑞(𝑥)𝑙𝑜𝑔[𝑞(𝑥)/𝑝(𝑥)]$$𝑝(𝑥)$$𝑝(𝑥)$$𝑞(𝑥)$$𝑞(𝑥)$$𝐾𝐿[𝑞;𝑝]$$𝑞(𝑥)$$𝑝(𝑥)$

$𝑝(𝑥)$$𝑞(𝑥)$$𝑞(𝑥)$$𝑝(𝑥)$

Answer 2

केएल विचलन में स्पष्ट जानकारी सैद्धांतिक व्याख्या है और अच्छी तरह से जाना जाता है; लेकिन मैं पहली बार यह सुन रहा हूं कि केएल डाइवर्जेंस के समरूपता को जेएस डाइवर्जेंस कहा जाता है। जेएस-डायवर्जेंस इतनी बार उपयोग नहीं किया जाता है, इसका कारण यह है कि यह कम प्रसिद्ध है और इसमें आवश्यक गुण नहीं हैं।