केज़ डाइवर्जेंस के न्यूनतम बिंदु के आसपास बायेसियन पीछे क्यों केंद्रित होता है?

बायेसियन के बाद के पर विचार करें । Asymptotically, इसका अधिकतम MLE एस्टीमेट , जो कि अधिकतम करता है । $\theta\mid X$ $\hat \theta$ $\operatorname{argmin}_\theta\, f_\theta(X)$

इन सभी अवधारणाओं-बायेसियन पुजारियों, संभावना को अधिकतम करते हुए - ध्वनि सुपर राजसी और सभी मनमाने ढंग से नहीं। दृष्टि में लॉग नहीं है।

फिर भी MLE वास्तविक वितरण और बीच केएल विचलन को कम करता है , अर्थात, यह कम करता है $\tilde f$ $f_\theta(x)$

K L (\tilde{f} ∥ f_{θ}) = \int_{- \infty}^{+ \infty} \tilde{f} (x) [\log \tilde{f} (x) - \log f_{θ} (x)] d x

$KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx$

वाह - ये लॉग कहाँ से आए? केएल विचलन विशेष रूप से क्यों?

क्यों, उदाहरण के लिए, एक अलग विचलन को कम करने से बेइज़ियन डाकियाओं के सुपर रियायती और प्रेरित अवधारणाओं के अनुरूप नहीं है और उपरोक्त संभावना को अधिकतम करता है?

इस संदर्भ में केएल विचलन और / या लॉग के बारे में कुछ विशेष प्रतीत होता है। बेशक, हम अपने हाथों को हवा में फेंक सकते हैं और कह सकते हैं कि गणित कैसा है। लेकिन मुझे संदेह है कि उजागर करने के लिए कुछ गहरे अंतर्ज्ञान या कनेक्शन हो सकते हैं।

bayesian maximum-likelihood kullback-leibler

— यतीर्थ अग्रवाल
स्रोत

आप यहाँ कुछ विचार पा सकते हैं: सांख्यिकी

— kjetil b halvorsen

@kjetilbhalvorsen पिछला शीर्षक एक डुप्लिकेट की तरह लग रहा था; मैं क्षमाप्रार्थी हूं। मैंने एक संपादन किया है, और यह स्पष्ट होना चाहिए कि यह प्रश्न डुप्लिकेट क्यों नहीं है।

— यतीर्थ अग्रवाल

अन्य प्रश्न पूछते हैं, "केएल विचलन क्या है, और यह सममित क्यों नहीं है?" उत्तर एक विचलन की अवधारणा और केएल के बारे में कुछ जानकारी बताते हैं। इसके विपरीत, यह प्रश्न पूछता है कि "केएस डाइवर्जेंस के न्यूनतम के आसपास बायेसियन पीछे क्यों केंद्रित होता है?" बस यह बताते हुए कि किस तरह से शब्दावलियों को सममित नहीं होना पड़ता है और केएल को बताते हुए कहा जाता है कि केएलई से जुड़ा है MLE से जुड़ा हुआ है यहां प्रश्न का पता लगाने में विफल रहता है: क्यों कई संभावित विचलन के बीच केएल विशेष रूप से बायेसियन के पीछे एक विशेष संबंध रखता है। इसका कोई मतलब भी है क्या?

— यतीर्थ अग्रवाल

हां, यह समझ में आता है, लेकिन अभी भी एक समस्या है। पोस्टीरियर पूर्व पर भी निर्भर करता है, और यदि वह मजबूत है, तो पोस्टवर्केन मील से अधिकतम दूर है। लेकिन पूर्व आपके प्रश्न से अनुपस्थित है।

— kjetil b halvorsen

@kjetilbhalversen का मतलब था अधिक से अधिक IID नमूनों के साथ और (कड़े) शर्तों के तहत asymptotically का मतलब है जिसके तहत पूर्व asymptotically मायने नहीं रखता है!

— यतीर्थ अग्रवाल

इस तरह गणना में लघुगणक का उपयोग सूचना सिद्धांत से होता है । केएल विचलन के विशेष मामले में, माप को दो वितरणों की सापेक्ष जानकारी के रूप में व्याख्या की जा सकती है:

\begin{aligned} K L (\tilde{f} ∥ f_{θ}) & = \int_{- \infty}^{\infty} \tilde{f} (x) (\log \tilde{f} (x) - \log f_{θ} (x)) d x \\ = (\underset{H (\tilde{f}, f_{θ})}{\underset{⏟}{- \int_{- \infty}^{\infty} \tilde{f} (x) \log f_{θ} (x) d x}}) - (\underset{H (\tilde{f})}{\underset{⏟}{- \int_{- \infty}^{\infty} \tilde{f} (x) \log \tilde{f} (x) d x}}), \end{aligned}

$\begin{equation} \begin{aligned} KL(\tilde{f} \parallel f_\theta) &= \int \limits_{-\infty}^\infty \tilde{f}(x) (\log \tilde{f}(x) - \log f_\theta (x)) \ dx \\[6pt] &= \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log f_\theta(x) \ dx}_{H(\tilde{f}, f_\theta)} \Bigg) - \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log \tilde{f}(x) \ dx}_{H(\tilde{f})} \Bigg), \\[6pt] \end{aligned} \end{equation}$

जहां है एन्ट्रापी की और की क्रोस एंट्रोपी है और । एन्ट्रापी को घनत्व द्वारा उत्पादित औसत दर के उपाय के रूप में माना जा सकता है (विचार क्रॉस-एंट्रोपी थोड़ा अधिक जटिल है)। एक निश्चित मान लिए केएल विचलन को कम करना (जैसा कि आप उल्लेख समस्या में है) क्रॉस-एन्ट्रापी को कम करने के बराबर है, और इसलिए इस अनुकूलन को एक सूचना-सिद्धांत संबंधी व्याख्या दी जा सकती है। $H(\tilde{f})$ $\tilde{f}$ $H(\tilde{f}, f_\theta)$ $\tilde{f}$ $f_\theta$ $\tilde{f}$

मेरे लिए सूचना सिद्धांत, और सूचना उपायों के गुणों को एक संक्षिप्त पोस्ट में देना संभव नहीं है। हालाँकि, मैं इस क्षेत्र पर एक नज़र रखने की सलाह दूंगा, क्योंकि इसमें आँकड़ों के घनिष्ठ संबंध हैं। घनत्व के लघुगणकों पर अभिन्न और रकम से जुड़े कई सांख्यिकीय उपाय, माप सिद्धांत में उपयोग किए जाने वाले मानक सूचना उपायों के सरल संयोजन हैं, और ऐसे मामलों में, उन्हें विभिन्न घनत्वों में जानकारी के अंतर्निहित स्तरों के संदर्भ में व्याख्याएं दी जा सकती हैं, आदि।

— बेन - बहाल मोनिका
स्रोत

सूचना सिद्धांत को देखते हुए आशाजनक लगता है! मुझे यह इंगित करने के लिए धन्यवाद।

— यतीर्थ अग्रवाल

जाहिर है, आप StackExchange पोस्ट में पूरे गणितीय क्षेत्र की व्याख्या नहीं कर सकते, लेकिन क्या आपके पास लॉग अप करने के लिए कोई विशेष संदर्भ होगा?

— यतीर्थ अग्रवाल

मुझे लगता है कि ईयूलर के समीकरण में ऐसा क्यों है, इसके पीछे ऐसा गहन अंतर्ज्ञान है और ऐसा है, यहाँ भी इसी तरह का अंतर्ज्ञान है। हो सकता है कि कोई उत्पाद कहीं प्राकृतिक लॉगरिदम पैदा कर दे। मुझे यकीन नहीं है।

— यतीर्थ अग्रवाल

@ यथार्थ लघुगणक की परिभाषा में इसकी केंद्रीय भूमिका के कारण यहां लघुगणक उत्पन्न होता है। "क्यों" के रूप में एक लघुगणक जानकारी के एक माप के लिए उपयुक्त है, जैसा कि एक अन्य फ़ंक्शन के विपरीत, शैनन के "गणितीय सिद्धांत के संचार" में प्रमेय 2 पर एक नज़र डालें। इसके अलावा, Jayne की "सूचना सिद्धांत और सांख्यिकीय यांत्रिकी" एक अच्छा परिचय है।

— नैट पोप