हमें विभिन्न अनुमानों में विभिन्न अनुमानकों के अभिसरण व्यवहार पर चर्चा क्यों करनी चाहिए?

पुस्तक के पहले अध्याय में बीजगणितीय ज्यामिति और सांख्यिकीय शिक्षण सिद्धांत जो विभिन्न कार्यात्मक स्थान में अनुमानों के अभिसरण के बारे में बात करता है, इसमें उल्लेख किया गया है कि बायेसियन अनुमान श्वार्ट्ज वितरण टोपोलॉजी से मेल खाता है, जबकि अधिकतम गति का अनुमान सुपर-मानक टोपोलॉजी से मेल खाता है (पेज 7 में):

उदाहरण के लिए, सुपर-आदर्श, -नोर्म, $L^p$ हिल्बर्ट स्पेस कमजोर टोपोलॉजी $L^2$ , श्वार्ट्ज वितरण टोपोलॉजी, और इसी तरह। यह दृढ़ता से फ़ंक्शन स्थान की टोपोलॉजी पर निर्भर करता है कि क्या अभिसरण $K_n(w)\to K(w)$ धारण करता है या नहीं। बेयस अनुमान श्वार्ट्ज वितरण टोपोलॉजी से मेल खाता है, जबकि अधिकतम संभावना या एक पश्च विधि सुपर-मानदंडों से मेल खाती है। यह अंतर एकवचन मॉडल में सीखने के परिणामों को दृढ़ता से प्रभावित करता है।

जहां और क्रमशः अनुभवजन्य KL-divergence (अवलोकनों पर योग) और सच्चे KL- विचलन (डेटा वितरण का अभिन्न अंग) के बीच सही मॉडल और पैरामीट्रिक मॉडल (पैरामीटर साथ ) हैं। $K_n(w)$ $K(w)$ $w$

क्या कोई स्पष्टीकरण दे सकता है, या मुझे संकेत दे सकता है कि पुस्तक में कौन सी जगह का औचित्य है? धन्यवाद।

अद्यतन : कॉपीराइट सामग्री हटा दी जाती है।

bayesian maximum-likelihood statistical-learning

— ziyuang
स्रोत

और

क्या हैं ?

K

$K$

K_{n}

$K_n$

— टेलर

@ टेलर ने कुछ आवश्यक जानकारी जोड़ी।

— जियाउंग

मैं आपके प्रश्न का उत्तर बाद में दूंगा, मुझे वातानाबे की पुस्तक अपेक्षाकृत अच्छी तरह से पता है। फिर भी आप जिस तरह से एक किताब का हवाला देते हैं, मैं उसे नापसंद करता हूं। यदि आप सीधे यहां अनुभाग डालते हैं तो इससे संभावित कॉपीराइट समस्या हो सकती है। पृष्ठ संख्या का उपयोग करना और उपयुक्त बिब के साथ उद्धरण लिखना बेहतर विकल्प होगा।

— हेनरी।

@ हेनरी। धन्यवाद, और कॉपीराइट सामग्री हटा दी जाती है।

— ज़ियायुंग

@ हेनरी: जबकि मेरा मानना है कि कॉपीराइट किए गए कार्यों के भागों को पुन: पेश करने में सतर्क और कर्तव्यनिष्ठ होने में मूल्य है, मुझे लगता है कि इस मामले में, ज़ियायुंग को चिंता करने के लिए बिल्कुल कुछ नहीं है। विद्वानों की समालोचना के लिए ओपी के छोटे अंशों का उपयोग (यूएस) "निष्पक्ष उपयोग" सिद्धांत के भीतर बहुत अधिक वर्गीय है। वास्तव में, सटीक प्रजनन कभी-कभी विशेष रूप से मूल्यवान हो सकता है क्योंकि यह किसी भी अस्पष्टता को हटाता है जिसे सामग्री के प्रतिबंधों द्वारा पेश किया जा सकता है। (सभी ने कहा, IANAL।)

— कार्डिनल

वतनबे की चर्चा को समझने के लिए, यह महसूस करना महत्वपूर्ण है कि "विलक्षणता" से उनका क्या मतलब है। (सख्त) विलक्षणता उनके सिद्धांत में एकवचन मीट्रिक की ज्यामितीय धारणा के साथ मेल खाती है।

p.10 [वातानाबे]: "एक सांख्यिकीय मॉडल अगर यह पहचान योग्य है और नियमित रूप से होना कहा जाता है एक सकारात्मक निश्चित मीट्रिक के लिए सांख्यिकीय मॉडल नियमित नहीं है, तो यह सख्ती से विलक्षण कहा जाता है।।" $p(x\mid w)$

व्यवहार में, विलक्षणता आमतौर पर तब पैदा होती है जब फिशर सूचना मीट्रिक द्वारा मॉडल से प्रेरित कई गुना कम मॉडल या "मशीन लर्निंग" कार्यों में कम रैंक या विरल मामलों की तरह, मॉडल से प्रेरित होता है।

वातानाबे ने आनुभविक केएल विचलन के अभिसरण के बारे में जो कहा उसके सिद्धांत को निम्न प्रकार से समझा जा सकता है। विचलन की धारणा का एक मूल मजबूत आंकड़ों से आता है। एम आकलनकर्ता है, जो इसके विपरीत समारोह के साथ एक विशेष मामले के रूप MLE शामिल , आम तौर पर कमजोर टोपोलॉजी का उपयोग कर चर्चा कर रहे हैं। अंतरिक्ष पर कमजोर टोपोलॉजी का उपयोग करके अभिसरण व्यवहार पर चर्चा करना उचित है (पोलिश जेट परिभाषित सभी संभव उपायों का कई गुना $\rho(\theta,\delta(X))=-\log p(X\mid \theta)$ $M(\cal{X})$ $\cal{X}$ ) क्योंकि हम MLE के दृढ़ता व्यवहार का अध्ययन करना चाहते हैं। [ह्यूबर] में एक शास्त्रीय प्रमेय ने कहा कि अलग-अलग विचलन समारोह । $D(\theta_0,\theta)=E_{\theta_{0}}\rho(\theta,\delta)$

inf_{| θ - θ_{0} | \geq ε} (| डी (θ_{0}, θ) - डी (θ_{0}, θ_{0}) |) > 0

$\inf_{|\theta-\theta_0|\geq\epsilon}(|D(\theta_0,\theta)-D(\theta_0,\theta_0)| )>0$ और विचलन के विपरीत समारोह का अच्छा अनुभवजन्य सन्निकटन,

नियमितता के साथ, हम अर्थ में स्थिरता पैदा कर सकते हैं

\underset{θ}{सुड़कना} | \frac{1}{n} \underset{मैं}{Σ} ρ (θ, δ ({एक्स}_{मैं})) - डी (θ_{0}, θ) | \to 0, n \to \infty

$\sup_{\theta}\left|\frac{1}{n}\sum_{i}\rho(\theta,\delta(X_i))- D(\theta_0,\theta)\right|\rightarrow 0,n\rightarrow\infty$

की ओर अभिसरित जाएगा

संभावना में

। इस परिणाम के लिए और अधिक सटीक स्थितियों की आवश्यकता होती है यदि हम बेओसियन अनुमानक की कमजोर संगति में Doob के परिणाम [Doob] के साथ तुलना करते हैं।

\hat{θ_{n}} := {a r g m i n}_{θ} ρ (θ, δ (X_{n}))

$\hat{\theta_n}:=\mathrm{arg\,min}_{\theta}\rho(\theta,\delta(X_n))$

θ_{0}

$\theta_0$

P_{θ_{0}}

$P_{\theta_0}$

तो यहाँ बेयसियन अनुमानक और MLE डायवर्ज। यदि हम अभी भी बेयसियन अनुमानकों की निरंतरता पर चर्चा करने के लिए कमजोर टोपोलॉजी का उपयोग करते हैं, तो यह अर्थहीन है क्योंकि बायेसियन अनुमानक हमेशा (संभावना के साथ) डोब द्वारा संगत होंगे। इसलिए एक अधिक उपयुक्त टोपोलॉजी श्वार्ज वितरण टोपोलॉजी है जो कमजोर डेरिवेटिव और वॉन मेयस के सिद्धांत को खेलने की अनुमति देता है। इस विषय पर बैरन की एक बहुत अच्छी तकनीकी रिपोर्ट थी कि हम कैसे सुसंगतता प्राप्त करने के लिए श्वार्ट्ज प्रमेय का उपयोग कर सकते हैं।

$D$

"एकवचन सीखने का परिणाम" प्रभावित होता है, क्योंकि जैसा कि हम देखते हैं, डोब की निरंतरता प्रमेय यह सुनिश्चित करता है कि बेयसियन अनुमानक कमजोर टोपोलॉजी में कमजोर अनुरूप (यहां तक कि एकवचन मॉडल में) हों, जबकि एमएलई को उसी टोपोलॉजी में कुछ आवश्यकताओं को पूरा करना चाहिए।

सिर्फ एक शब्द, [वातानाबे] शुरुआती लोगों के लिए नहीं है। वास्तविक विश्लेषणात्मक सेटों पर इसके कुछ गहरे निहितार्थ हैं, जिनमें अधिकांश सांख्यिकीविदों की तुलना में अधिक गणितीय परिपक्वता की आवश्यकता होती है, इसलिए उचित मार्गदर्शन के बिना इसे पढ़ना शायद अच्छा नहीं है।

$\blacksquare$

[वतनबे] वतनबे, सुमियो। बीजगणितीय ज्यामिति और सांख्यिकीय शिक्षा सिद्धांत। वॉल्यूम। 25. कैम्ब्रिज यूनिवर्सिटी प्रेस, 2009।

[ह्यूबर] ह्यूबर, पीटर जे। "गैरजरूरी परिस्थितियों में अधिकतम संभावना अनुमानों का व्यवहार।" गणितीय सांख्यिकी और संभाव्यता पर पांचवें बर्कले संगोष्ठी की कार्यवाही। वॉल्यूम। 1. नंबर 1. 1967।

[डोब] डोब, जोसेफ एल। "शहीदों के सिद्धांत का अनुप्रयोग।" ले गणना डेस प्रोबेबिलिट्स एट सीएस एप्लीकेशन (1949): 23-27।

— Henry.L
स्रोत

मैं जवाब के कुछ हिस्सों के लिए कुछ अंतर्ज्ञान देने की कोशिश कर रहा हूं, अगर मैं गलत हूं तो मुझे सही करें। यदि हम इसे एक बिंदु अनुमानक (एमएपी, एक संभावित वितरण के बजाय) के रूप में देखें तो बेस अनुमानक सुसंगत है। नियमितीकरण के रूप में पूर्व अभिनय की वजह से MLE की तुलना में इसकी स्थिरता के लिए कम परिस्थितियों की आवश्यकता होती है। दूसरी ओर, श्वार्ट्ज वितरण टोपोलॉजी अधिक उपयुक्त है जब हम बेस अनुमानक को वितरण के रूप में देखते हैं, यह MLE और बेयस अनुमानक की स्थिरता के बीच घनिष्ठ संबंध बनाने में भी मदद करता है, ताकि मामला जहां एक विचलन और अन्य अभिसरण न हो ।

— जियाउंग

क्षमा करें, लेकिन मुझे नहीं लगता कि आपका स्पष्टीकरण सही है। पूर्व एक नियमितीकरण के रूप में कार्य करता है लेकिन यह जरूरी नहीं कि अभिसरण दर को नियंत्रित करता है। वास्तव में फ्लैट पुजारी वास्तव में अभिसरण धीमा कर देते हैं। वे बस दो अलग-अलग टोपोलॉजी हैं।

— हेनरी