MLE को नए अवलोकन स्ट्रीम के रूप में पुन: अद्यतन करना

सामान्य प्रश्न

मान लें कि हमारे पास iid डेटा $x_1$ , $x_2$ , ... स्ट्रीमिंग है। हम पुनरावर्ती रूप से के अधिकतम संभावना अनुमान की गणना करना चाहते हैं। । यही है, कंप्यूटेड होने के हम एक नया निरीक्षण , और किसी भी तरह संवर्द्धित करने के लिए इच्छा हमारे अनुमान को अद्यतन बिना खरोंच से शुरू करने के लिए। क्या इसके लिए सामान्य एल्गोरिदम हैं? $\sim f(x\,|\,\boldsymbol{\theta})$ $\boldsymbol{\theta}$

{\hat{θ}}_{n - 1} = \underset{θ \in R^{p}}{\arg max} \prod_{i = 1}^{n - 1} f (x_{i} | θ),

$\hat{\boldsymbol{\theta}}_{n-1}=\underset{\boldsymbol{\theta}\in\mathbb{R}^p}{\arg\max}\prod_{i=1}^{n-1}f(x_i\,|\,\boldsymbol{\theta}),$

x_{n}

$x_n$

{\hat{θ}}_{n - 1}, x_{n} \to {\hat{θ}}_{n}

$\hat{\boldsymbol{\theta}}_{n-1},\,x_n \to \hat{\boldsymbol{\theta}}_{n}$

खिलौना उदाहरण

यदि , , ... , , तो इसलिए $x_1$ $x_2$ $\sim N(x\,|\,\mu, 1)$

{\hat{μ}}_{n - 1} = \frac{1}{n - 1} \sum_{i = 1}^{n - 1} x_{i} and {\hat{μ}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\hat{\mu}_{n-1} = \frac{1}{n-1}\sum\limits_{i=1}^{n-1}x_i\quad\text{and}\quad\hat{\mu}_n = \frac{1}{n}\sum\limits_{i=1}^nx_i,$

{\hat{μ}}_{n} = \frac{1}{n} [(n - 1) {\hat{μ}}_{n - 1} + x_{n}] .

$\hat{\mu}_n=\frac{1}{n}\left[(n-1)\hat{\mu}_{n-1} + x_n\right].$

maximum-likelihood online

— jcz
स्रोत

इस समस्या का उलटा मत भूलना: अनुमानक को अपडेट करना क्योंकि पुरानी टिप्पणियों को हटा दिया जाता है।

— हांग ओई

पुनरावर्ती कम से कम वर्ग (आरएलएस) इस समस्या के एक विशेष उदाहरण के लिए एक (बहुत प्रसिद्ध) समाधान है, है ना? आम तौर पर, मेरा मानना है कि स्टोकेस्टिक फ़िल्टरिंग साहित्य को देखने के लिए उपयोगी हो सकता है।

— झिन

जवाबों:

पर्याप्तता और विशेष रूप से, न्यूनतम पर्याप्त आँकड़े की अवधारणा देखें । कई मामलों में आपको दिए गए नमूने के आकार पर अनुमान की गणना करने के लिए पूरे नमूने की आवश्यकता होती है, एक नमूना एक आकार से छोटा करने का कोई तुच्छ तरीका नहीं है (यानी कोई सुविधाजनक सामान्य परिणाम नहीं है)।

यदि वितरण घातीय परिवार है (और कुछ अन्य मामलों में, इसके अलावा, वर्दी एक साफ उदाहरण है) एक अच्छा पर्याप्त आंकड़ा है जो कई मामलों में आपके द्वारा खोजे जाने वाले तरीके से अद्यतन किया जा सकता है (अर्थात आमतौर पर उपयोग किए जाने वाले वितरणों की संख्या के साथ) एक तेजी से अद्यतन)।

एक उदाहरण मैं गणना या अद्यतन करने के लिए किसी भी प्रत्यक्ष तरीके से अवगत नहीं हूं, कॉची वितरण के स्थान के लिए अनुमान है (जैसे इकाई पैमाने के साथ, समस्या को एक सरल-पैरामीटर समस्या बनाने के लिए)। हालाँकि, एक तेज़ अपडेट हो सकता है, कि मैंने अभी गौर नहीं किया है - मैं नहीं कह सकता कि मैंने अद्यतन मामले पर विचार करने के लिए वास्तव में इस पर नज़र डालने से अधिक किया है।

दूसरी ओर, MLE के साथ जो संख्यात्मक अनुकूलन विधियों के माध्यम से प्राप्त किए जाते हैं, पिछला अनुमान कई मामलों में एक महान शुरुआती बिंदु होगा, क्योंकि आमतौर पर पिछला अनुमान अद्यतन अनुमान के बहुत करीब होगा; उस अर्थ में, कम से कम, तेजी से अद्यतन अक्सर संभव होना चाहिए। यहां तक कि यह सामान्य मामला नहीं है, हालांकि - मल्टीमॉडल संभावना कार्यों (फिर से, उदाहरण के लिए कॉची देखें) के साथ, एक नया अवलोकन उच्चतम मोड को पिछले एक से कुछ दूरी पर ले जा सकता है (भले ही प्रत्येक के स्थान। सबसे बड़े कुछ मोड ज्यादा शिफ्ट नहीं हुए, जो सबसे ज्यादा है वह अच्छी तरह से बदल सकता है)।

— Glen_b -Reinstate मोनिका
स्रोत

धन्यवाद! MLE के बारे में संभवतः स्विचिंग मोड मिडस्ट्रीम के बारे में यह समझने के लिए विशेष रूप से उपयोगी है कि यह सामान्य रूप से कठिन क्यों होगा।

— jcz

आप इसके लिए उपरोक्त यूनिट-स्केल कॉची मॉडल और डेटा (0.1,0.11,0.12,2.9.9,2,2.921,2.933) के साथ देख सकते हैं। मोड के स्थान के लिए लॉग-संभावना 0.5 और 2.5 के पास है, और (थोड़ा) उच्च शिखर 0.5 के पास एक है। अब अगला अवलोकन 10 करें और दो चोटियों में से प्रत्येक का मोड बमुश्किल चलता है लेकिन दूसरा शिखर अब काफी हद तक ऊंचा है। धीरे-धीरे वंशज आपकी मदद नहीं करेगा जब ऐसा होता है, यह लगभग फिर से शुरू करने जैसा है। यदि आपकी आबादी विभिन्न स्थानों के साथ दो समान आकार के उपसमूहों का मिश्रण है, तो ऐसी परिस्थितियां हो सकती हैं -। ... ctd

— Glen_b -Reinstate मोनिका

ctd ... अपेक्षाकृत बड़े नमूने में भी। सही स्थिति में, मोड स्विचिंग काफी बार हो सकता है।

— Glen_b -Reinstate मोनिका

मल्टी-मोडैरिटी को रोकने वाली एक शर्त यह है कि संभावना सभी लिए पैरामीटर वेक्टर को लॉग-अवतल wrt होना चाहिए । हालांकि इसका मतलब है कि मॉडल पर सीमाएं हैं।

n

$n$

— यव्स

हाँ सही; मैंने खुद से इस बात पर बहस की कि क्या जवाब में चर्चा करनी है।

— Glen_b -रिटनेट मोनिका

मशीन लर्निंग में, इसे ऑनलाइन लर्निंग कहा जाता है ।

जैसा कि @Glen_b ने बताया, ऐसे विशेष मामले हैं जिनमें MLE को पिछले सभी डेटा तक पहुंचने की आवश्यकता के बिना अपडेट किया जा सकता है। जैसा कि वह बताते हैं, मुझे विश्वास नहीं है कि MLE खोजने के लिए एक सामान्य समाधान है।

अनुमानित समाधान खोजने के लिए एक काफी सामान्य दृष्टिकोण स्टोचस्टिक ग्रेडिएंट वंश की तरह कुछ का उपयोग करना है। इस मामले में, जैसा कि प्रत्येक अवलोकन में आता है, हम इस व्यक्तिगत अवलोकन के संबंध में ढाल की गणना करते हैं और इस दिशा में पैरामीटर मान को बहुत कम मात्रा में स्थानांतरित करते हैं। कुछ शर्तों के तहत, हम यह दिखा सकते हैं कि यह MLE के पड़ोस में उच्च संभावना के साथ अभिसरण करेगा; पड़ोस तंग और तंग है क्योंकि हम चरण आकार को कम करते हैं, लेकिन अभिसरण के लिए अधिक डेटा की आवश्यकता होती है। हालांकि, सामान्य रूप से इन स्टोचस्टिक तरीकों को, बंद किए गए फॉर्म अपडेट की तुलना में अच्छा प्रदर्शन प्राप्त करने के लिए बहुत अधिक फ़िडलिंग की आवश्यकता होती है।

— क्लिफ एबी
स्रोत