पुनरावर्ती (ऑनलाइन) नियमित रूप से कम से कम वर्ग एल्गोरिदम

Question

क्या कोई मुझे तिकोनोव नियमितीकरण (नियमित रूप से कम से कम वर्ग) के लिए एक ऑनलाइन (पुनरावर्ती) एल्गोरिथ्म की दिशा में इंगित कर सकता है?

एक ऑफ़लाइन सेटिंग में, मैं अपने मूल डेटा सेट का उपयोग करके जहां λ एन-गुना क्रॉस सत्यापन का उपयोग कर पाया जाता है, का उपयोग करके गणना करेगा । एक नया y मान किसी दिए गए x के लिए y = x ^ T \ hat \ beta का उपयोग करके भविष्यवाणी की जा सकती है ।$\hat\beta=(X^TX+λI)^{−1}X^TY$$λ$$y$$x$$y=x^T\hat\beta$

एक ऑनलाइन सेटिंग में मैं लगातार नए डेटा बिंदुओं को आकर्षित करता हूं। जब मैं संपूर्ण डेटा सेट (मूल + नया) पर पूर्ण पुनर्गणना किए बिना नए अतिरिक्त डेटा नमूने आकर्षित करूं, तो मैं \ hat \ बीटा को कैसे अपडेट कर सकता / सकती हूं $\hat\beta$?

Comments

आपके टिखोनोव -नियमित रूप से कम से कम वर्ग को आमतौर पर सांख्यिकीय हलकों में लेवेनबर्ग-मार्क्वर्ट कहा जाता है , यहां तक ​​कि जब शुद्ध-रैखिक समस्याओं पर लागू किया जाता है (जैसा कि यहां)। यहां ऑनलाइन लेवेनबर्ग मार्क्वार्ड के बारे में एक पेपर है । मुझे नहीं पता कि क्या इसकी कोई मदद है।

— Glen_b -Reinstate मोनिका

Answer 1

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

आज्ञा देना $M_n^{-1} = (XX^T+λI)^{−1}$ , फिर

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ , और

$M_{n+1} - M_n = x_nx_n^T$ , हम प्राप्त कर सकते हैं

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

वुडबरी सूत्र के अनुसार , हमारे पास है

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

नतीजतन,

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

Polyak औसतन आप उपयोग कर सकते हैं इंगित करता है अनुमान लगाने के लिए के साथ से लेकर से । आप अपने मामले में अपनी पुनरावृत्ति के लिए सर्वश्रेष्ठ का चयन करने का प्रयास कर सकते हैं ।$\eta_n = n^{-\alpha}$$\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$$\alpha$$0.5$$1$$\alpha$

---

मुझे लगता है कि यह भी काम करता है यदि आप एक बैच ढाल एल्गोरिदम लागू करते हैं:

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

Comments

क्या होगा यदि मैं हर बार नए डेटा के बैच नमूनों के साथ अपने प्रतिसाददाता को अपडेट करता हूं, जहां प्रत्येक क्रमिक बैच थोड़ा अलग वितरण से तैयार किया गया है? यानी नॉन आईआईडी। इस मामले में मैं चाहूंगा कि रजिस्ट्रार नए डेटा को ध्यान में रखे, लेकिन पुराने डेटा (पिछले बैच) के इलाके में इसकी भविष्यवाणियों को प्रभावित नहीं करेगा? क्या आप मुझे किसी ऐसे साहित्य की ओर संकेत कर सकते हैं, जो आपको उपयोगी लगे?

— rnoodle

अच्छा सवाल है, लेकिन खेद है कि वर्तमान में मैं यह नहीं बता सकता कि यह आपके मॉडल को कितना प्रभावित करेगा यदि आप अभी भी उत्तर में बैच ग्रेडिएंट फॉर्मूला का उपयोग कर रहे हैं, या सीधे मैट्रिक्स फॉर्म को लागू करके अनुमानित कर रहे हैं: eta ^ (- अल्फा) * X (Y-X) 'Beta_n) जहाँ X, Y आपके नए बैच के नमूने हैं

— lennon310

नमस्ते, ऐसा लगता है कि नियमितीकरण गुणांक पुनरावर्ती अद्यतन सूत्र में शामिल नहीं है? या यह केवल एम मैट्रिक्स के व्युत्क्रम के प्रारंभ में ही मायने रखता है?

— पेंग झाओ

Answer 2

एक बिंदु जिसे किसी ने अब तक संबोधित नहीं किया है, वह यह है कि आमतौर पर डेटा पॉइंट के रूप में नियमितीकरण पैरामीटर स्थिर रखने का कोई मतलब नहीं है । इसका कारण यह है कि आम तौर पर डेटा बिंदुओं की संख्या के साथ रैखिक रूप से बढ़ेगा, जबकि नियमितीकरण शब्द नहीं होगा। $\lambda$$\| X \beta -y \|^{2}$$\| \lambda\beta \|^{2}$

Comments

यह एक दिलचस्प बिंदु है। लेकिन वास्तव में यह "समझदारी" क्यों नहीं है? निश्चित रूप से स्थिर रखना गणितीय रूप से मान्य है, इसलिए "समझदारी नहीं" को किसी प्रकार के सांख्यिकीय संदर्भ में समझना होगा। लेकिन क्या संदर्भ? क्या गलत हो जाता है? क्या किसी तरह का आसान फ़िक्स होगा, जैसे मीनिंग स्क्वार्स के साथ वर्गों की जगह? $\lambda$

— whuber

स्केल किए गए संस्करण के साथ वर्गों के योग को प्रतिस्थापित करना (जैसे कि मतलब चुकता त्रुटि) समझ में आता है, लेकिन बस पुनरावर्ती कम से कम वर्गों का उपयोग करने से वह पूरा नहीं होगा।

— ब्रायन बोरचर्स

क्या गलत जाना होगा का सवाल है, की अपनी पसंद पर निर्भर करता है आप वे डेटा बिंदु की एक बड़ी संख्या या डेटा बिंदुओं की एक छोटी संख्या के साथ एक बहुत overregularized समाधान के साथ एक बहुत ही underregularized समाधान प्राप्त होगा। $\lambda$

— ब्रायन बॉर्चर्स

एक को संदेह होगा कि, लेकिन अगर को शुरू में डेटा पॉइंट प्राप्त करने के बाद ट्यून किया जाता है और फिर अधिक डेटा पॉइंट जोड़े जाते हैं, तो क्या अधिक डेटा पॉइंट और समान साथ परिणामी समाधान खत्म हो गए हैं या कम-नियमित उन नए पर निर्भर करेगा डेटा अंक। यह एक बहुभिन्नरूपी वितरण से आईआईडी नमूने की तरह कार्य करने वाले डेटा पॉइंट को मानकर विश्लेषण किया जा सकता है, जिस स्थिति में यह दिखाई देता है को को स्टेज पर सेट किया जाना चाहिए । यह अपडेट करने के फॉर्मूले को बदल देगा, लेकिन इस तरह से नियमित और सरल तरीके से कि कुशल गणना अभी भी संभव हो सकती है। (+1)$\lambda$$n$$\lambda$$\lambda$$N/n$$N$

— whuber

Answer 3

शायद Stochastic ढाल वंश की तरह कुछ यहाँ काम कर सकता है। प्रारंभिक डेटासेट पर अपने समीकरण का उपयोग करके गणना करें , यह आपका शुरुआती अनुमान होगा। प्रत्येक नए डेटा बिंदु के लिए आप अपने पैरामीटर अनुमान को अद्यतन करने के लिए ढाल वंश का एक चरण कर सकते हैं।$\hat{\beta}$

Comments

मुझे पता चला है कि SGD (शायद मिनीबैच) इस तरह की ऑनलाइन समस्याओं के लिए जाने का तरीका है, यानी फ़ंक्शन सन्निकटन अपडेट करना।

— rnoodle

Answer 4

रैखिक प्रतिगमन में, एक संभावना के क्यूआर अपघटन को सीधे अपडेट कर रही है, जैसा कि यहां बताया गया है । मुझे लगता है कि, जब तक कि आप प्रत्येक नए डेटापॉइंट के जुड़ने के बाद का पुनर्मूल्यांकन नहीं करना चाहते, तब तक रिज रिग्रेशन के साथ कुछ ऐसा ही किया जा सकता है।$X$$\lambda$

Answer 5

यहां वुडबरी फॉर्मूला का उपयोग करने की तुलना में एक वैकल्पिक (और कम जटिल) दृष्टिकोण है। ध्यान दें कि और को रकम के रूप में लिखा जा सकता है । चूँकि हम ऑनलाइन चीजों की गणना कर रहे हैं और नहीं चाहते हैं कि राशि उड़ जाए, हम वैकल्पिक रूप से साधनों ( और ) का उपयोग कर सकते हैं।$X^TX$$X^Ty$$X^TX/n$$X^Ty/n$

यदि आप और लिखते हैं :$X$$y$

$$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$$

हम और ( -th रो तक की गणना ) के लिए ऑनलाइन अपडेट इस प्रकार लिख सकते हैं :$X^TX/n$$X^Ty/n$$t$

$$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$$

$$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$$

आपका ऑनलाइन अनुमान तब बन जाता है$\beta$

$$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$$

ध्यान दें कि यह आपके द्वारा टिप्पणियों को जोड़ने के रूप में स्थिर रहने वाले की व्याख्या के साथ भी मदद करता है !$\lambda$

यह प्रक्रिया है कि कैसे https://github.com/joshday/OnlineStats.jl रैखिक / रिज प्रतिगमन के ऑनलाइन अनुमानों की गणना करता है।