मैं रेखीय प्रतिगमन मॉडल में लेसो, रिज और इलास्टिक-नेट प्रकार के नियमितीकरण से अवगत हूं।

सवाल:

क्या यह (या एक समान) तरह का दंडात्मक अनुमान ARIMA मॉडलिंग (गैर-रिक्त एमए भाग के साथ) पर लागू किया जा सकता है?

ARIMA मॉडल के निर्माण में, पहले से चयनित अधिकतम लैग ऑर्डर ( $p_{max}$ , $q_{max}$ ) पर विचार करना आम तौर पर लगता है और फिर कुछ इष्टतम ऑर्डर $p \leqslant p_{max}$ और उदा। AIC या AICc को कम करना। लेकिन क्या इसके बजाय नियमितीकरण का उपयोग किया जा सकता है? $q \leqslant q_{max}$

मेरे और प्रश्न हैं:

क्या हम ( , ) सभी शब्दों को शामिल कर सकते हैं , लेकिन गुणांक के आकार (संभावित रूप से शून्य करने के लिए सभी तरह) को दंडित कर सकते हैं? क्या इससे कोई मतलब होगा? $p_{max}$ $q_{max}$
यदि ऐसा होता है, तो क्या यह आर या अन्य सॉफ्टवेयर में लागू किया गया है? यदि नहीं, तो क्या परेशानी थी?

कुछ संबंधित पोस्ट यहाँ पाया जा सकता है ।

— रिचर्ड हार्डी
स्रोत

एक बहुत अच्छे सवाल के लिए +1। पी के बाद से, क्यू असतत मूल्य हैं यह पी, क्यू के इष्टतम क्रम को खोजने के लिए ग्रिड खोज करने के लिए अधिक कुशल हो सकता है?

— फोरकास्टर

मुझे खुशी हुई की वह तुम्हें पसंद है! हां, एक ग्रिड खोज उस रूपरेखा के विकल्पों में से एक है जिसे मैं "सामान्य एक" के रूप में संदर्भित करता हूं। वहाँ एक की संभावित संयोजनों की ग्रिड पर खोज कर सकते हैं

से

के लिए

। हालांकि, यह अभी भी "सामान्य रूपरेखा" का हिस्सा है। एक विकल्प के रूप में, मैं सभी लैग रखने में दिलचस्पी रखता हूं लेकिन गुणांक के आकार को दंडित करता हूं ।

(p, q)

$(p,q)$

(0, 0)

$(0,0)$

(p_{m a x}, q_{m a x})

$(p_{max},q_{max})$

— रिचर्ड हार्डी

columbia.edu/~sn2294/papers/forecast.pdf माना जाता है कि LASSO बेहतर काम करता है क्योंकि आप अधिकतम लगाने के बजाय कुछ अंतराल छोड़ सकते हैं। समान एआईसी द्वारा किया जा सकता है लेकिन फिर यह कम्प्यूटेशनल रूप से महंगा हो जाता है।

— कागदस ओजेंक

@ कैगदासओजेंक, मैंने कागज के माध्यम से स्किम किया लेकिन यह एआरआईएमए मॉडल पर लागू नियमितीकरण के साथ काम नहीं करता है (हालांकि यह सूचना मानदंडों के संदर्भ में एआरएमए मॉडल का उल्लेख करता है)। क्या आप कृपया बता सकते हैं कि कागज का कौन सा भाग मेरे प्रश्नों के लिए प्रासंगिक है?

— रिचर्ड हार्डी

5.3 तालिका में ARMAX मॉडल हैं। परिणाम ARMA मॉडल पर लागू होते हैं।

— Cagdas Ozgenc

उत्तर देना प्रश्न १।

चेन एंड चान "अडैप्टिव लैस्सो के माध्यम से सबमै एआरएमए" (2011) * कम्प्यूटरीकृत अधिकतम संभावना अनुमान लगाने से बचने के लिए वर्कअराउंड का उपयोग करें। कागज का हवाला देते हुए, वे

अपने स्वयं के लैग्स पर समय श्रृंखला एक अनुकूली लस्सो प्रतिगमन फिटिंग करके और एक अवशिष्ट के जो एक लंबे ऑटोरेर्गन से प्राप्त करने के लिए प्राप्त होते हैं, के द्वारा एक इष्टतम सबसेट वाला ARMA मॉडल खोजने का प्रस्ताव $y_t$ $y_t$ । <...> [यू] हल्के नियमितता की स्थिति, प्रस्तावित विधि ओरेकल गुणों को प्राप्त करता है, अर्थात्, यह सही उपसर्ग ARMA मॉडल की पहचान करता है संभावना के साथ एक के लिए प्रवृत्ति नमूना के रूप में अनंत तक बढ़ता है, और <...> नॉनज़ेरो गुणांक के अनुमानक समान रूप से सीमित वितरण के साथ समान रूप से सामान्य होते हैं जब शून्य गुणांक को एक प्राथमिकता के रूप में जाना जाता है।

वैकल्पिक रूप से, वे चयनित उपसमूह ARMA मॉडल (ओं) के लिए अधिकतम संभावना अनुमान और मॉडल निदान सुझाते हैं।

विल्म्स एट अल। "स्पैरेस आइडेंटिफिकेशन एंड एस्टीमेशन ऑफ़ हाई-डायमेंशनल वेक्टर ऑटोरेजिव मूविंग एवरेज" (2017) मेरे द्वारा पूछे जाने से भी अधिक है। एक univariate ARIMA मॉडल के बजाय, वे उच्च आयामों में एक वेक्टर ARMA (VARMA) लेते हैं, और वे अनुमान और अंतराल आदेश चयन के लिए दंड का उपयोग करते हैं । वे अनुमान एल्गोरिथम पेश करते हैं और कुछ स्पर्शोन्मुख परिणाम विकसित करते हैं। $L_1$

विशेष रूप से, वे एक दो-चरण प्रक्रिया को नियोजित करते हैं। एक वर्मा मॉडल पर विचार करें जो अनुमान लगाया जा करने की जरूरत है, लेकिन अंतराल आदेश और uknown हैं।

y_{t} = \sum_{l = 1}^{p} Φ_{l} y_{t - l} + \sum_{m = 1}^{q} Θ_{m} ε_{t - m} + ε_{t}

$y_t = \sum_{l=1}^p \Phi_l y_{t-l} + \sum_{m=1}^q \Theta_m \varepsilon_{t-m} + \varepsilon_t$

p

$p$

q

$q$

स्टेज 1 में, वे एक उच्च-क्रम वाले VAR मॉडल द्वारा VARMA मॉडल का अनुमान लगाते हैं और यह अनुमान लगाते हैं कि यह एक Hierarchical VAR आकलनकर्ता का उपयोग करता है जो ऑटोरेस्पोन्डर मापदंडों पर एक लैग-आधारित पदानुक्रमित समूह-लासो दंड देता है।
(अंतराल आदेश होने के लिए सेट कर दिया जाता । मॉडल समीकरणों का संयुक्त रूप से अनुमान लगाया जाता है और त्रुटियों के फ्रोबेनियस मानदंड प्रतिगमन गुणांक पर एक पदानुक्रमित समूह-लैसो दंड के साथ कम से कम है)। वे बच प्राप्त $\lfloor 1.5\sqrt{T} \rfloor$ $||y-\hat y||_2^F$
$\hat\varepsilon := y - \hat y$ स्टेज 2 में सच त्रुटियों के लिए प्रॉक्सी के रूप में प्रयोग की जाने वाली।
स्टेज 2 में, वे एक VARX मॉडल जहां X लेग्ड स्टेज 1. है से बच दर्शाता का अनुमान है, वे Minic एक वर्मा मॉडल लेकिन सच त्रुटियों, के स्थान पर बच उपयोग का अनुमान जो फिर से सिर्फ स्टेज में 1. जैसे ही आकलनकर्ता (श्रेणीबद्ध समूह-लैसो) को लागू करने की अनुमति देता है ( और
$y_{t} = \sum_{l = 1}^{\hat{p}} Φ_{l} y_{t - l} + \sum_{m = 1}^{\hat{q}} Θ_{m} {\hat{ε}}_{t - m} + u_{t},$ $y_t = \sum_{l=1}^{\hat p} \Phi_l y_{t-l} + \sum_{m=1}^{\hat q} \Theta_m \hat\varepsilon_{t-m} + u_t,$
$\hat p$ $\hat q$ होने के लिए सेट कर रहे हैं ) $\lfloor 1.5\sqrt{T} \rfloor$

विल्म्स एट अल का दृष्टिकोण। है आर पैकेज में लागू "bigtime" ।

संदर्भ

चेन, के।, और चान, केएस (2011)। अनुकूली लासो के माध्यम से सबसेट एआरएमए चयन। सांख्यिकी और इसका इंटरफ़ेस , 4 (2), 197-205।
विल्म्स, आई, बसु, एस।, बिएन, जे।, एंड मैटसन, डीएस (2017)। उच्च-आयामी वेक्टर AutoRegressive मूविंग एवरेज की विरल पहचान और आकलन। arXiv प्रीप्रिंट arXiv: 1707.09208।

^{* लिंक के लिए @hejseb को धन्यवाद।}

— रिचर्ड हार्डी
स्रोत

यह वर्किंग पेपर बहुत ताज़ा है, कल ही arXiv पर पोस्ट किया गया है।

— रिचर्ड हार्डी

क्या अजगर या आर में कोई कार्यान्वयन है?

— डेविड मासिप

@DavidMasip, R कार्यान्वयन के लिए अद्यतन पोस्ट देखें।

— रिचर्ड हार्डी

ARIMA मॉडल के लिए नियमितीकरण

उत्तर देना प्रश्न १।