समय श्रृंखला में AIC बनाम क्रॉस सत्यापन: छोटा नमूना मामला

Question

मुझे एक समय श्रृंखला सेटिंग में मॉडल चयन में दिलचस्पी है। संक्षिप्तता के लिए, मान लीजिए कि मैं अलग-अलग लैग ऑर्डर वाले ARMA मॉडल के पूल से एक ARMA मॉडल का चयन करना चाहता हूं। अंतिम आशय पूर्वानुमान है ।

द्वारा मॉडल चयन किया जा सकता है

1. परिणाम का सत्यापन करना,
2. सूचना मानदंड (एआईसी, बीआईसी) का उपयोग,

अन्य तरीकों के बीच।

Rob J. Hyndman समय श्रृंखला के लिए क्रॉस सत्यापन करने का एक तरीका प्रदान करता है । अपेक्षाकृत छोटे नमूनों के लिए, क्रॉस सत्यापन में उपयोग किए गए नमूना आकार मूल नमूना आकार की तुलना में गुणात्मक रूप से भिन्न हो सकते हैं । उदाहरण के लिए, यदि मूल नमूना का आकार 200 अवलोकनों का है, तो कोई पहले 101 अवलोकनों को ले कर क्रॉस वेलिडेशन शुरू करने के बारे में सोच सकता है और विंडो को 102, 103, ..., 200 अवलोकनों में बढ़ाकर 100 क्रॉस-वैरिफिकेशन परिणाम प्राप्त कर सकता है। स्पष्ट रूप से, एक मॉडल जो 200 प्रेक्षण के लिए यथोचित रूप से पारंगत है, 100 टिप्पणियों के लिए बहुत बड़ा हो सकता है और इस प्रकार इसकी सत्यापन त्रुटि बड़ी होगी। इस प्रकार क्रॉस सत्यापन व्यवस्थित रूप से बहुत-पार्सिमोनस मॉडल के पक्ष में होने की संभावना है। नमूना आकारों में बेमेल के कारण यह एक अवांछनीय प्रभाव है ।

क्रॉस सत्यापन का एक विकल्प मॉडल चयन के लिए सूचना मानदंड का उपयोग कर रहा है। चूंकि मुझे पूर्वानुमान के बारे में परवाह है, इसलिए मैं एआईसी का उपयोग करूंगा। भले ही AIC समान रूप से आउट-कम करने के लिए समान रूप से समतुल्य है, लेकिन समय श्रृंखला के मॉडल के लिए एक-चरणीय पूर्वानुमान MSE ( Rob J. Hyndman द्वारा इस पोस्ट के अनुसार ), मुझे संदेह है कि यह नमूना के बाद से यहां प्रासंगिक है। आकार जो मुझे परवाह है कि बड़े नहीं हैं ...

प्रश्न: क्या मुझे छोटे / मध्यम नमूनों के लिए समय श्रृंखला पार सत्यापन पर एआईसी को चुनना चाहिए?

कुछ संबंधित प्रश्न यहां , यहां और यहां पर पाए जा सकते हैं ।

Comments

मैं यह भी कल्पना करूंगा कि BIC एक "लंबी" पूर्वानुमान (m-step से आगे) के समतुल्य है, इसके लिंक को क्रास वैरिफिकेशन छोड़ने के लिए दिया गया है। हालांकि 200 टिप्पणियों के लिए, शायद बहुत अंतर नहीं आता है (2p के बजाय 5p का जुर्माना)।

— probabilityislogic

@ कैगदासओजेंक, मैंने रॉब जे। हंडमैन से पूछा कि क्या ओपी में दिए गए संदर्भ में क्रॉस सत्यापन व्यवस्थित रूप से बहुत-परसिम मॉडल के पक्ष में होने की संभावना है और इस बात की पुष्टि हुई है, इसलिए यह काफी उत्साहजनक है। मेरा मतलब है, जिस विचार को मैं चैट में समझाने की कोशिश कर रहा था वह मान्य लगता है।

— रिचर्ड हार्डी

एआईसी या बीआईसी के पक्ष में सैद्धांतिक कारण हैं क्योंकि यदि कोई संभावना और सूचना सिद्धांत से शुरू होता है, तो मीट्रिक जो उन पर आधारित है, उनके पास अच्छी तरह से ज्ञात सांख्यिकीय गुण हैं। लेकिन अक्सर ऐसा होता है कि कोई व्यक्ति डेटा सेट से निपट रहा होता है जो इतना बड़ा नहीं होता है।

— विश्लेषक

मैं एआईसी को समझने की कोशिश कर रहा हूं। बयान की समानता कई अनुमानों पर आधारित है जो सीएलटी के संस्करणों की राशि है। मुझे व्यक्तिगत रूप से लगता है कि यह एआईसी को छोटे नमूनों के लिए बहुत ही संदिग्ध बनाता है।

— मेहर

@ इस्बेला गामेन्ट, क्यों चाहिए? क्रॉस सत्यापन के इस विशेष उपयोग के लिए खुद को प्रतिबंधित करने का कोई कारण नहीं है। यह कहना नहीं है कि क्रॉस सत्यापन का उपयोग मॉडल मूल्यांकन के लिए नहीं किया जा सकता है, निश्चित रूप से।

— रिचर्ड हार्डी

Answer 1

सैद्धांतिक विचारों को अलग रखते हुए, एकैके सूचना मानदंड स्वतंत्रता की डिग्री द्वारा दंडित होने की संभावना है। निम्नानुसार, एआईसी डेटा ( -2 एलएल ) में अनिश्चितता के लिए खाता है और यह धारणा बनाता है कि अधिक मापदंडों से ओवरफिटिंग ( 2k ) का अधिक जोखिम होता है । क्रॉस-मान्यता केवल मॉडल के परीक्षण सेट प्रदर्शन को देखती है, जिसमें आगे कोई अनुमान नहीं है।

यदि आप ज्यादातर भविष्यवाणियां करने से बचते हैं और आप यह मान सकते हैं कि परीक्षण सेट वास्तविक रूप से वास्तविक डेटा के समान होगा, तो आपको क्रॉस-वैरिफिकेशन के लिए जाना चाहिए। संभावित समस्या यह है कि जब आपका डेटा छोटा होता है, तब इसे विभाजित करके, आप छोटे प्रशिक्षण और परीक्षण सेट के साथ समाप्त होते हैं। प्रशिक्षण के लिए कम डेटा खराब है, और परीक्षण सेट के लिए कम डेटा क्रॉस-मान्यता परिणाम को और अधिक अनिश्चित बनाता है (देखें Varoquaux, 2018 )। यदि आपका परीक्षण नमूना अपर्याप्त है, तो आपको एआईसी का उपयोग करने के लिए मजबूर किया जा सकता है, लेकिन यह ध्यान में रखते हुए कि यह क्या मापता है, और क्या धारणाएं बनाता है।

दूसरी ओर, जैसा कि पहले ही टिप्पणियों में उल्लेख किया गया है, एआईसी आपको स्पर्शोन्मुख गारंटी देता है, और यह छोटे नमूनों के साथ ऐसा नहीं है। छोटे नमूने डेटा में अनिश्चितता के बारे में भी भ्रामक हो सकते हैं।

Comments

आपको जवाब के लिए धन्यवाद! क्या आपके पास डेटा की समय श्रृंखला प्रकृति के कारण क्रॉस सत्यापन में बहुत छोटे नमूना आकार के अवांछनीय प्रभाव के बारे में कोई विशिष्ट टिप्पणी होगी?

— रिचर्ड हार्डी

Answer 2

एचएम - यदि आपका अंतिम लक्ष्य भविष्यवाणी करना है, तो आप बिल्कुल मॉडल चयन करने का इरादा क्यों रखते हैं? जहां तक ​​मुझे पता है, यह "पारंपरिक" सांख्यिकीय साहित्य और मशीन लर्निंग साहित्य दोनों में अच्छी तरह से स्थापित है कि भविष्यवाणी के समय मॉडल औसत बेहतर होता है। सीधे शब्दों में कहें, मॉडल औसत का मतलब है कि आप सभी प्रशंसनीय मॉडल का अनुमान लगाते हैं, उन सभी को अनुमान लगाते हैं और उनके सापेक्ष मॉडल सबूतों द्वारा भारित अनुमानों को औसत करते हैं।

शुरू करने के लिए एक उपयोगी संदर्भ है https://journals.sagepub.com/doi/10.1177/0049124104268644

वे इसे काफी सरलता से समझाते हैं और प्रासंगिक साहित्य को संदर्भित करते हैं।

उम्मीद है की यह मदद करेगा।

Answer 3

मेरा विचार है, दोनों करो और देखो। यह AIC का उपयोग करने के लिए प्रत्यक्ष है। एआईसी को छोटा करें, बेहतर मॉडल। लेकिन कोई एआईसी पर निर्भर नहीं हो सकता है और कह सकता है कि ऐसा मॉडल सबसे अच्छा है। इसलिए, यदि आपके पास ARIMA मॉडल का एक पूल है, तो प्रत्येक को लें और मौजूदा मानों के पूर्वानुमान की जाँच करें और देखें कि कौन सा मॉडल मौजूदा समय श्रृंखला डेटा के निकटतम है। दूसरे एआईसी के लिए भी जाँच करें और दोनों को देखते हुए, एक अच्छे विकल्प पर आएं। कोई पक्के नियम नहीं हैं। बस उस मॉडल के लिए जाएं जो सबसे अच्छा भविष्यवाणी करता है।

Comments

आपके उत्तर के लिए धन्यवाद! मैं मॉडल चयन के विभिन्न तरीकों के बीच चयन करने के लिए एक राजसी तरीके की तलाश कर रहा हूं। जब आप सही हैं कि कोई कठिन और तेज़ नियम नहीं हैं , तो हमें गन्दी वास्तविक दुनिया की स्थितियों में सहायता करने के लिए काल्पनिक आदर्श परिस्थितियों में स्पष्ट दिशानिर्देशों की आवश्यकता है। इसलिए जब मैं आम तौर पर आपके दृष्टिकोण से सहमत होता हूं, तो मुझे आपका उत्तर विशेष रूप से मददगार नहीं लगता।

— रिचर्ड हार्डी