औसत निरपेक्ष त्रुटि की व्याख्या (MASE)

Question

मीन पूर्ण निरपेक्ष त्रुटि (MASE) कोहलर और हयंडमैन (2006) द्वारा प्रस्तावित पूर्वानुमान सटीकता का एक उपाय है ।

$$MASE=\frac{MAE}{MAE_{in-sample, \, naive}}$$

जहां वास्तविक पूर्वानुमान द्वारा उत्पादित औसत निरपेक्ष त्रुटि है; जबकि एक भोले पूर्वानुमान (जैसे एकीकृत टाइम सीरीज़ के लिए कोई परिवर्तन नहीं पूर्वानुमान ), इन-सैंपल डेटा पर गणना की गई पूर्ण निरपेक्ष त्रुटि है ।M A E i n - s a m p l e $MAE$
मैं(1$MAE_{in-sample, \, naive}$$I(1)$

( सटीक परिभाषा और सूत्र के लिए कोहेलर एंड हंडमैन (2006) के पेपर देखें।)

$MASE>1$ अर्थ है कि वास्तविक पूर्वानुमान नमूना से बाहर खराब हो जाता है, मतलब पूर्ण त्रुटि के मामले में नमूना में किए गए एक भोले पूर्वानुमान की तुलना में। इस प्रकार यदि पूर्ण त्रुटि पूर्वानुमान सटीकता का प्रासंगिक माप है (जो हाथ में समस्या पर निर्भर करता है), बताता है कि यदि हम आउट-ऑफ-सैंपल डेटा की अपेक्षा करते हैं तो वास्तविक पूर्वानुमान एक भोले पूर्वानुमान के पक्ष में छोड़ दिया जाना चाहिए। इन-सैंपल डेटा के समान हो (क्योंकि हम केवल यह जानते हैं कि नमूने में कितना अच्छा पूर्वानुमान लगा है, नमूना से बाहर नहीं)।$MASE>1$

सवाल:

एम ए एस ई = $MASE=1.38$इस Hyndsight ब्लॉग पोस्ट में प्रस्तावित एक पूर्वानुमान प्रतियोगिता में को एक बेंचमार्क के रूप में इस्तेमाल किया गया था । क्या एक स्पष्ट बेंचमार्क नहीं होना चाहिए था ?$MASE=1$

बेशक, यह सवाल विशेष पूर्वानुमान प्रतियोगिता के लिए विशिष्ट नहीं है। मैं इसे अधिक सामान्य संदर्भ में समझने में कुछ मदद चाहूंगा।

मेरा अनुमान:

एकमात्र समझदार व्याख्या जो मैं देख रहा हूं कि एक भोले पूर्वानुमान से नमूना के मुकाबले काफी खराब होने की उम्मीद की गई थी, जैसे कि एक संरचनात्मक परिवर्तन के कारण। तब प्राप्त करने के लिए बहुत चुनौतीपूर्ण हो सकता है।$MASE<1$

संदर्भ:

• हयंडमैन, रॉब जे।, और ऐनी बी। कोहलर। " पूर्वानुमान सटीकता के उपायों पर एक और नज़र। " पूर्वानुमान की अंतर्राष्ट्रीय पत्रिका 22.4 (2006): 679-688।
• Hyndsight ब्लॉग पोस्ट ।

Comments

अपने ब्लॉग पोस्ट में, रॉब नोट्स जहां यह बेंचमार्क आता है: "अथानसोपोलोस एट अल (2010) में वर्णित इन आंकड़ों के विश्लेषण में ये थ्रेसहोल्ड सबसे अच्छा प्रदर्शन करने वाले तरीके हैं।" क्या आपने एथानोसोपोलोस पेपर देखा है?

— एस। कोलासा - मोनिका नोव

मैं "आपके अनुमान" से थोड़ा हैरान हूँ: एक संरचनात्मक परिवर्तन का अर्थ होगा कि परिष्कृत पूर्वानुमान आंशिक रूप से अप्रासंगिक पिछले डेटा पर आधारित होगा, वास्तव में। लेकिन एक संरचनात्मक परिवर्तन "नो-चेंज" को कैसे प्रभावित करेगा इसका अनुमान ब्रेक पर निर्भर करता है। यदि उदाहरण के लिए हम बहाव के साथ एक यादृच्छिक चलना देख रहे हैं, और संरचनात्मक विराम का मतलब है कि बहाव, स्थिर शब्द, बस कम हो गया , तो "नो-चेंज" पूर्वानुमान ब्रेक के बाद बेहतर प्रदर्शन करेगा , पहले की तुलना में।

— एलेकोस पापाडोपोलोस

@AlecosPapadopoulos: आप सही हैं। हालाँकि, मेरा मतलब था कि आउट-ऑफ-सैंपल डेटा इन-सैंपल-डेटा से एक आवश्यक के रूप में काफी अलग है, लेकिन अपेक्षा के लिए पर्याप्त स्थिति नहीं है । शायद मैंने खुद को सही तरीके से व्यक्त नहीं किया। $MASE>>1$

— रिचर्ड हार्डी

@StephanKolassa: मैंने पेपर के माध्यम से स्किम किया और एक अच्छा स्पष्टीकरण नहीं मिला। शायद मुझे इसे और ध्यान से पढ़ना चाहिए। लेकिन मेरे सवाल उससे ज्यादा सामान्य हैं। मुझे उस उदाहरण में विशेष रुचि नहीं है, मैंने इसे केवल एक उदाहरण के रूप में प्रस्तुत किया है। मैं बारे में अंतर्ज्ञान मांग रहा हूं । $MASE$

— रिचर्ड हार्डी

संबंधित: आंकड़े.स्टैकएक्सचेंज

— .com

Answer 1

में जुड़े हुए ब्लॉग पोस्ट , रोब Hyndman एक पर्यटन पूर्वानुमान प्रतियोगिता के लिए प्रविष्टियों के लिए कहता है। अनिवार्य रूप से, ब्लॉग पोस्ट प्रासंगिक IJF लेख पर ध्यान आकर्षित करने का कार्य करता है , जिसका एक अनगढ़ संस्करण ब्लॉग पोस्ट में जुड़ा हुआ है।

आपके द्वारा निर्दिष्ट बेंचमार्क - 1.38 मासिक के लिए, 1.43 त्रैमासिक के लिए और 2.28 वार्षिक डेटा के लिए - जाहिरा तौर पर निम्नानुसार पहुंचे थे। लेखक (उनमें से सभी विशेषज्ञ पूर्वानुमानकर्ता हैं और IIF में बहुत सक्रिय हैं - यहां कोई साँप तेल विक्रेता नहीं हैं) मानक पूर्वानुमान एल्गोरिदम या पूर्वानुमान सॉफ़्टवेयर लागू करने में काफी सक्षम हैं, और वे शायद सरल ARIMA प्रस्तुत करने में रुचि नहीं रखते हैं। इसलिए उन्होंने जाकर अपने डेटा में कुछ मानक विधियाँ लागू कीं। IJF में एक पेपर के लिए आमंत्रित किए जाने वाले विजयी सबमिशन के लिए , वे पूछते हैं कि यह इन मानक तरीकों में से सबसे बेहतर है, जैसा कि MASE द्वारा मापा जाता है।

तो आपका सवाल अनिवार्य रूप से उबलता है:

यह देखते हुए कि 1 का एक MAS एक ऐसे पूर्वानुमान से मेल खाता है, जो आउट-ऑफ-सैंपल से अच्छा है (एमएडी द्वारा) भोले यादृच्छिक वॉक-इन-सैंपल के रूप में, क्यों मासिक डेटा के लिए AR38 जैसी मानक पूर्वानुमान विधियों में सुधार नहीं हो सकता है?

यहाँ, 1.38 MASE अनगेटेड संस्करण में तालिका 4 से आता है। यह ARIMA से पूर्वानुमान के 1-24 महीने के बाद औसत ASE है। अन्य मानक विधियाँ, जैसे कि पूर्वानुमानप्रणाली, ETS आदि और भी अधिक खराब हैं।

और यहां, जवाब कठिन हो जाता है । डेटा पर विचार किए बिना पूर्वानुमान सटीकता का न्याय करना हमेशा बहुत समस्याग्रस्त होता है। एक संभावना है कि मैं इस विशेष मामले में सोच सकता है प्रवृत्तियों में तेजी ला सकता है। मान लीजिए कि आप पूर्वानुमान का प्रयास करते हैं$\exp(t)$मानक तरीकों के साथ। इनमें से कोई भी त्वरित प्रवृत्ति पर कब्जा नहीं करेगा (और यह आमतौर पर एक अच्छी बात है - यदि आपका पूर्वानुमान एल्गोरिथ्म अक्सर एक त्वरित प्रवृत्ति को मॉडल करता है, तो आप संभवतः अपने चिह्न को ओवरशूट करेंगे), और वे एक एमएएसई का उत्पादन करेंगे जो कि ऊपर है 1. अन्य स्पष्टीकरण , जैसा कि आप कहते हैं, विभिन्न संरचनात्मक विराम हो सकते हैं, उदाहरण के लिए, स्तर शिफ्ट या बाहरी प्रभाव जैसे SARS या 9/11, जिसे गैर-कारण बेंचमार्क मॉडल द्वारा कैप्चर नहीं किया जाएगा, लेकिन जिसे समर्पित पर्यटन पूर्वानुमान विधियों द्वारा मॉडल किया जा सकता है (हालांकि उपयोग करके भविष्य के कारण होल्डआउट नमूने में एक प्रकार का धोखा है)।

इसलिए मैं कहूंगा कि आप इस डेटा के बारे में बहुत कुछ नहीं कह सकते हैं। वे कागले पर उपलब्ध हैं। आपकी सर्वश्रेष्ठ शर्त इन 518 श्रृंखलाओं को लेने की संभावना है, पिछले 24 महीनों में, ARIMA श्रृंखला को फिट करें, MASE की गणना करें, दस या बीस MASE-सबसे खराब पूर्वानुमान श्रृंखला खोदें, कॉफी का एक बड़ा बर्तन प्राप्त करें, इन श्रृंखलाओं को देखें और प्रयास करें यह पता लगाने के लिए कि ARIMA मॉडल उन्हें पूर्वानुमान करने में कितना बुरा बनाता है।

EDIT: एक और बिंदु जो तथ्य के बाद स्पष्ट दिखाई देता है, लेकिन मुझे देखने के लिए पांच दिन लग गए - याद रखें कि MASE का भाजक, इन-सैंपल रैंडम वॉक पूर्वानुमान का एक-कदम आगे है, जबकि अंश 1-24 का औसत है- आगे के पूर्वानुमान। यह बहुत आश्चर्य की बात नहीं है कि बढ़ते क्षितिज के साथ पूर्वानुमान बिगड़ते हैं, इसलिए यह 1.38 के MASE का एक और कारण हो सकता है। ध्यान दें कि मौसमी Naive पूर्वानुमान को बेंचमार्क में भी शामिल किया गया था और इसमें एक उच्च MASE भी था।

Comments

बहुत बढ़िया जवाब! मूल पेपर के संक्षिप्त सारांश के लिए धन्यवाद (यह सभी के लिए एक उपयोगी शॉर्टकट के रूप में काम करेगा)। ऐसा लगता है कि आपके उत्तर के पीछे मुख्य विचार मेरे अनुमान के साथ संघर्ष नहीं करता है (बल्कि इसे बढ़ाता है); नमूने से बाहर कुछ विशेष है जो इन-सैंपल भोले पूर्वानुमान में त्रुटि को कम करता है।

— रिचर्ड हार्डी

Answer 2

जवाब नहीं है, लेकिन "इन श्रृंखलाओं को देखने" के लिए स्टेफ़ान कोलासा के कॉल के बाद एक साजिश है।
कागल पर्यटन 1 में 518 वार्षिक समय श्रृंखला है, जिसके लिए हम अंतिम 4 मूल्यों की भविष्यवाणी करना चाहते हैं:

साजिश "भोली" निरंतर भविष्यवक्ता से त्रुटियों को दिखाती है, यहाँ अंतिम: कोनों में संख्या, 81 12 ..., श्रेणी के%, और रूप में । 3 पंक्तियाँ 10 सबसे खराब, मध्य में 10 और सभी 518 वार्षिक समय श्रृंखला की 10 सर्वश्रेष्ठ हैं।$5^{th}$
$\qquad Error4( y ) \equiv {1 \over 4} \sum_ {last\ 4} |y_i - y_{-5}|$
$Error4(y)$$length(y)$

जाहिर है, बहुत छोटी श्रृंखला - 12 11 7 7 7 ... शीर्ष पंक्ति में - भविष्यवाणी करना कठिन है: कोई आश्चर्य की बात नहीं है।
(अथानासोपोलस, हयंडमैन, सॉन्ग एंड वू, द टूरिज्म फोरकास्टिंग कॉम्पिटिशन (2011, 23 पी) ने 518 वार्षिक श्रृंखलाओं में से 112 का इस्तेमाल किया, लेकिन मैं यह नहीं देखता कि कौन से हैं।)

क्या 2010 के बाद से समय श्रृंखला के अन्य, नए संग्रह हैं, जो देखने लायक हो सकते हैं?

Comments

धन्यवाद! मुझे आपके अंतिम प्रश्न का उत्तर नहीं पता है।

— रिचर्ड हार्डी

@denis: अभी-अभी आपका प्रश्न देखा गया है - आप OpenData.SE पर डेटा माँग सकते हैं ।

— एस। कोलासा - मोनिका