पूर्वानुमान त्रुटि का एक निश्चित माप का उपयोग क्यों करें (जैसे MAD) दूसरे के विपरीत (जैसे MSE)?

Question

MAD = मीन एब्सोल्यूट डिविएशन MSE = मीन स्क्वेर्ड एरर

मैंने विभिन्न स्थानों से सुझाव देखे हैं कि MSE का उपयोग कुछ अवांछनीय गुणों के बावजूद किया जाता है (उदाहरण के लिए http://www.stat.nus.edu.sg/~staxyc/T12.pdf , जो p8 पर बताता है "यह आमतौर पर माना जाता है कि MAD MSE से बेहतर मापदंड है। हालाँकि, गणितीय रूप से MSE MAD की तुलना में अधिक सुविधाजनक है। "

क्या इससे ज्यादा कुछ है? क्या कोई ऐसा पेपर है जो उन स्थितियों का पूरी तरह से विश्लेषण करता है जिसमें पूर्वानुमान त्रुटि को मापने के विभिन्न तरीके कम / अधिक उपयुक्त हैं? मेरी Google खोजों ने कुछ भी प्रकट नहीं किया है।

इसी तरह का एक सवाल /programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde पर पूछा गया था , और उपयोगकर्ता से पूछा गया था आँकड़े.स्टैकएक्सचेंज.कॉम पर पोस्ट करते हैं, लेकिन मुझे नहीं लगता कि उन्होंने कभी ऐसा किया।

Comments

MAD आमतौर पर माध्य निरपेक्ष विचलन है, बजाय माध्य, नहीं?

— ब्रायन डी

@ ब्रायन डी: व्यापक सांख्यिकी समुदाय में, आप सही हैं। संकीर्ण पूर्वानुमान वाले समुदाय में, "MAD" अनिवार्य रूप से "औसत निरपेक्ष विचलन" है, AKA MAE ।

— स्टीफन कोलासे

Answer 1

यह तय करने के लिए कि कौन सा बिंदु पूर्वानुमान त्रुटि का उपयोग करने के लिए मापता है, हमें एक कदम वापस लेने की आवश्यकता है। ध्यान दें कि हम भविष्य के परिणाम को पूरी तरह से नहीं जानते हैं, न ही हम कभी भी। तो भविष्य के परिणाम एक संभावना वितरण का अनुसरण करते हैं । कुछ पूर्वानुमान विधियां स्पष्ट रूप से इस तरह के पूर्ण वितरण का उत्पादन करती हैं, और कुछ नहीं - लेकिन यह हमेशा होता है, यदि केवल अंतर्निहित रूप से।

अब, हम एक पूर्वानुमान के लिए एक अच्छी त्रुटि मापना चाहते हैं । इस तरह के एक बिंदु का पूर्वानुमान $F_t$ संक्षेप में प्रस्तुत करने के लिए क्या हम समय में भविष्य के वितरण (यानी, भविष्य कहनेवाला वितरण) के बारे में पता हमारा प्रयास है $t$ एक संख्या, एक तथाकथित का उपयोग कर कार्यात्मक भविष्य घनत्व की। त्रुटि माप तब इस एकल संख्या सारांश की गुणवत्ता का आकलन करने का एक तरीका है।

तो आपको एक त्रुटि उपाय चुनना चाहिए जो भविष्य के घनत्वों के "अच्छे" एक नंबर सारांश (अज्ञात, संभवतः पूर्वानुमानित, लेकिन संभवतः केवल निहित) को पुरस्कृत करता है।

चुनौती यह है कि विभिन्न कार्यों के द्वारा विभिन्न त्रुटि उपायों को कम से कम किया जाता है। भावी वितरण के अपेक्षित मूल्य से अपेक्षित MSE को कम से कम किया जाता है। भविष्य के वितरण के माध्य द्वारा अपेक्षित एमएडी को कम से कम किया जाता है। इस प्रकार, यदि आप MAE को कम करने के लिए अपने पूर्वानुमानों को कैलिब्रेट करते हैं, तो आपका पॉइंट पूर्वानुमान भविष्य का अपेक्षित नहीं, बल्कि भविष्य का अपेक्षित मूल्य होगा, और यदि आपका भविष्य वितरण सममित नहीं है, तो आपके पूर्वानुमान पक्षपाती होंगे।

यह गणना डेटा के लिए सबसे अधिक प्रासंगिक है, जो आमतौर पर तिरछा होता है। गंभीर मामलों में (जैसे कि, प्वासों नीचे एक मतलब के साथ बिक्री वितरित $\log 2\approx 0.69$ , अपने MAE एक फ्लैट शून्य पूर्वानुमान के लिए सबसे कम हो जाएगा)। देखें यहाँ या यहाँ या यहाँ जानकारी के लिए।

मैं कुछ और जानकारी देता हूं और मीन एब्सोल्यूट प्रतिशत त्रुटि (एमएपीई) की कमी क्या है? वह धागा म्प को मानता है , लेकिन अन्य त्रुटि उपायों को भी, और इसमें अन्य संबंधित थ्रेड्स के लिंक होते हैं।

---

अंत में, त्रुटि का उपयोग करने के लिए कौन सा त्रुटि वास्तव में आपके पूर्वानुमान की त्रुटि पर निर्भर करता है, अर्थात, किस प्रकार की त्रुटि सबसे दर्दनाक है। पूर्वानुमान त्रुटियों के वास्तविक निहितार्थ को देखे बिना, "बेहतर मानदंड" के बारे में कोई भी चर्चा मूल रूप से निरर्थक है।

पूर्वानुमान सटीकता के उपाय कुछ साल पहले पूर्वानुमान करने वाले समुदाय में एक बड़ा विषय थे, और वे अभी भी अभी और फिर पॉप अप करते हैं। देखने के लिए एक बहुत अच्छा लेख है Hyndman & Koehler "पूर्वानुमान सटीकता के उपायों पर एक और नज़र" (2006)।

अंत में, एक विकल्प पूर्ण भविष्य कहनेवाला घनत्वों की गणना करना और उचित स्कोरिंग-नियमों का उपयोग करके इनका आकलन करना है ।

Comments

प्रतिक्रिया के लिए धन्यवाद, और लिंक। मैं "पूर्वानुमान त्रुटि की लागत" शब्द से परिचित नहीं था। ऐसा लगता है कि यह उन परिस्थितियों से संबंधित है, जहां (जैसे) एक व्यवसाय पूर्वानुमान लगा रहा है कि यह कितने विजेट बेच देगा, और शायद वे जो दर्द overestimating के लिए पीड़ित हैं, वे दुगना है जितना दर्द वे कम करके आंकते हैं। हालाँकि, मैं ज्यादातर ऐसे संदर्भ के बारे में सोच रहा हूँ जिसमें लोग पूर्वानुमान त्रुटि की कोई स्पष्ट स्पष्ट लागत के बारे में पूर्वानुमान लगा रहे हैं (उदाहरण के लिए "अगले 5 महीनों में बिल गेट्स कितने ट्वीट करेंगे?")। ऐसी स्थिति में क्या मेरी त्रुटि माप का विकल्प मनमाना होगा?

— user1205901 - मोनिका

पूर्वानुमान की लागत चिकित्सक-उन्मुख पत्रिका दूरदर्शिता में चर्चा की गई है : पूर्वानुमान : .org / foresight बहुत अनुशंसित! (पूर्ण प्रकटीकरण: मैं एक सहयोगी संपादक हूं।) मैं सहमत हूं कि आपके उदाहरण में सीओएफई स्पष्ट रूप से स्पष्ट नहीं है, लेकिन फिर मुझे आश्चर्य होगा कि आपको अपने त्रुटि उपाय को अनुकूलित करने में कितना प्रयास करना चाहिए ...

— स्टीफन कोलासा

Answer 2

MSE के बजाय MAE का उपयोग करने के फायदे Davydenko और Fildes (2016) में बताए गए हैं , धारा 3.1 देखें:

... कुछ लेखक (जैसे, ज़ेलनर, 1986) तर्क देते हैं कि जिस मापदंड से हम पूर्वानुमान का मूल्यांकन करते हैं, वह उस मापदंड के अनुरूप होना चाहिए जिसके द्वारा हम पूर्वानुमान का अनुकूलन करते हैं। दूसरे शब्दों में, यदि हम कुछ दिए गए नुकसान फ़ंक्शन का उपयोग करके अनुमानों का अनुकूलन करते हैं, तो हमें यह पता लगाने के लिए समान नुकसान का उपयोग करना होगा कि कौन सा मॉडल बेहतर है।

एक सांख्यिकीय मॉडल को पकड़ना आमतौर पर द्विघात नुकसान के तहत इष्टतम पूर्वानुमान देता है। यह, उदाहरण के लिए, जब हम एक रैखिक प्रतिगमन फिट होते हैं। अगर सांख्यिकीय मॉडलिंग से हमारा घनत्व सममित है, तो द्विघात हानि के तहत इष्टतम पूर्वानुमान भी रैखिक नुकसान के तहत इष्टतम हैं। लेकिन, अगर हम लॉग-ट्रांसफॉर्मेशन द्वारा विचरण को स्थिर करते हैं और फिर एक्सपेक्टेशन द्वारा बैक फोरकास्ट को ट्रांसफॉर्म करते हैं, तो हमें केवल लीनियर लॉस के तहत पूर्वानुमान इष्टतम मिलते हैं। यदि हम एक और नुकसान का उपयोग करते हैं, तो हमें पहले सांख्यिकीय मॉडल का उपयोग करके घनत्व का पूर्वानुमान प्राप्त करना होगा, और फिर हमारे विशिष्ट नुकसान फ़ंक्शन को देखते हुए हमारे अनुमान को समायोजित करना होगा (गुडविन, 2000 में ऐसा करने के उदाहरण देखें)।

मान लेते हैं कि हम दो तरीकों की तुलनात्मक रूप से तुलना करना चाहते हैं और पता लगाते हैं कि एक सममित रैखिक हानि के संदर्भ में कौन सी विधि बेहतर है (क्योंकि इस प्रकार का नुकसान आमतौर पर मॉडलिंग में उपयोग किया जाता है)। यदि हमारे पास केवल एक समय श्रृंखला है, तो औसत निरपेक्ष त्रुटि (MAE) का उपयोग करना स्वाभाविक है। इसके अलावा, MAE आकर्षक है क्योंकि यह समझना और गणना करना आसान है (Hyndman, 2006) ...

संदर्भ

डेविदेंको, ए।, और फीलडेस, आर। (2016)। पूर्वानुमान त्रुटि के उपाय: महत्वपूर्ण समीक्षा और व्यावहारिक सिफारिशें। में व्यापार पूर्वानुमान: व्यावहारिक समस्याओं और समाधान। जॉन विले एंड संस

Comments

क्या आप केवल "डेविडेन्को और फिल्ड्स, 2016" के बजाय कागज को पूर्ण उद्धरण दे सकते हैं ?

— सिल्वरफिश

हम अपने जवाबों को स्टैंडअलोन होना पसंद करते हैं, ताकि वे मृत होने वाले लिंक से प्रतिकूल रूप से प्रभावित न हों। क्या आपको लगता है कि आप अपने उत्तर पर कुछ विस्तार कर सकते हैं, यह बताने के लिए कि आपने क्या सोचा था कि इसकी सामग्री के प्रमुख बिंदु क्या हैं जो इस प्रश्न के लिए प्रासंगिक हैं? अन्यथा, यह वास्तव में उत्तर की तुलना में टिप्पणी के लिए अधिक उपयुक्त है। (मैं सराहना करता हूं कि आपके पास अभी तक टिप्पणियां पोस्ट करने के लिए पर्याप्त प्रतिष्ठा नहीं है, लेकिन हम इसे आपके लिए एक में परिवर्तित कर सकते हैं।)

— सिल्वरफ़िश

आपके जवाब का धन्यवाद! यहां बताया गया है कि (डेविडेन्को और फिल्ड्स, 2016) क्या कहता है: एक सांख्यिकीय मॉडल को फिट करना आमतौर पर द्विघात नुकसान के तहत इष्टतम पूर्वानुमान देता है। यह, उदाहरण के लिए, जब हम एक रैखिक प्रतिगमन फिट होते हैं। यदि सांख्यिकीय मॉडलिंग से हमारा घनत्व पूर्वानुमान सममित है, तो द्विघात हानि के तहत इष्टतम पूर्वानुमान भी रैखिक नुकसान के तहत इष्टतम हैं। लेकिन, अगर हम लॉग-ट्रांसफॉर्मेशन द्वारा विचरण को स्थिर करते हैं और फिर एक्सपेक्टेशन द्वारा बैक फोरकास्ट को ट्रांसफॉर्म करते हैं, तो हमें केवल लीनियर लॉस के तहत पूर्वानुमान इष्टतम मिलते हैं।

— टर्फोफली

धन्यवाद! आप इस जानकारी को अपने उत्तर में संपादित कर सकते हैं ("संपादित करें" बटन आपकी पोस्ट के नीचे है)।

— सिल्वरफिश

बहुत बहुत धन्यवाद। मैंने कुछ प्रारूपण किया है और पूर्ण उद्धरण दिया है।

— सिल्वरफ़िश

Answer 3

$RMSE = \sqrt{MSE}$$MAE = MAD$

वास्तव में,

$MAE \leq RMSE \leq \sqrt{n} MAE$

• $e$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n e^2} = e = MAE$
• $e$
  $MAE = \frac{e}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} e^2} = \sqrt{\frac{1}{n} (n MAE)^2} = \sqrt{n} MAE$

($MAE \leq RMSE \leq \sqrt{MAE}$ for classification with partial class memberships $y_i$ and/or $\hat y_i$ are $\in [0, 1]$ -- i.e. they can actually take values in between 0 and 1).

• upper bound: here, $e_i$ is $\leq 1$, so
  $MAE = \frac{n_{wrong}}{n}$
  $RMSE = \sqrt{\frac{1}{n} \sum e_i^2} = \sqrt{\frac{1}{n} n_{wrong}} = \sqrt{MAE}$
  (This upper bound occurs for integer $n_{wrong}$, if you go for partial/fractional class membership and thus also for $e_i \in [0, 1]$, things get a bit more complicated because you need to take into account that the maximum possible error can be less than 1, and you may have a "leftover" $e_i < 1$ which both lower the upper bound a bit further.)

If the RMSE is close the MAE, you have many small deviations, if it is close to its upper bound, there are few grossly wrong predictions.

Comments

do you mean sqrt(n)*MAE or sqrt(n*MAE) as an upper bound?

— Chris

@Chris: it is sqrt (n) * MAE, see my edit.

— cbeleites supports Monica