क्या मेरा वेदरमैन सटीक है?


20

एक प्रश्न जो मुझे कुछ समय के लिए परेशान करता है, जिसे मैं नहीं जानता कि मुझे कैसे संबोधित करना है:

हर दिन, मेरा मौसम विशेषज्ञ बारिश का एक प्रतिशत मौका देता है (मान लें कि इसकी गणना 9000 अंकों की है और उसने कभी कोई संख्या दोहराई नहीं है)। हर बाद के दिन, या तो बारिश होती है या बारिश नहीं होती है।

मेरे पास सालों के आंकड़े हैं - pct chance बनाम बारिश या नहीं। इस वेदरमैन के इतिहास को देखते हुए , अगर वह आज रात कहता है कि कल बारिश का मौका एक्स है, तो मेरा सबसे अच्छा अनुमान क्या बारिश की संभावना है?


यह एक अतीत के प्रश्न से संबंधित है: आंकड़े.stackexchange.com/q/2275/495
शमौन बर्न

कुछ को ध्यान में रखना: भविष्यवाणी पर द नैट सिल्वर की किताब में, द सिग्नल एंड द नॉइज़: व्हाई सो मच प्रेडिक्शन फेल - बट नो डोन्ट, वह लंबाई पर बोलता है कि कैसे मार्केटिंग के कारणों से नियमित रूप से बारिश के पूर्वानुमान को समायोजित किया जाता है। एनओएए नहीं करता है, लेकिन वेदर चैनल 5 और 20 के बीच किसी भी मौके को संशोधित करने के बारे में काफी खुला है (इसलिए अगर यह वास्तव में बारिश होती है तो ग्राहकों को गुस्सा नहीं करना चाहिए), जबकि स्थानीय टीवी स्टेशनों के लिए वैटरमेन नियमित रूप से अपने आंकड़ों को अधिक पागलपन के साथ पैड करते हैं। यह सचेत और संभवतः अनैतिक पूर्वाग्रह उनकी भविष्यवाणी की गुणवत्ता के किसी भी सांख्यिकीय मूल्यांकन को प्रभावित करेगा।
SQLServerSteve

जवाबों:


6

प्रभाव में आप एक मॉडल है जिसमें की सोच रहे हैं सच बारिश, की संभावना को पी , के एक समारोह है भविष्यवाणी मौका क्ष : पी = पी (क्यू )। हर बार जब कोई भविष्यवाणी की जाती है, तो आप सफलता की प्रायिकता p (q) वाले बर्नौली संस्करण के एक एहसास का निरीक्षण करते हैं । यह एक क्लासिक लॉजिस्टिक रिग्रेशन सेटअप है, यदि आप आधार फ़ंक्शन f1 , f2 , ..., fk के रैखिक संयोजन के रूप में सही मौका देने के लिए तैयार हैं ; मॉडल कहता है

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

ईद त्रुटियों के साथ । यदि आप संबंध के रूप के बारे में अज्ञेय हैं (हालांकि यदि वेडरमैन कोई अच्छा पी (q) है - q यथोचित रूप से छोटा होना चाहिए), तो आधार के लिए एक सेट का उपयोग करने पर विचार करें। आउटपुट, हमेशा की तरह, गुणांक के अनुमान और के विचरण का अनुमान होता है । भविष्य में किसी भी भविष्यवाणी को देखते हुए क्ष , बस अपने प्रश्न का उत्तर प्राप्त करने के लिए अनुमानित गुणांक के साथ मॉडल में मूल्य प्लग (और के विचरण का उपयोग यदि आप चाहें कि इसका जवाब के चारों ओर एक भविष्यवाणी अंतराल के निर्माण के लिए)।

यह ढांचा अन्य कारकों को शामिल करने के लिए पर्याप्त लचीला है, जैसे समय के साथ भविष्यवाणियों की गुणवत्ता में बदलाव की संभावना। यह आपको परिकल्पनाओं का परीक्षण करने की सुविधा भी देता है, जैसे कि p = q (जो कि वैटरमैन निहितार्थ दावा करता है)।


हम्म - मेरा सवाल बहुत अच्छी तरह से परिभाषित नहीं है। केवल एक चीज जो मैं कर सकता हूं वह q () के लिए कुछ मॉडल चुनना है जो सेटिंग पैरामीटर की अनुमति देता है, और उन मापदंडों के साथ फ़िडलिंग करके फिट की भलाई को अधिकतम करता है। वह है - कोई बात नहीं मैं क्या करूँगा कि क्यू () मूल रूप से जैसा दिखता है उसके बारे में कुछ धारणाएं बनानी होंगी।
पॉल मरे

11

बाइनरी इवेंट (या असतत रैंडम वेरिएबल) के लिए प्रायिकता पूर्वानुमान की तुलना बैरियर स्कोर पर की जा सकती है

ττ

आपको यह देखना चाहिए कि मध्यम श्रेणी के मौसम पूर्वानुमान के लिए यूरोपीय केंद्र ( ECMWF क्या करता है )।


3

जब पूर्वानुमान कहता है "क्षेत्र (क्षेत्र) में बारिश का X प्रतिशत मौका", तो इसका मतलब है कि संख्यात्मक मौसम मॉडल ने प्रश्न में समय अंतराल के लिए क्षेत्र के X प्रतिशत में बारिश का संकेत दिया है। उदाहरण के लिए, "उत्तरी अमेरिका में बारिश की 100 प्रतिशत संभावना" की भविष्यवाणी करना आम तौर पर सटीक होगा। इस बात को ध्यान में रखें कि मॉडल गतिशीलता की भविष्यवाणी करने में अच्छे हैं और थर्मोडायनामिक्स की भविष्यवाणी में खराब हैं।


1
एक पुराना विषय, लेकिन ओपी में स्पष्टीकरण के लिए एक महत्वपूर्ण बिंदु: जब वे कहते हैं कि उनके पास "बारिश या नहीं" डेटा है जिसके खिलाफ भविष्यवाणी की तुलना करते हैं, तो क्या उनका मतलब "मेरे घर पर" है, या क्या उनका मतलब भविष्यवाणी के भीतर है " क्षेत्र "?
वेन

2

जंगली गुलाब स्कोर दृष्टिकोण बहुत सरल है और सबसे सीधे लागू रास्ता द्विआधारी घटना बनाम एक भविष्यवाणी परिणाम की सटीकता की पुष्टि।

बस फॉर्मूले पर भरोसा न करें ... विभिन्न समय, डेटा, त्रुटियों, [भारित] डेटा, त्रुटियों के औसत रोलिंग के लिए स्कोर की साजिश ... यह कहना मुश्किल है कि दृश्य विश्लेषण क्या प्रकट कर सकता है ... आपके विचार से आप कुछ देखते हैं, आप बेहतर जान पाएंगे कि जब तक आप डेटा को नहीं देखते हैं , तब तक किस तरह की परिकल्पना का परीक्षण करना है ।

ब्रायर स्कोर स्वाभाविक रूप से भिन्नता / अंतर्निहित वितरण मौसम और प्रौद्योगिकी की स्थिरता की भविष्यवाणी करता है, पूर्वानुमान मॉडल, रैखिकता की कमी, कोई पूर्वाग्रह, पूर्वाग्रह में परिवर्तन की कमी ड्राइविंग तकनीक ... यह मानता है कि सटीकता / अशुद्धि का एक ही सामान्य स्तर सुसंगत है। जैसे-जैसे जलवायु परिवर्तन होते हैं, जिन्हें अभी तक समझा नहीं गया है, मौसम की भविष्यवाणी की सटीकता कम हो जाएगी; इसके विपरीत, वैटरमैन को जानकारी खिलाने वाले वैज्ञानिकों के पास अधिक संसाधन, अधिक पूर्ण मॉडल, अधिक कंप्यूटिंग शक्ति है, इसलिए शायद भविष्यवाणियों की सटीकता बढ़ जाएगी। त्रुटियों को देखते हुए पूर्वानुमानों की स्थिरता, रैखिकता और पूर्वाग्रह के बारे में कुछ बताना होगा ... आपके पास रुझान देखने के लिए पर्याप्त डेटा नहीं हो सकता है; आप सीख सकते हैं कि स्थिरता, रैखिकता और पूर्वाग्रह कोई मुद्दा नहीं है। आप सीख सकते हैं कि मौसम के पूर्वानुमान अधिक सटीक हो रहे हैं ... या नहीं।


0

दिए गए पूर्वानुमानों के बारे में केवल अनुमान लगाना और प्रत्येक बिन के लिए आपके अनुमान के अनुसार मनाया गया अंशों को कैसे लेना है?

आप एक गाऊसी द्वारा अपने ब्याज के मूल्य के आसपास सभी टिप्पणियों (कल से भविष्यवाणी कहो) को तौलकर और इसे देखते हुए इसे सामान्य मॉडल के लिए सामान्य कर सकते हैं कि भारित औसत क्या है।

आप अपने डेटा का एक दिया अंश प्राप्त करने के लिए एक चौड़ाई का अनुमान लगा सकते हैं (या कहें, एक अच्छे अनुमान के लिए 100 से कम अंक कभी नहीं)। वैकल्पिक रूप से एक विधि का उपयोग करें जैसे कि गॉसियन चौड़ाई प्राप्त करने के लिए अधिकतम-संभावना के क्रॉस-सत्यापन।


0

क्या आप जानना चाहते हैं कि उसका पूर्वानुमान दूसरे पूर्वानुमान से अधिक सटीक है या नहीं? यदि ऐसा है, तो आप क्रॉस-एन्ट्रापी, सटीक / रिकॉल, आरओसी कर्व्स और एफ 1-स्कोर जैसे संभावित वर्गीकरण के लिए बुनियादी सटीकता मैट्रिक्स देख सकते हैं।

यदि पूर्वानुमान निष्पक्ष रूप से अच्छा है तो यह निर्धारित करना अलग बात है। एक विकल्प अंशांकन को देखने का है। उन सभी दिनों में जहां उन्होंने कहा कि बारिश की 90% संभावना होगी, क्या उन दिनों में 90% बारिश हुई? उन सभी दिनों को लें जहां उसके पास पूर्वानुमान है और फिर बारिश की संभावना के अपने अनुमान से उन्हें बाल्टी दें। प्रत्येक बाल्टी के लिए, उन दिनों के प्रतिशत की गणना करें जहां वास्तव में बारिश हुई थी। फिर प्रत्येक बाल्टी में बारिश की संभावना के लिए उसके अनुमान के खिलाफ बारिश की वास्तविक संभावना की साजिश है। यदि पूर्वानुमान अच्छी तरह से कैलिब्रेटेड है तो प्लॉट एक सीधी रेखा की तरह दिखेगा।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.