पैनल / अनुदैर्ध्य डेटा के लिए भविष्यवाणी मूल्यांकन मीट्रिक

मैं कई अलग-अलग मॉडलों का मूल्यांकन करना चाहता हूं जो मासिक स्तर पर व्यवहार की भविष्यवाणी प्रदान करते हैं। डेटा संतुलित है, और 100,000 और 12. परिणाम किसी दिए गए महीने में एक संगीत कार्यक्रम में भाग ले रहा है, इसलिए यह किसी भी महीने में ~ 80% लोगों के लिए शून्य है, लेकिन भारी उपयोगकर्ताओं की एक लंबी सही पूंछ है। जिन पूर्वानुमानों के बारे में मुझे नहीं लगता है, वे परिणाम की प्रकृति का सम्मान करते हैं: भिन्नात्मक संगीत प्रचलित हैं। $n=$ $T=$

मैं मॉडल के बारे में कुछ नहीं जानता। मैं केवल प्रति माह प्रत्येक व्यक्ति के लिए 6 अलग-अलग ब्लैक-बॉक्स भविष्यवाणियों । मेरे पास डेटा का एक अतिरिक्त वर्ष है जो मॉडल बिल्डरों के पास अनुमान के लिए नहीं था (हालांकि कॉन्सर्ट-गोअर एक समान रहते हैं), और मैं गेज करना चाहूंगा जहां प्रत्येक अच्छा प्रदर्शन करता है (सटीकता और परिशुद्धता के मामले में)। उदाहरण के लिए, क्या कोई मॉडल अक्सर कंसर्ट करने वालों के लिए अच्छी तरह से भविष्यवाणी करता है, लेकिन सोफे आलू के लिए असफल हो जाता है? क्या जनवरी के लिए भविष्यवाणी दिसंबर के लिए भविष्यवाणी से बेहतर है? वैकल्पिक रूप से, यह जानना अच्छा होगा कि भविष्यवाणियां मुझे वास्तविक के संदर्भ में लोगों को सही ढंग से रैंक करने की अनुमति देती हैं, भले ही सटीक परिमाण पर भरोसा नहीं किया जा सकता हो। $\hat y_1,...,\hat y_6$

मेरा पहला विचार पूर्वानुमान और समय की डमी पर वास्तविक के एक निश्चित प्रभाव प्रतिगमन को चलाने और प्रत्येक मॉडल के लिए आरएमएसई या को देखना था । लेकिन यह इस सवाल का जवाब नहीं देता है कि प्रत्येक मॉडल कहां अच्छा करता है या यदि अंतर महत्वपूर्ण हैं (जब तक कि मैं आरएमएसई बूटस्ट्रैप न करूं)। परिणाम का वितरण भी मुझे इस दृष्टिकोण से चिंतित करता है। $R^2$

मेरा दूसरा विचार परिणाम को 0, 1-3 और 3+ में बिन करना था, और भ्रम मैट्रिक्स की गणना करना था, लेकिन यह समय आयाम की अनदेखी करता है, जब तक कि मैं इनमें से 12 नहीं बनाता। यह भी बहुत मोटे है।

मुझे concordटीजे स्टीचेन और एनजे कॉक्स द्वारा स्टैटा कमांड के बारे में पता है - जिसके पास by()विकल्प है, लेकिन इसके लिए डेटा को वार्षिक योग में ढहाने की आवश्यकता होगी। यह अन्य उपयोगी आंकड़ों के बीच विश्वास अंतराल के साथ लिन के कॉनकॉर्डेंस सहसंबंध सूचकांक की गणना करता है । CCC -1 से 1 तक, 1 पर सही समझौते के साथ है।

वहाँ भी है Harrell ( R. Newson द्वारा के माध्यम से गणना ), जो विकल्प है, लेकिन मुझे यकीन नहीं है कि मुझे पैनल डेटा से निपटने की अनुमति होगी। इससे आपको आत्मविश्वास अंतराल मिलता है। एक निरंतर परिणाम के लिए आरएआरएल वक्र (एयूसी) के तहत हरेल का क्षेत्र सामान्यीकरण है। यह उन सभी जोड़ियों का अनुपात है, जिन्हें इस तरह का आदेश दिया जा सकता है कि उच्च भविष्यवाणी वाले विषय का वास्तव में उच्च परिणाम होता है। तो यादृच्छिक भविष्यवाणियों के लिए पूरी तरह से भेदभाव करने वाले मॉडल के लिए। हरेल की पुस्तक देखें , पृष्ठ ४ ९ ३ $c$ somersdcluster $c=0.5$ $c=1$

आप इस समस्या से कैसे निपटेंगे? क्या आप MAPE जैसे आँकड़ों की गणना करने का सुझाव देंगे जो पूर्वानुमान में आम हैं?

अब तक मिली उपयोगी चीजें:

लिन के कॉनकॉर्डेंस सहसंबंध गुणांक के दोहराया माप संस्करण पर स्लाइड करता है

— दिमित्री वी। मास्टरोव
स्रोत

हमें व्यवहार के बारे में अधिक जानने की आवश्यकता है, क्या यह सामान्य / द्विआधारी / निरंतर मूल्यवान है? क्योंकि यह प्रयोग अनुदैर्ध्य है, क्या आपकी रुचि किसी व्यक्ति में परिणामों के पूर्वानुमान या भविष्यवाणी करने में निहित है? मिश्रित प्रभाव मॉडल का उपयोग अनुमान के लिए किया जाता है, न कि भविष्यवाणी के लिए। वे काम नहीं करते हैं, क्योंकि भविष्यवाणी करने के लिए , आपको यादृच्छिक प्रभाव के अनुमान की आवश्यकता होती है।

— एडम

वास्तविक व्यवहार या तो मायने रखता है या निरंतर है। भविष्यवाणियां सभी निरंतर हैं। मैं देखना चाहता हूं कि व्यक्तिगत स्तर की मासिक भविष्यवाणियां कितनी अच्छी हैं।

— दिमित्री वी। मास्टरोव

उन व्यक्तियों में "व्यक्तिगत स्तर की मासिक भविष्यवाणियां" जिन्हें आपने पिछले डेटा या व्यक्तियों को प्रारंभिक मूल्यांकन में देखा है? IE आप या या या ... कृपया अनुदैर्ध्य से भविष्यवाणी के रूप में स्पष्ट करें एक हाथ से लहराती बात नहीं है।

\hat{Y_{i = 12}} = f (X_{i = 12, 11, \dots, 1}, Y_{i = 11, 10, \dots, 1}

$\widehat{Y_{i=12}} = f(X_{i=12, 11, \cdots, 1}, Y_{i=11, 10, \cdots, 1}$

\hat{Y_{i = I}} = f (X_{i = I, I - 1, \dots, 1}, Y_{i = I - 1, I - 2, \dots, 1}

$\widehat{Y_{i=I}} = f(X_{i=I, I-1, \cdots, 1}, Y_{i=I-1, I-2, \cdots, 1}$

\hat{Y_{i}} = f (X_{i})

$\widehat{Y_{i}} = f(X_{i})$

— एडम

यह उन लोगों का एक नमूना है, जो अनुमान के लिए इस्तेमाल किए गए थे, लेकिन अनुमान खिड़की के बाद की भविष्यवाणी के लिए है। पहले महीने के लिए भविष्यवाणी व्यक्ति के लिए , देखे गए व्यवहार और देखे गए का एक कार्य है :मुझे उम्मीद है कि पहला महीना काफी करीब होगा। दूसरे महीने के लिए (और उसके बाद), यह पिछले महीने की भविष्यवाणी का एक कार्य है और उस महीने के देखे गए : । मैं इस भविष्यवाणी को वास्तविक से अधिक से अधिक मोड़ने की उम्मीद करता हूं। मैं और तुलना करना चाहता हूं ।

i

$i$

{\hat{Y}}_{i, 1} = f (Y_{i, t - 1}, X_{i, t}) .

$\hat Y_{i,1}=f(Y_{i,t-1},X_{i,t}).$

{\hat{Y}}_{i, 2} = f ({\hat{Y}}_{i, 1}, X_{i, 2})

$\hat Y_{i,2}=f(\hat Y_{i,1},X_{i,2})$

Y_{i, t}

$Y_{i,t}$

{\hat{Y}}_{i, t}

$\hat Y_{i,t}$

— दिमित्री वी। मास्टरोव

अनुमान का तात्पर्य पैरामीटर अनुमान से है जो भविष्य कहनेवाला मॉडल के लिए "प्रशिक्षण" का एक हिस्सा हो सकता है, लेकिन मुझे लगता है कि आप कहने का मतलब यह है कि आपका नमूना भविष्य कहनेवाला मॉडल के प्रशिक्षण के लिए उपयोग किया जाता है। आप यहाँ जो कह रहे हैं वह एक सशर्त अर्ध-मार्कोव प्रक्रिया है और पूर्वानुमान में अद्वितीय अनुप्रयोग हैं।

— एडमो

एक अर्ध-मार्कोव पूर्वानुमान की अनुमानित क्षमता का मूल्यांकन करने के लिए, नमूना आकार और अन्य उपलब्ध जानकारी के आधार पर कई तरीके उपलब्ध हैं।

किसी भी पूर्वानुमान / पूर्वानुमान मॉडल का मूल्यांकन करने के लिए, आपके पास क्रॉस सत्यापन (विशेष रूप से छुट्टी-एक-आउट या पुनरावृत्त विभाजन नमूना पार सत्यापन) का विकल्प है, जहां एक मॉडल "प्रशिक्षण" नमूने में अनुमान लगाया गया है और एक "सत्यापन" में मूल्यांकन की गई अनिश्चितता का मॉडल है। नमूना। परिणाम के वितरण के आधार पर, कई उपाय उपलब्ध हैं जिनके द्वारा आप एक मॉडल का चयन कर सकते हैं। मॉडल चयन के लिए सामान्य गैर-पैरामीट्रिक उपायों के लिए, लोग वास्तव में एआईसी और बीआईसी को पसंद करते हैं, खासकर बाद के।

सीसीसी और सी-सांख्यिकी का उपयोग परीक्षणों / assays से बाइनरी क्रॉस-सेक्शनल भविष्यवाणियों का मूल्यांकन करने के लिए किया जाता है, इसलिए यदि आप भविष्यवाणी कर रहे हैं, तो आप कहेंगे, बीएमआई या आईक्यू। वे अंशांकन को मापते हैं (जैसे होस्मेर लेमेशो परीक्षण) और जिसे जोखिम स्तरीकरण क्षमता कहा जाता है। निरंतर परिणामों के लिए कोई सहज संबंध नहीं, कम से कम जहां तक मैं बता सकता हूं।

दूसरी ओर RMSE का उपयोग निरंतर भविष्यवाणियों का मूल्यांकन करने के लिए किया जाता है (जोखिम भविष्यवाणी के मामले को बचाने के लिए जिसमें RMSE को एक बैरियर स्कोर, एक बहुत पुरातन और पदावनत मॉडल मूल्यांकन उपकरण के रूप में संदर्भित किया जाता है)। यह एक उत्कृष्ट उपकरण है और शायद इसका उपयोग हम प्रतिदिन होने वाले पूर्वानुमान मॉडल (मौसम पूर्वानुमान, ऊर्जा रेटिंग, वाहनों पर एमपीजी, आदि) के 80% से ऊपर की जांच करने के लिए करते हैं।

पूर्वानुमान मॉडल के मूल्यांकन के लिए विभाजित नमूना सत्यापन या पुन: नमूनाकरण में एक चेतावनी यह है कि आपको केवल भविष्य के परिणामों में दिलचस्पी हो सकती है जब आपका नमूना आपके पिछले परिणामों की भविष्यवाणी करता है। यह मत करो! यह मॉडल एप्लिकेशन को प्रतिबिंबित नहीं करता है और एक नकारात्मक फैशन में चयन को व्यापक रूप से बोलबाला कर सकता है। सभी उपलब्ध सूचनाओं को रोल करें और भविष्य की भविष्यवाणी करें, सभी उपलब्ध मामलों में अप्रतिबंधित परिणाम।

बहुत ज्यादा किसी भी लागू रैखिक मॉडल की किताब भविष्यवाणी, आरएमएसई और प्रशिक्षण और मान्य मॉडल की बारीकियों को कवर करेगी। एक अच्छी शुरुआत होगी कुटनर, नचेत्सिम, नेटर, ली, डिगल के "टाइम सीरीज़ एनालिसिस", डिगल हेगर्टी ज़ेगर ली की, "लॉन्गिट्यूडिनल डेटा एनालिसिस" और संभावित रूप से हार्लेल की "रिग्रेशन मॉडलिंग स्ट्रेटेजीज़" पर भी विचार करें।

— Adamo
स्रोत

सीसीसी और हैरेल के सी का उपयोग निरंतर परिणामों के साथ किया जा सकता है। सीसीसी में भी दोहराया उपायों का कार्यान्वयन है। प्रश्न में मेरे द्वारा जोड़े गए संदर्भ / लिंक देखें।

— दिमित्री वी। मास्टरोव

कोई बात नहीं। आप वर्गीकरण नहीं कर रहे हैं।

— एडम