पॉइज़न मॉडल को पार करने के लिए त्रुटि मैट्रिक्स

मैं एक मॉडल की पुष्टि करने के लिए पार कर रहा हूं जो एक गिनती की भविष्यवाणी करने की कोशिश कर रहा है। यदि यह एक द्विआधारी वर्गीकरण समस्या थी, तो मैं आउट-ऑफ-फोल्ड एयूसी की गणना करूंगा, और यदि यह एक प्रतिगमन समस्या थी, तो मैं आरएमएसई या एमएई की गणना करूंगा।

एक पॉइसन मॉडल के लिए, मैं आउट-ऑफ-सैंपल भविष्यवाणियों की "सटीकता" का मूल्यांकन करने के लिए किस त्रुटि मीट्रिक का उपयोग कर सकता हूं? क्या एयूसी का पोइसन एक्सटेंशन है जो यह देखता है कि भविष्यवाणियां वास्तविक मूल्यों को कितनी अच्छी तरह से आदेश देती हैं?

ऐसा लगता है कि काउंट्स के लिए कागले की बहुत सारी प्रतियोगिताओं (उदाहरण के लिए एक येल्प रिव्यू की संख्या में उपयोगी वोट मिलेंगे, या एक मरीज अस्पताल में कितने दिन बिताएंगे) रूट माध्य लॉग स्क्वेर्ड एरर या आरएमएलएसई का उपयोग करें।

/ संपादित करें: एक चीज जो मैं कर रहा हूं, वह अनुमानित मूल्यों के डिकाइल्स की गणना कर रहा है, और फिर वास्तविक गणनाओं को देख रहा है, जो कि डिकाइल से द्विपादित है। यदि डिकाइल 1 कम है, तो डिकाइल 10 उच्च है, और बीच में डिकाइल सख्ती से बढ़ रहे हैं, मैं मॉडल को "अच्छा" कह रहा हूं, लेकिन मुझे इस प्रक्रिया को निर्धारित करने में परेशानी हो रही है, और मुझे यकीन है कि एक बेहतर है दृष्टिकोण।

/ संपादित 2: मैं एक ऐसे फॉर्मूले की तलाश कर रहा हूं, जो अनुमानित और वास्तविक मूल्यों को लेता है और कुछ "त्रुटि" या "सटीकता" मीट्रिक लौटाता है। मेरी योजना क्रॉस-सत्यापन के दौरान आउट-ऑफ-द-फोल्ड डेटा पर इस फ़ंक्शन की गणना करने के लिए है, और फिर इसे विभिन्न प्रकार के मॉडल (उदाहरण के लिए एक पॉइसन रिग्रेशन, एक यादृच्छिक वन और एक जीबीएम ) की तुलना करने के लिए उपयोग करें ।

उदाहरण के लिए, ऐसा एक फ़ंक्शन है RMSE = sqrt(mean((predicted-actual)^2))। इस तरह का एक अन्य समारोह एयूसी होगा । पॉइज़न डेटा के लिए न तो फ़ंक्शन सही लगता है।

— ज़ैक
स्रोत

पॉइसन मॉडल के लिए आप डिविज़न का उपयोग कर सकते हैं; जो एक MSE के समान है, लेकिन एक पॉइसन के लिए बेहतर है। यदि आप नमूनों का आकार छोटा नहीं हैं, तो एक भारित MSE काफी समान होगा।

— Glen_b -Reinstate Monica

@Glen_b विचलन का सूत्र क्या है?

— Zach

दीवानगी । आप अपने पॉसन मॉडल को कैसे फिट कर रहे हैं?

— Glen_b -Reinstate मोनिका

अलग-अलग तरीकों के एक जोड़े, एक दंडित पॉज़िशन प्रतिगमन से लेकर एक जीबीएम तक। मैं विभिन्न मॉडलों की तुलना करने के लिए एक अच्छी त्रुटि मीट्रिक की तलाश कर रहा हूं। सलाह के लिए धन्यवाद।

— Zach

कम से कम Poisson प्रतिगमन आपको स्वतः ही एक विचलन प्रदान करना चाहिए

— Glen_b -Reinstate Monica

गिनती डेटा के लिए उचित और कड़ाई से उचित स्कोरिंग नियम हैं जिनका आप उपयोग कर सकते हैं। स्कोरिंग नियम दंड हैं के साथ पेश किया भविष्य कहनेवाला वितरण और किया जा रहा है मनाया मूल्य। उनके पास कई वांछनीय गुण हैं, पहला और सबसे महत्वपूर्ण यह है कि एक पूर्वानुमान जो वास्तविक संभावना के करीब है, उसे हमेशा कम दंड मिलेगा और एक (अद्वितीय) सबसे अच्छा पूर्वानुमान है और एक वह है जब भविष्यवाणी की गई संभावना सही संभावना के साथ मेल खाती है। इस प्रकार की अपेक्षा को कम करने का अर्थ है सच्ची संभावनाओं की रिपोर्टिंग करना। विकिपीडिया भी देखें । $s(y,P)$ $P$ $y$ $s(y,P)$

अक्सर सभी के रूप में सभी अनुमानित मूल्यों पर औसत लेते हैं

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

कौन सा नियम लेना है यह आपके उद्देश्य पर निर्भर करता है, लेकिन जब कोई उपयोग किया जाना अच्छा हो तो मैं एक मोटा लक्षण वर्णन दूंगा।

क्या इस प्रकार में मैं का उपयोग भविष्य कहनेवाला संभावना बड़े पैमाने पर समारोह के लिए और भविष्य कहनेवाला संचयी बंटन फ़ंक्शन। A काउंट डिस्ट्रीब्यूशन (यानी, ) के पूरे समर्थन पर चलता है । एक संकेतक फ़ंक्शन को दर्शाता है। और भविष्य कहनेवाला वितरण के माध्य और मानक विचलन हैं (जो आमतौर पर गणना डेटा मॉडल में सीधे अनुमानित मात्रा में होते हैं)। $f(y)$ $\Pr(Y=y)$ $F(y)$ $\sum_k$ $0,1,\dots, \infty$ $I$ $\mu$ $\sigma$

कड़ाई से उचित स्कोरिंग नियम

बैरियर स्कोर : (श्रेणीबद्ध भविष्यवक्ताओं में आकार असंतुलन के लिए स्थिर) $s(y,P)=-2 f(y) + \sum_k f^2(k)$
दाविद-सेबस्टियानी स्कोर : (सामान्य भविष्य कहनेवाला मॉडल की पसंद के लिए अच्छा; श्रेणीबद्ध भविष्यवाणियों में आकार असंतुलन के लिए स्थिर) $s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
डीवियनस स्कोर : ( एक सामान्यीकरण शब्द है जो केवल पर निर्भर करता है , मॉडल में इसे आमतौर पर संतृप्त अवतरण के रूप में लिया जाता है; एक एमएल ढांचा) $s(y,P)=-2\log f(y) + g_y$ $g_y$ $y$
लघुगणक स्कोर : (बहुत आसानी से गणना की जाती है; श्रेणीबद्ध भविष्यवक्ताओं में आकार असंतुलन के लिए स्थिर) $s(y,P)=-\log f(y)$
रैंक किए गए प्रायिकता स्कोर : (बहुत उच्च गणनाओं की विभिन्न भविष्यवाणियों के विपरीत के लिए अच्छा; श्रेणीबद्ध भविष्यवक्ताओं में आकार असंतुलन के लिए अतिसंवेदनशील) $s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
गोलाकार स्कोर : (श्रेणीबद्ध भविष्यवक्ताओं में आकार असंतुलन के लिए स्थिर) $s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

अन्य स्कोरिंग नियम (इतना उचित नहीं है लेकिन अक्सर उपयोग किया जाता है)

पूर्ण त्रुटि स्कोर :(उचित नहीं है) $s(y,P)=|y-\mu|$
चुकता त्रुटि स्कोर : (कड़ाई से उचित नहीं; आउटलेर्स के लिए अतिसंवेदनशील, श्रेणीबद्ध भविष्यवक्ताओं में असंतुलन को आकार देने के लिए अतिसंवेदनशील) $s(y,P)=(y-\mu)^2$
पियर्सन सामान्यीकृत चुकता त्रुटि स्कोर : (कड़ाई से उचित नहीं; आउटलेर्स के लिए अतिसंवेदनशील; यदि जाँच की जा सकती है कि क्या औसत स्कोर है या नहीं? 1 से बहुत अलग है; श्रेणीबद्ध भविष्यवक्ताओं में आकार असंतुलन के लिए स्थिर) $s(y,P)=(\frac{y-\mu}{\sigma})^2$

कड़ाई से उचित नियमों के लिए उदाहरण R कोड:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)

— मोमो
स्रोत

@ मैमो, यह एक पुराना धागा है लेकिन बहुत अच्छा और उपयोगी है। हालांकि लघुगणक स्कोर के बारे में प्रश्न। आपने फंक्शन किया -log(f(y))। क्या -हस्ताक्षर वास्तव में होना चाहिए? आपके स्कोरिंग नियम में विकिपीडिया लिंक ( en.wikipedia.org/wiki/Scoring_rule#Logarithmic_scoring_rule ), लघु संकेत के रूप में लघु संकेत: L(r,i)=ln(ri)क्या यह सामान्य है? अंत में, उस मामले में एक उच्च स्कोर बेहतर या सबसे खराब है?

— बैस्टियन

क्या इन आंकड़ों की गणना के लिए इन आंकड़ों की गणना करना बेहतर (या कम से कम अधिक रूढ़िवादी और अधिक यथार्थवादी) है जो मॉडल का अनुमान लगाने के लिए उपयोग किए गए डेटा का हिस्सा नहीं था?

— फ्रेड

यह देखते हुए कि bwlewis.github.io/GLM के रूप में GLM इसमें पुनरावृत्त कम से कम वर्गों का उपयोग करते हुए फिट हैं, वास्तव में GLM लिंक स्केल पर भारित R2 की गणना करने में क्या आपत्ति होगी, जो 1 / variance वजन का उपयोग करके वजन (जो glm वापस देता है) स्लॉट में एक चमक फिट में वजन)? यह भी एक Poisson glm के लिए सही काम करेगा?

— टॉम वेन्सलेर्स

एक प्रतिलिपि प्रस्तुत करने योग्य उदाहरण के लिए आँकड़े .stackexchange.com/questions/412580/ … देखें ...

— टॉम वेन्सलेर्स