एआईसी मूल्य की व्याख्या

Question

एआईसी के विशिष्ट मूल्य जो मैंने लॉजिस्टिक मॉडल के लिए देखे हैं वे हजारों, कम से कम सैकड़ों में हैं। जैसे http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ AIC 727.39 है

जबकि यह हमेशा कहा जाता है कि एआईसी का उपयोग केवल मॉडलों की तुलना करने के लिए किया जाना चाहिए, मैं यह समझना चाहता था कि विशेष एआईसी मूल्य का क्या मतलब है। सूत्र के अनुसार, $AIC= -2 \log(L)+ 2K$

जहां, M = अनुमानक से L = अधिकतम संभावना, K मापदंडों की संख्या है

उपरोक्त उदाहरण में, K = 8

इसलिए, सरल गणित के साथ:

727.9 = -2*log(L)+ 2*8
Hence, 711.39 = -2*log(L)
Hence, log (L)= 711.39/-2 = -355.695
Hence, L = exp(-355.695) = 3.3391E-155

इसलिए, यदि मेरी समझ सही है, तो यह MLE द्वारा डेटा की पहचान किए गए फ़ंक्शन की संभावना है। यह वास्तव में वास्तव में बहुत कम लगता है।

मुझे यहां क्या समझ नहीं आ रहा है?

Comments

यदि हम इसे $$\text{pmf}(\text{observed data}; \text{parameter estimates})$$

— Björn

क्षमा करें, कट-ऑफ मिल गया, अगर हम इसे इस तरह से देखते हैं, तो इससे पता चलता है कि बड़ी संख्या में रिकॉर्ड के साथ वास्तव में मनाया गया डेटा पैरामीटर अनुमानों के लिए इतना संभव नहीं था।

— ब्योर्न

Answer 1

नहीं है के रूप में "विशिष्ट" या सही संभावना नहीं ऐसी बात एक मॉडल के लिए। एआईसी के साथ वही , जो कि कई मापदंडों के लिए दंडित होने वाली नकारात्मक लॉग संभावना है। एआईसी का कम मूल्य "बेहतर" मॉडल का सुझाव देता है, लेकिन यह मॉडल फिट के सापेक्ष माप है। इसका उपयोग मॉडल चयन के लिए किया जाता है, अर्थात यह आपको एक ही डेटासेट पर अनुमानित विभिन्न मॉडलों की तुलना करने की अनुमति देता है ।

जीईपी बॉक्स को याद करते हुए कहा कि "सभी मॉडल गलत हैं, लेकिन कुछ उपयोगी हैं", आप उस मॉडल को खोजने में रुचि नहीं रखते हैं जो आपके डेटा के लिए एकदम सही है क्योंकि यह असंभव है और कई मामलों में ऐसा मॉडल बहुत खराब होगा, एक से अधिक । इसके बजाय, आप सबसे अच्छे की तलाश कर रहे हैं जो आपको मिल सकता है, सबसे उपयोगी है। एआईसी के पीछे सामान्य विचार यह है कि मापदंडों की कम संख्या वाला मॉडल बेहतर है, जो किसी तरह ओकाम के रेजर तर्क के अनुरूप है, कि हम एक जटिल से अधिक सरल मॉडल को पसंद करते हैं।

आप निम्नलिखित कागजात देख सकते हैं:

एंडरसन, डी।, और बर्नहैम, के। (2006)। एआईसी मिथकों और गलतफहमी।

बर्नहैम, केपी, एंडरसन, डीआर (2004)। मल्टीमॉडल इंजेक्शन। मॉडल चयन में AIC और BIC को समझना समाजशास्त्रीय तरीके और अनुसंधान, 33 (2), 261-304।

और वे धागे:

"संभावना" और "संभावना" के बीच अंतर क्या है?

क्या एआईसी या बीआईसी को दूसरे पर पसंद करने का कोई कारण है?

Comments

sites.warnercnr.colostate.edu/anderson/wp-content/uploads/sites/…

— kpierce8

Answer 2

AIC सामान्यीकृत ("छद्म") से संबंधित है $R^2$। मैं संभावना अनुपात पर एआईसी को बताना पसंद करता हूं$\chi^2$ स्केल हालांकि यह पारंपरिक नहीं है, अर्थात, AIC = $\chi^{2} - 2\times$ df सामान्यीकृत एक $R^2$ उपाय है $1 - \exp(-\chi^{2} / n)$। हालांकि हम अभी भी नहीं जानते कि वास्तव में कितना बड़ा है$R^2$ मॉडल को अत्यधिक भेदभाव माना जाना चाहिए, $R^2$ कम से कम इकाई रहित है।

Answer 3

यह वास्तव में वास्तव में बहुत कम लगता है। मुझे यहां क्या समझ नहीं आ रहा है?

एआईसी जैसी मात्राएं, जिसमें लॉग-लाइबिलिटी का उपयोग शामिल है, केवल ऐसी अन्य मात्राओं के सापेक्ष सार्थक हैं । याद रखें कि संभावना फ़ंक्शन को केवल स्केलिंग स्थिरांक तक ही परिभाषित किया जाता है, इसलिए इसे इच्छानुसार ऊपर या नीचे बढ़ाया जा सकता है। नतीजतन, लॉग-लाइबिलिटी केवल एक स्थान स्थिर तक परिभाषित की जाती है, और इसे इच्छानुसार ऊपर या नीचे स्थानांतरित किया जा सकता है। यह एआईसी के लिए भी है, क्योंकि यह मात्रा केवल लॉग-लाइबिलिटी है, मापदंडों की संख्या पर एक दंड द्वारा स्थानांतरित किया गया है। यही कारण है कि यह कहा जाता है कि एआईसी का उपयोग केवल मॉडलों की तुलना करने के लिए किया जाना चाहिए।

कंप्यूटर रूटीन में संभावना फ़ंक्शन को आमतौर पर अनावश्यक घनत्वों को हटाने के बिना नमूना घनत्व से सीधे परिभाषित किया जाता है, इसलिए इस मामले में स्केलिंग मुद्दा एक कारक नहीं हो सकता है। जिस आर ब्लॉगर पोस्ट में आप लिंक करते हैं, वहाँ थे$n=800$लॉजिस्टिक रिग्रेशन में उपयोग किया जाने वाला डेटा पॉइंट। आपके द्वारा दिए गए नंबरों से लॉग-लाइबिलिटी है:

$$\hat{\ell} = (727.9-2 \times 8)/(-2) = -355.95.$$

इस प्रकार, डेटा बिंदु के अनुसार औसत लॉग-लिबिलिटी है $\hat{\ell}/n = -0.4449375$, जो की संभावना मूल्य से मेल खाती है $0.6408643$एकल डेटा बिंदु के लिए। यह विशेष रूप से कम नहीं है, और किसी भी अलार्म के लिए कारण नहीं होना चाहिए।

Answer 4

आपने सही ढंग से इंगित किया है कि यदि आप संभावना की गणना करते हैं, तो आर द्वारा रिपोर्ट किए गए एआईसी का उपयोग करके, आप हास्यास्पद रूप से कम संभावनाएं प्राप्त करते हैं। कारण यह है कि आर द्वारा सूचित एआईसी का मूल्य (इसे एआईसीआरईपी कहते हैं) सही एआईसी (एआईसीट्रू) नहीं है। AICrep और AICtrue एक निरंतरता से भिन्न होते हैं जो मापा डेटा पर निर्भर करता है लेकिन जो चुने गए मॉडल से स्वतंत्र है। इसलिए AICrep से बैक-कैलकुलेट होने की संभावना गलत होगी। यह एआईसीएस में अंतर है, जब एक ही डेटा को फिट करने के लिए विभिन्न मॉडलों का उपयोग किया जाता है, जो कि सर्वश्रेष्ठ मॉडल का चयन करने में उपयोगी होते हैं।