AIC मॉडल तुलना के लिए आवश्यक शर्तें

Question

वास्तव में पूर्वापेक्षाएँ क्या हैं, जिन्हें काम की तुलना में एआईसी मॉडल के लिए पूरा करने की आवश्यकता है?

मैं इस सवाल के आसपास आया जब मैंने इस तरह की तुलना की:

> uu0 = lm(log(usili) ~ rok)
> uu1 = lm(usili ~ rok)
> AIC(uu0)
[1] 3192.14
> AIC(uu1)
[1] 14277.29

इस तरह मैंने logपरिवर्तनशील परिवर्तन को उचित ठहराया usili। लेकिन मुझे नहीं पता कि क्या मैं AIC- मॉडल की तुलना कर सकता हूं जब उदाहरण के लिए निर्भर चर अलग है?

आदर्श उत्तर में पूर्वापेक्षाओं (गणितीय मान्यताओं) की सूची शामिल होगी।

Answer 1

आप दो मॉडलों की तुलना नहीं कर सकते क्योंकि वे एक ही चर को मॉडल नहीं करते हैं (जैसा कि आप अपने आप को सही ढंग से पहचानते हैं)। फिर भी एआईसी को नेस्टेड और नॉनस्टेड दोनों मॉडलों की तुलना करते समय काम करना चाहिए।

बस जारी रखने से पहले एक अनुस्मारक: एक गाऊसी लॉग-संभावना द्वारा दिया जाता है

$$\log(L(\theta)) =-\frac{|D|}{2}\log(2\pi) -\frac{1}{2} \log(|K|) -\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu),$$

अपने मॉडल की सहसंयोजक संरचना होने के नाते, | डी | अपने डेटासेट में अंकों की संख्या, μ मतलब प्रतिक्रिया और x अपने आश्रित चर।$K$$|D|$$\mu$$x$

अधिक विशेष रूप से AIC की गणना बराबर की जाती है , जहाँ k आपके मॉडल में निश्चित प्रभावों की संख्या है और L आपके संभावना कार्य [1] है। यह व्यावहारिक रूप से आपकी मॉडलिंग मान्यताओं में विचरण ( 2 k ) और पूर्वाग्रह ( 2 log ( L ) ) के बीच व्यापार-बंद की तुलना करता है । जैसा कि आपके मामले में यह दो अलग-अलग लॉग-इन संरचना संरचनाओं की तुलना करेगा जब यह पूर्वाग्रह शब्द के लिए आया था। ऐसा इसलिए है क्योंकि जब आप अपने लॉग-लाइक की गणना व्यावहारिक रूप से करते हैं, तो आप दो शब्दों को देखते हैं: एक फिट शब्द, जिसे - 1 से दर्शाया जाता है$2k - 2 \log(L)$$k$$L$$2k$$2\log(L)$, और एक जटिलता दंड शब्द,-1द्वारा निरूपित किया गया$-\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu)$। इसलिए आप देखते हैं कि आपका फिट शब्द दो मॉडलों के बीच पूरी तरह से अलग है; पहले मामले में आप कच्चे डेटा से अवशेषों की तुलना करते हैं और दूसरे मामले में लॉग डेटा के अवशेष।$-\frac{1}{2} \log(|K|)$

विकिपीडिया के अलावा, AIC को भी समान करने के लिए परिभाषित किया गया है: [3]; यह फ़ॉर्म यह और भी स्पष्ट करता है कि अलग-अलग निर्भर चर वाले विभिन्न मॉडल तुलनात्मक क्यों नहीं हैं। आरएसएस दो मामला है दोनों के बीच बस अतुलनीय है।$|D| \log\left(\frac{RSS}{|D|}\right) + 2k$

आकाइक का मूल पेपर [4] वास्तव में समझ से काफी कठिन है (मुझे लगता है)। यह केएल डाइवर्जेंस (लगभग दो वितरणों के बीच अंतर) पर आधारित है और यह साबित करने पर अपना काम करता है कि आप अपने डेटा के अज्ञात सच्चे वितरण को कैसे अनुमानित कर सकते हैं और तुलना करें कि डेटा के वितरण के लिए आपका मॉडल मानता है। इसलिए "छोटे एआईसी स्कोर बेहतर है" ; आप अपने डेटा के अनुमानित सच्चे वितरण के करीब हैं।

तो एआईसी का उपयोग करते समय याद रखने योग्य सभी चीजों को एक साथ लाना तीन [2,5] हैं:

1. आप इसका उपयोग विभिन्न डेटा सेट के मॉडल की तुलना करने के लिए नहीं कर सकते हैं।

2. आपको सभी उम्मीदवार मॉडल के लिए एक ही प्रतिक्रिया चर का उपयोग करना चाहिए।

3. आपके पास होना चाहिए , क्योंकि अन्यथा आप अच्छा asymptotic स्थिरता नहीं मिलता है।$|D| >> k$

आपके लिए बुरी खबर को तोड़ने के लिए क्षमा करें, लेकिन एआईसी का उपयोग करके यह दिखाने के लिए कि आप एक पर निर्भर आश्रित चर का चयन कर रहे हैं, ऐसा करना कोई सांख्यिकीय ध्वनि नहीं है। दोनों मॉडलों में अपने अवशेषों के वितरण की जांच करें, यदि लॉग डेटा मामले ने सामान्य रूप से अवशेषों को वितरित किया है और कच्चे डेटा का मामला नहीं है, तो आपके पास सभी औचित्य हैं जिनकी आपको कभी आवश्यकता हो सकती है। आप यह भी जांचना चाहते हैं कि क्या आपका कच्चा डेटा एक लॉगऑनॉर्मल के अनुरूप है, जो एक औचित्य के लिए पर्याप्त हो सकता है।

सख्त गणितीय मान्यताओं के लिए खेल केएल विचलन और सूचना सिद्धांत है ...

आह, और कुछ संदर्भ:

1. http://en.wikipedia.org/wiki/Akaike_information_criterion
2. एकाइक सूचना मानदंड, शुहुआ हू, (प्रस्तुति p.17-18)
3. एप्लाइड मल्टीवीरेट स्टैटिस्टिकल एनालिसिस, जॉनसन एंड विचर्न, 6 वां एड। (पृष्ठ ३ 38६-३)))
4. सांख्यिकीय मॉडल पहचान, H. Akaike, IEEE Transactions on Automatic Control 19 (6): 716–723 (1974) पर एक नया रूप
5. मॉडल चयन ट्यूटोरियल # 1: एकैके की सूचना मानदंड, डी। श्मिट और ई। मकालिक, (प्रस्तुति 3.3)

Comments

धन्यवाद! मुझे गणित समझ में नहीं आया लेकिन मुझे संदेश का मूल मिला। हालाँकि, क्या आप AIC मॉडल की तुलना के लिए आवश्यक सभी आवश्यक शर्तें सूचीबद्ध कर सकते हैं? सिर्फ यह सुनिश्चित करने के लिए कि मैं अगली बार एक और गलती नहीं करूंगा। मैं जाऊंगा और एक-एक करके उनकी जांच करूंगा।

— उत्सुक

$|D|$$p$$L(\theta)$$\theta$$p(x|\theta)$

— us --r11852

उत्तर के लिए उन 3 मान्यताओं की सूची जोड़ने के लिए धन्यवाद! यही मुझे चाहिए था।

— जिज्ञासु

आपके उत्तर को फिर से देखते हुए: आपकी बात 1. "आप विभिन्न डेटा सेट के मॉडल की तुलना करने के लिए इसका उपयोग नहीं कर सकते हैं" । "डेटा सेट" से आपका क्या मतलब है? अगर मैं आश्रित चर के सेट को बदल दूं तो क्या होगा? मुझे लगता है कि उस मामले में एआईसी अभी भी तुलनीय होना चाहिए? क्या आप इसे स्पष्ट करने के लिए अपने उत्तर को अपडेट कर सकते हैं?

— जिज्ञासु

$RSS$$\mu$$x$

Answer 2

uu0$\prod_i y_i^{-1}$$2\sum_i\log (y_i)$uu0AIC (uu0)+2*sum (log (usili)) तुलनाAIC (uu1)

Comments

मुझे समझ नहीं आ रहा है कि आप AIC को किसी भी तरह "सही" करने के अपने प्रयास का पालन करें और आपको वास्तव में इसके द्वारा क्या मिला (अपने परिणाम की व्याख्या कैसे करें)। वैसे भी, इस पर ध्यान न दें, इससे कोई फर्क नहीं पड़ता क्योंकि मेरा सवाल पूरी तरह से कुछ अलग था: एआईसी (वास्तविक, बिना सोचे समझे) के लिए सामान्य पूर्वापेक्षाएँ समझदारी से तुलना करने योग्य हैं। इस विशेष उदाहरण पर ध्यान केंद्रित न करें, यह सामान्य बात का एक उदाहरण है।

— उत्सुक

$-2\log (p (y|\theta))$$x=g (y)$$x=log (y)$ )। एआईसी का उपयोग करते समय आपको इस परिवर्तन के जकोबियन के लिए ध्यान देना होगा। AIC()आप जिस फ़ंक्शन का उपयोग कर रहे हैं, उसका कोई हिसाब नहीं है।

@probabilityislogic: क्या आपके पास अपने सुझाव (AIC (uu0) + 2 * योग (लॉग (usili)) के लिए कोई अकादमिक संदर्भ हैं ताकि मैं उन्हें अकादमिक लेखन में उद्धृत कर सकूं? धन्यवाद।

— कूज

Answer 3

1978 का यह अंश @probabilityislogic द्वारा समाधान के समर्थन में प्रशस्ति पत्र प्रदान करता है।

एकाइक, एच। 1978. ऑन द लाइकलीहुड ऑफ़ ए टाइम सीरीज़ मॉडल। रॉयल स्टैटिस्टिकल सोसाइटी का जर्नल। सीरीज़ डी (द स्टैटिस्टिशियन) 27: 217-235।

Comments

क्षमा करें, मुझे समझ नहीं आ रहा है कि "परिवर्तनशील परिवर्तन" क्या है और यह मेरे प्रश्न से कैसे संबंधित है। कृपया समझाएं, धन्यवाद

— जिज्ञासु