एआईसी का उपयोग करके मॉडल चयन को लागू करना मुझे चर के लिए गैर-महत्वपूर्ण पी-मान क्यों देता है

Question

मेरे पास एआईसी के बारे में कुछ सवाल हैं और आशा है कि आप मेरी मदद कर सकते हैं। मैंने अपने डेटा पर AIC के आधार पर मॉडल चयन (पिछड़ा, या आगे) लागू किया। और कुछ चयनित चर एक p-मान> 0.05 के साथ समाप्त हो गए। मुझे पता है कि लोग कह रहे हैं कि हमें पी-मूल्य के बजाय एआईसी के आधार पर मॉडल का चयन करना चाहिए, इसलिए ऐसा लगता है कि एआईसी और पी-मूल्य दो अंतर अवधारणाएं हैं। क्या कोई मुझे बता सकता है कि अंतर क्या है? अब तक जो मैं समझता हूं वह यह है:

1. एआईसी का उपयोग करके पिछड़े चयन के लिए, मान लें कि हमारे पास 3 चर (var1, var2, var3) हैं और इस मॉडल का AIC AIC * है। यदि इन तीनों में से किसी एक को छोड़कर AIC के साथ समाप्त नहीं होगा जो AIC * (df = 1 के साथ ch-square वितरण के संदर्भ में) की तुलना में काफी कम है, तो हम कहेंगे कि ये तीन चर अंतिम परिणाम हैं।

2. तीन चर मॉडल में एक चर (उदाहरण के लिए var1) के लिए एक महत्वपूर्ण पी-मूल्य का मतलब है कि उस चर का मानकीकृत प्रभाव आकार 0 (वाल्ड या टी-टेस्ट के अनुसार) से काफी भिन्न है।

इन दोनों विधियों में मूलभूत अंतर क्या है? यदि मेरे सबसे अच्छे मॉडल (एआईसी के माध्यम से प्राप्त) में गैर-महत्वपूर्ण पी-मान वाले कुछ चर हैं तो मैं इसकी व्याख्या कैसे करूं?

Answer 1

एआईसी और इसके वेरिएंट पर भिन्नता के करीब हैं और फिर प्रत्येक प्रतिगामी के पी-मूल्यों पर। अधिक सटीक रूप से, वे लॉग-लाइबिलिटी के दंडित संस्करण हैं।$R^2$

आप ची-वर्ग का उपयोग करके एआईसी के मतभेदों का परीक्षण नहीं करना चाहते हैं। आप ची-वर्ग (यदि मॉडल नेस्टेड हैं) का उपयोग करके लॉग-लाइक के अंतर का परीक्षण कर सकते हैं। एआईसी के लिए, कम बेहतर है (इसके अधिकांश कार्यान्वयन में, वैसे भी)। अब और समायोजन की जरूरत नहीं है।

आप वास्तव में स्वचालित मॉडल चयन विधियों से बचना चाहते हैं, यदि आप संभवतः कर सकते हैं। यदि आपको एक का उपयोग करना चाहिए, तो LASSO या LAR का उपयोग करें।

Comments

जवाब के लिए धन्यवाद। हाँ आप सही है। एआईसी किसी भी परीक्षण को लागू नहीं करता है, इसके बजाय, यह एक सरल माप देता है कि मॉडल कितना अच्छा नमूना फिट बैठता है और क्या मॉडल को 2 * नंबर_ऑफ_पैरामीटर के साथ -2 * लॉक्लीकैलिहाइड जोड़कर सरल रखा जा सकता है। शायद यह बताता है कि चयनित मॉडल में गैर-महत्वपूर्ण पी-मान वाले चर क्यों रखे गए थे?

— tiantianchen

यदि हमें लगभग समान एआईसी के साथ दो मॉडल हैं, तो हमें कौन सा मॉडल चुनना चाहिए, लेकिन एक में हमारे पास अन्य की तुलना में अधिक महत्वपूर्ण शब्द हैं?

— अगुस कैमाचो

जिसे चाहो

— पीटर Flom - को पुनः स्थापित मोनिका

Answer 2

वास्तव में सिंगल-चर-ए-ए-टाइम स्टेप वाइज चयन के लिए AIC का उपयोग करना (कम से कम asymptotically) लगभग 15.7% के पी-मानों के लिए कट-ऑफ का उपयोग करके स्टेप वाइज चयन के बराबर है। (यह दिखाने के लिए काफी सरल है - बड़े मॉडल के लिए एआईसी छोटा होगा यदि यह 2 के अतिरिक्त पैरामीटर के लिए जुर्माना की तुलना में लॉग-लाइबिलिटी को कम कर देता है; यह बड़े मॉडल को चुनने से मेल खाता है यदि पी में मान Wald chi-square से 2 के पार क्षेत्र की तुलना में छोटा है ... जो कि 15.7% है)$\chi^2_1$

यदि पी-मानों के लिए कुछ छोटे कटऑफ का उपयोग करने के साथ तुलना करें तो यह शायद ही आश्चर्य की बात है कि कभी-कभी इसमें इस कटऑफ की तुलना में उच्च पी-मान वाले चर शामिल होते हैं।

Comments

क्या आप मुझे वाल-ची-स्क्वायर के माध्यम से एआईसी और पी-मूल्यों के बीच संबंध के लिए एक यूआरएल या संदर्भ दे सकते हैं? धन्यवाद।

— meh

यह महत्वपूर्ण मूल्य के रूप में 2 के मूल्य का उपयोग करके दिखाना आसान है, जो 15.73% के पी-मूल्य सीमा से मेल खाता है (जब परीक्षण की स्वतंत्रता की डिग्री 1 है, जैसा कि रैखिक प्रतिगमन का उपयोग करके चरणबद्ध चयन में मामला है मॉडल और निरंतर चर)। यह 1-chi2cdf (2,1) के रूप में गणना की जा सकती है।

— जॉर्ज

@aginensky वास्तविक संदर्भ नहीं देखा है, हालांकि कनेक्शन सीधा है। मुझे लगता है कि मैं एक गूगल कर सकते हैं, पर लटका।

— Glen_b -Reinstate Monica

@aginensky लिंडसे, जेके और जोन्स, बी (1998) चिकित्सा डेटा के लिए लागू सामान्यीकृत रैखिक मॉडल के बीच चयन। चिकित्सा में सांख्यिकी , 17, 59-68। ... पेज 62 के बीच में देखें। और भी बहुत कुछ होगा।

— Glen_b -Reinstate Monica

@ Glen_b- धन्यवाद, मैंने पहले कभी ऐसा कुछ नहीं देखा था।

— मेहर

Answer 3

ध्यान दें कि न तो पी-वैल्यू या एआईसी को स्टेप वाइज मॉडल चयन के लिए डिज़ाइन किया गया था, वास्तव में दोनों स्टेपवाइज रिग्रेशन में पहले चरण के बाद दोनों (लेकिन अलग-अलग मान्यताओं) की अंतर्निहित धारणाओं का उल्लंघन किया जाता है। जैसा कि @PeterFlom ने उल्लेख किया है, LASSO और / या LAR बेहतर विकल्प हैं यदि आप स्वचालित मॉडल चयन की आवश्यकता महसूस करते हैं। वे विधियां उन अनुमानों को खींचती हैं जो संयोग से बड़े होते हैं (जो मौका के लिए स्टेपवाइज रिवार्ड) 0 की ओर वापस आते हैं और इसलिए स्टेप वाइज की तुलना में कम पक्षपाती होते हैं (और शेष पूर्वाग्रह अधिक रूढ़िवादी हो जाते हैं)।

एआईसी के साथ एक बड़ा मुद्दा जिसे अक्सर अनदेखा किया गया है वह एआईसी के मूल्यों में अंतर का आकार है, यह "कम बेहतर है" देखने के लिए सभी के लिए आम है और वहां रुकना (और स्वचालित कार्यवाहियां सिर्फ इस पर जोर देती हैं)। यदि आप 2 मॉडल की तुलना कर रहे हैं और उनके पास बहुत भिन्न एआईसी मान हैं, तो निम्न एआईसी के साथ मॉडल के लिए एक स्पष्ट प्राथमिकता है, लेकिन अक्सर हमारे पास एआईसी के मान वाले 2 (या अधिक) मॉडल होंगे जो एक दूसरे के करीब हैं, इस मामले में केवल सबसे कम एआईसी मूल्य वाले मॉडल का उपयोग करने से बहुमूल्य जानकारी (और उन शर्तों के बारे में चीजों का अनुमान लगाना छूट जाएगा जो इस मॉडल में हैं या नहीं, लेकिन अन्य समान मॉडल में भिन्न अर्थहीन या बदतर होंगे)। डेटा के बाहर की जानकारी से ही (जैसे कि यह कितना मुश्किल / महंगा है) यह भविष्यवाणियों के सेट को इकट्ठा करने के लिए है) गुणवत्ता में बहुत अधिक नुकसान के बिना उपयोग करने के लिए थोड़ा अधिक एआईसी अधिक वांछनीय के साथ एक मॉडल बना सकता है। एक अन्य दृष्टिकोण समान मॉडलों के भारित औसत का उपयोग करना है (यह संभवतः रिज प्रतिगमन या लासो जैसे दंडित तरीकों के समान अंतिम भविष्यवाणियों का परिणाम देगा, लेकिन मॉडल के लिए अग्रणी प्रक्रिया विचार को समझने में सहायता कर सकती है)।

Comments

शुक्रिया @GregSnow आपके जवाब के लिए। क्या मैं पूछ सकता हूं कि पी-मूल्य और एआईसी आधारित मॉडल चयन के लिए (अलग) धारणाएं क्या हैं? एक द्वि-दिशा (आगे / पिछड़े) को लागू करने या एक पूर्ण उपसमुच्चय की कोशिश करने से कम या ज्यादा आगे या पीछे के कदम के चयन का उपयोग करके स्थानीय इष्टतम मॉडल खोजने की समस्या हल हो जाएगी? (हालांकि ओवरफिटिंग की समस्या हमेशा एआईसी / पी-वैल्यू मेथड में मौजूद रहती है और LASSO और / या LAR एक बेहतर विकल्प है)

— tiantianchen

चूंकि न तो पी-मान या एआईसी को मॉडल चयन के लिए डिज़ाइन किया गया था, इसलिए उनके पास मॉडल चयन के लिए मान्यता नहीं है। दोनों को एक एकल तुलना करने के लिए डिज़ाइन किया गया था, इस बारे में सोचें कि एक स्टेपवाइज़ रिग्रेशन में कितनी तुलनाएँ होती हैं, क्या आप वास्तव में सोचते हैं कि "सर्वश्रेष्ठ" कदम हर बार लिया जाता है?

— ग्रेग स्नो

@GregSnow AIC सीखने का मेरा संदर्भ यह था - stat.cmu.edu/~larry/=stat705/Lecture16.pdf जो मॉडल चयन व्यवसाय में AIC को लगाता है । इसके अलावा, जब मैंने एआईसी को समय श्रृंखला के अरिमा मॉडल में उपयोग किया है तो इसे हमेशा मॉडल चयन के लिए उपयोग किया जाता है।

— meh

@ चयन के लिए @aginensky, Yes, AIC (और अन्य) का उपयोग किया जाता है। यह नहीं बताया गया है कि AIC मॉडल चयन के लिए नामित था, या यह कि यह मॉडल चयन के लिए भी उपयुक्त है, या यह कि स्वचालित मॉडल चयन एक सार्थक प्रश्न का उत्तर देता है। मैंने पहले एक हथौड़ा के रूप में एक पेचकश का उपयोग किया है, इसका मतलब यह नहीं है कि यह सामान्य रूप से एक अच्छा विचार है।

— ग्रेग स्नो

"यह पेपर बताता है कि कैसे सांख्यिकीय मॉडल चयन की समस्या को व्यवस्थित रूप से 1971 में लेखक द्वारा पेश किए गए एक सूचना मानदंड (एआईसी) का उपयोग करके नियंत्रित किया जा सकता है" एकैके से, "सांख्यिकीय मॉडल पहचान पर एक नया रूप"। अतः भले ही एआईसी एक ऐसी समस्या पर इस्तेमाल किया जाने वाला हथौड़ा है जो एक पेचकश द्वारा सबसे अच्छा हल किया जाता है, यह इस हथौड़ा के डिजाइनर का दृष्टिकोण था, कि एक हथौड़ा इस समस्या को हल करने का सही तरीका था। सही या गलत तरीके से, AIC को मॉडल चयन के लिए डिज़ाइन किया गया था। मुझे AIC का एक अलग दृश्य देखकर खुशी होगी। इसका जवाब देने के लिए स्वतंत्र महसूस करें, लेकिन मैं इसके साथ हूं।

— मेह

Answer 4

एआईसी के साथ मेरा अनुभव यह है कि यदि चर गैर-महत्वपूर्ण दिखाई देते हैं, लेकिन फिर भी सबसे छोटे एआईसी के साथ मॉडल में दिखाई देते हैं, तो वे संभावित कन्फ्यूडर हो जाते हैं।

मेरा सुझाव है कि आप कन्फ्यूजन के लिए जाँच करें। इस तरह के गैर-महत्वपूर्ण चर को हटाकर, कुछ शेष एस्टीमेटेड गुणांकों के चुंबक को 25% से अधिक बदल दिया जाता है।

Comments

कृपया बताएं कि ओपी "कन्फ्यूजन की जांच कैसे कर सकता है।"

— जिम

Answer 5

मुझे लगता है कि MuMIn पैकेज का उपयोग करके सबसे अच्छा मॉडल चयन है। यह परिणाम होगा और आपको सबसे कम AIC मानों की तलाश नहीं करनी होगी। उदाहरण:

d<-read.csv("datasource")
library(MuMIn)
fit<-glm(y~x1+x2+x3+x4,family=poisson,data=d)
get.models(dredge(fit,rank="AIC"))[1]

Comments

यह कहना कि आप किस कोड का उपयोग कर सकते हैं, वास्तव में इस सवाल का जवाब नहीं दे रहा है जब तक कि आप यह नहीं बता सकते कि प्रश्न को सांख्यिकीय रूप से कैसे संबोधित किया जाए। किसी भी मामले में प्रश्न में कुछ भी विशेष सॉफ्टवेयर के लिए विशिष्ट नहीं है।

— निक कॉक्स