एआईसी या पी-मूल्य: मॉडल चयन के लिए किसे चुनना है?

22

मैं इस R चीज़ के लिए बिल्कुल नया हूं लेकिन यह सुनिश्चित करने के लिए अनिश्चित हूं कि किस मॉडल का चयन करना है।

मैंने न्यूनतम AIC के आधार पर प्रत्येक चर का चयन करते हुए एक स्टेपवाइज़ फ़ॉरवर्ड रिग्रेशन किया । मैं 3 मॉडल के साथ आया था कि मैं अनिश्चित हूं जो "सर्वश्रेष्ठ" है।
```
Model 1: Var1 (p=0.03) AIC=14.978
Model 2: Var1 (p=0.09) + Var2 (p=0.199) AIC = 12.543
Model 3: Var1 (p=0.04) + Var2 (p=0.04) + Var3 (p=0.06) AIC= -17.09
```
मैं मॉडल # 3 के साथ जाने के लिए इच्छुक हूं क्योंकि इसमें सबसे कम एआईसी है (मैंने सुना है कि नकारात्मक ठीक है) और पी-मान अभी भी कम हैं।

मैंने हैचिंग मास के भविष्यवाणियों के रूप में 8 चर चलाए हैं और पाया है कि ये तीन चर सबसे अच्छे भविष्यवक्ता हैं।
मेरा अगला फॉरवर्ड स्टेप वाइज मैं मॉडल 2 को चुनता हूं क्योंकि भले ही एआईसी थोड़ा बड़ा था पी मूल्य सभी छोटे थे। क्या आप सहमत हैं कि यह सबसे अच्छा है?
```
Model 1: Var1 (p=0.321) + Var2 (p=0.162) + Var3 (p=0.163) + Var4 (p=0.222)  AIC = 25.63
Model 2: Var1 (p=0.131) + Var2 (p=0.009) + Var3 (p=0.0056)                  AIC = 26.518
Model 3: Var1 (p=0.258) + Var2 (p=0.0254)                                   AIC = 36.905
```

धन्यवाद!

model-selection aic stepwise-regression

क्या आप हमें (1) और (2) के बीच का अंतर बता सकते हैं? स्पष्ट रूप से कुछ बदल गया है, क्योंकि मॉडल 3 इन (1) और मॉडल 2 इन (2) नाममात्र समान हैं लेकिन पी-मान और एआईसी भिन्न हैं।

— whuber

2

इस प्रश्न को दो बार दोहराया गया है, जिसका अर्थ है कि न केवल हमें उन्हें बंद करना होगा, बल्कि संबंधित प्रतिक्रिया (ओं) को भी जो आपको पहले ही प्रदान की गई थीं। क्या आप कृपया अपना खाता पंजीकृत कर सकते हैं ( FAQ देखें ), और भविष्य में StackExchange पोस्टिंग नीति पर ध्यान दें? धन्यवाद।

— CHL

@ देखो, मुझे डर है कि मैं तुम्हारे सवाल को पूरी तरह से नहीं समझ पा रहा हूँ। यह शायद मेरी सांख्यिकीय समझ की कमी है। लेकिन स्पष्ट करने की कोशिश करने के लिए। मॉडल 1 में 4 चर हैं, मॉडल 2 में 3 चर हैं और मॉडल 3 में 2 चर हैं। चर प्रत्येक मॉडल में एक ही क्रम में होते हैं (प्रत्येक मॉडल में चर एक = अस्थायी)। मुझे लगता है कि @GaBorgulya और @djma ने मेरे सवाल का पूरी तरह से जवाब दिया। चर 4 चर के साथ सहसंबद्ध है। AH-HA! समझ में आता है। धन्यवाद oodles!

— MEL

मैंने आपकी प्रतिक्रिया को उपरोक्त टिप्पणी में बदल दिया है। यदि आपको लगता है कि वर्तमान प्रतिक्रियाओं में से एक ने आपकी मदद की या आपके प्रश्न का उत्तर दिया, तो इसे स्वीकार करना न भूलें, जैसा कि @richiemorrisroe द्वारा याद दिलाया गया है। BTW, अच्छा है कि आप अपना खाता पंजीकृत करें।

— chl

23

एआईसी फिट माप की एक अच्छाई है जो मॉडल में छोटी अवशिष्ट त्रुटि के पक्ष में है, लेकिन आगे के भविष्यवक्ताओं को शामिल करने के लिए दंडित करता है और ओवरफिटिंग से बचने में मदद करता है। आपके मॉडल के दूसरे सेट में मॉडल 1 (सबसे कम एआईसी वाला) आपके डेटासेट के बाहर भविष्यवाणी के लिए उपयोग किए जाने पर सबसे अच्छा प्रदर्शन कर सकता है। एक संभावित व्याख्या क्यों Var4 को मॉडल 2 में जोड़ने से AIC कम हो जाता है, लेकिन उच्च p मान यह है कि Var4 कुछ हद तक Var1, 2 और 3 से संबद्ध है। मॉडल 2 की व्याख्या इस प्रकार आसान है।

— GaBorgulya
स्रोत

31

व्यक्तिगत पी-वैल्यू को देखते हुए भ्रामक हो सकता है। यदि आपके पास चर हैं जो समतुल्य हैं (उच्च सहसंबंध हैं), तो आपको बड़े पी-मान मिलेंगे। इसका मतलब यह नहीं है कि चर बेकार हैं।

अंगूठे के एक त्वरित नियम के रूप में, एआईसी मानदंड के साथ अपने मॉडल का चयन करना पी-मूल्यों को देखने से बेहतर है।

एक कारण सबसे कम एआईसी के साथ मॉडल का चयन नहीं किया जा सकता है जब आपके चर का डाटापॉइंट अनुपात बड़ा हो।

ध्यान दें कि मॉडल चयन और भविष्यवाणी सटीकता कुछ अलग समस्याएं हैं। यदि आपका लक्ष्य सटीक भविष्यवाणियां करना है, तो मेरा सुझाव है कि प्रशिक्षण और परीक्षण सेट में अपने डेटा को अलग करके अपने मॉडल को क्रॉस-वैरिफाई करें।

परिवर्तनशील चयन पर एक पेपर: वैरिएबल चयन के लिए स्टोचस्टिक स्टेपवाइज एनसेंबल

— djma
स्रोत

4

यदि आपका लक्ष्य भविष्यवाणी सटीकता है, तो आप एआईसी का उपयोग करना चाहते हैं (क्योंकि यह फिट मॉडल और सच्चाई के बीच अपेक्षित केएल विचलन को कम करता है)। यदि आप एक सुसंगत मॉडल चयन प्रक्रिया (निश्चित पी, बढ़ते एन) चाहते हैं, तो आप इसके बजाय बीआईसी का उपयोग कर सकते हैं। हाइपोथेसिस का चयन करने के लिए चरणबद्ध प्रतिगमन में पी-मूल्यों का उपयोग करना निश्चित नहीं है।

— इमाकलिक

8

0.154

$0.154$

| t | > \sqrt{\log (N)}

$|t|>\sqrt{\log(N)}$

-3

एआईसी सामान्यीकरण त्रुटि के अनुमान से प्रेरित है (जैसे कि मलोव के सीपी, बीआईसी, ...)। यदि आप भविष्यवाणियों के लिए मॉडल चाहते हैं, तो इन मानदंडों में से एक का बेहतर उपयोग करें। यदि आप किसी घटना की व्याख्या के लिए अपना मॉडल चाहते हैं, तो पी-वैल्यू का उपयोग करें।

इसके अलावा, यहां देखें ।

— JohnRos
स्रोत