क्या लासो रिग्रेशन मॉडल के लिए एआईसी और बीआईसी की गणना करना संभव है?

Question

क्या लासो रिग्रेशन मॉडल और अन्य नियमित मॉडल के लिए एआईसी या बीआईसी मूल्यों की गणना करना संभव है जहां पैरामीटर केवल समीकरण में आंशिक रूप से प्रवेश कर रहे हैं। स्वतंत्रता की डिग्री कैसे निर्धारित करता है?

मैं पैकेज glmnet()से फ़ंक्शन के साथ lasso प्रतिगमन मॉडल फिट करने के लिए R का उपयोग कर रहा हूं glmnet, और मैं जानना चाहता हूं कि एक मॉडल के लिए एआईसी और बीआईसी मूल्यों की गणना कैसे करें। इस तरह मैं नियमितीकरण के बिना फिट होने वाले मॉडलों के साथ मूल्यों की तुलना कर सकता हूं। क्या ऐसा करना संभव है?

Comments

हाँ, आप ऐसा कर सकते हैं, लेकिन यह सबसे अधिक संभावना है कि आपको उचित सुधार प्राप्त करने की आवश्यकता होगी। सुधार इस पत्र में व्युत्पन्न है ncbi.nlm.nih.gov/pmc/articles/PMC2629611 दंडित परिमित मिश्रण मॉडलिंग के संदर्भ में, लेकिन एक सामंजस्यपूर्ण तर्क अन्य दंडित मॉडल में पर्याप्त होगा।

— मैक्रो

Answer 1

आपको निम्नलिखित कागजात भी रूचिकर लग सकते हैं:

आरजे तिब्शीरानी और जे। टेलर (2011), लैस्सो समस्याओं में स्वतंत्रता की कमी , एएक्सएक्सआई प्रीप्रिंट: 1111.4653 ।

एच। ज़ो, टी। हस्ति और आर। तिब्शीरानी (2007), लसो की स्वतंत्रता की डिग्री पर , सांख्यिकी 35 (5), 2173-2192।

Comments

अच्छा होता अगर अंतिम उत्तर पर थोड़ा स्पष्टीकरण होता;

— 1:45 पर user4581

Answer 2

मैं एक तरह से बहुत संघर्ष कर रहा था कि कैसे Glmnet मॉडल के लिए AIC और BIC की गणना की जाए। हालांकि, काफी खोज के बाद, मुझे Google के तीसरे पृष्ठ पर उत्तर मिला। यह यहाँ पाया जा सकता है । मैं इसे भविष्य के पाठकों के लिए यहां पोस्ट कर रहा हूं क्योंकि मेरा मानना ​​है कि मैं केवल एक ही नहीं हो सकता।

अंत में, मैंने एआईसी और बीआईसी को निम्नलिखित तरीके से लागू किया:

fit <- glmnet(x, y, family = "multinomial") 

tLL <- fit$nulldev - deviance(fit)
k <- fit$df
n <- fit$nobs
AICc <- -tLL+2*k+2*k*(k+1)/(n-k-1)
AICc

BIC<-log(n)*k - tLL
BIC

Answer 3

जॉनीहेनेकेन द्वारा संदर्भित लिंक में, लेखक बताता है:

मुझे डर है कि glmnet ऑब्जेक्ट (dev.ratio, nulldev) से उपलब्ध दो मात्रा मॉडल के लिए संभावना प्राप्त करने के लिए पर्याप्त नहीं है, जिसे आपको AICc की गणना करने की आवश्यकता है। आपके पास तीन अज्ञात में दो समीकरण हैं: संभावना (शून्य), संभावना (मॉडल), और संभावना (संतृप्त)। मैं संभावना (शून्य) से मुक्त होने की संभावना (मॉडल) प्राप्त नहीं कर सकता।

यह मुझे लगता है, कि यदि आप AIC की दो मॉडलों के बीच तुलना कर रहे हैं, तो यह तथ्य कि आप अलग-अलग नहीं कर सकते हैं, इसमें कोई कमी नहीं होनी चाहिए। चूंकि यह असमानता के दोनों "पक्षों" पर मौजूद है, यह दिखाता है कि किस मॉडल में निम्न एआईसी होना चाहिए। यह दो बातों पर निर्भर है:

1. डेटा दोनों मॉडल में समान है (वैसे भी AIC तुलना के लिए आवश्यक)
2. मैं न तो Stat101 और न ही हाई स्कूल बीजगणित (एक मजबूत धारणा मेरे वर्तमान कैफीन सेवन दिया) से कुछ भूल रहा हूँ