परिवर्तनीय चयन बनाम मॉडल चयन

Question

इसलिए मैं समझता हूं कि परिवर्तनीय चयन मॉडल चयन का एक हिस्सा है। लेकिन वास्तव में मॉडल के चयन में क्या शामिल है? क्या यह निम्नलिखित से अधिक है:

1) अपने मॉडल के लिए एक वितरण चुनें

2) व्याख्यात्मक चर चुनें?

मैं यह पूछता हूं क्योंकि मैं एक लेख पढ़ रहा हूं बर्नहैम एंडरसन: एआईसी बनाम बीआईसी जहां वे मॉडल चयन में एआईसी और बीआईसी के बारे में बात करते हैं। इस लेख को पढ़कर मुझे लगता है कि मैं 'मॉडल चयन' को 'परिवर्तनशील चयन' के रूप में सोच रहा हूं (संदर्भ। टिप्पणियां क्या BIC एक सच्चे मॉडल को खोजने की कोशिश करता है? )

लेख से एक अंश जहां वे "सामान्यता" की बढ़ती डिग्री के साथ 12 मॉडल के बारे में बात करते हैं और ये मॉडल "टेपिंग प्रभाव" (चित्र 1) दिखाते हैं जब केएल-सूचना को 12 मॉडलों के खिलाफ साजिश रची जाती है:

अलग-अलग फिल्म्स और लक्ष्य मॉडल ... इसके बावजूद कि AIC के लिए लक्ष्य मॉडल की तुलना में BIC का लक्ष्य एक अधिक सामान्य मॉडल है, BIC द्वारा सबसे अधिक बार यहां चयनित मॉडल मॉडल 7 की तुलना में कम सामान्य होगा जब तक कि n बहुत बड़ी नहीं होती है। यह मॉडल 5 या 6 हो सकता है। यह ज्ञात है (साहित्य में कई कागजात और सिमुलेशन से) कि टैपिंग-प्रभाव संदर्भ (चित्र 1) में, एआईसी बीआईसी से बेहतर प्रदर्शन करता है। यदि यह किसी के वास्तविक डेटा विश्लेषण का संदर्भ है, तो एआईसी का उपयोग किया जाना चाहिए।

BIC कभी भी मॉडल चयन में AIC से अधिक जटिल मॉडल का चयन कर सकता है मुझे समझ नहीं आता! विशेष रूप से "मॉडल चयन" क्या है और विशेष रूप से BIC AIC से अधिक "सामान्य" मॉडल का चयन करता है?

यदि हम चर चयन के बारे में बात कर रहे हैं, तो बीआईसी को निश्चित रूप से सबसे कम मात्रा में चर के साथ मॉडल चुनना चाहिए, सही? बीआईसी में शब्द हमेशा दंडित से ज्यादा चर जोड़ा जाएगा AIC में अवधि। लेकिन क्या यह अनुचित नहीं है जब " बीआईसी का लक्ष्य एआईसी के लिए लक्ष्य मॉडल की तुलना में अधिक सामान्य मॉडल है "?$2ln(N)k$$2k$

संपादित करें :

टिप्पणियों में एक चर्चा से क्या एआईसीसी या दूसरे पर बीआईसी पसंद करने का कोई कारण है? हम टिप्पणियों में @Michael Chernick और @ user13273 के बीच एक छोटी सी चर्चा देखते हैं, मुझे विश्वास है कि यह कुछ ऐसा है जो कि तुच्छ नहीं है:

मुझे लगता है कि इस चर्चा को "सुविधा" चयन या "कोवरिएट" चयन के रूप में कहा जाना अधिक उपयुक्त है। मेरे लिए, मॉडल का चयन त्रुटियों के वितरण, लिंक फ़ंक्शन के रूप, और सहसंयोजकों के रूप को शामिल करते हुए बहुत व्यापक है। जब हम एआईसी / बीआईसी के बारे में बात करते हैं, तो हम आम तौर पर उस स्थिति में होते हैं जहां मॉडल निर्माण के सभी पहलुओं को तय किया जाता है, कोवेट्स के चयन को छोड़कर। - user13273 अगस्त 13 '12 21:17 पर

किसी मॉडल में शामिल करने के लिए विशिष्ट कोवरिएट्स का निर्णय लेना आमतौर पर मॉडल चयन शब्द से होता है और शीर्षक में मॉडल चयन के साथ कई किताबें होती हैं जो मुख्य रूप से यह तय करती हैं कि मॉडल में शामिल करने के लिए कौन से मॉडल कोवरिएट / पैरामीटर हैं। - 14:44 बजे माइकल चेर्निक अगस्त 24 '12

Comments

अच्छा प्रश्न! संकल्प का कम से कम हिस्सा इस पेपर की शब्दावली में BIC के "लक्ष्य" के बीच अंतर करना है - सच्चा मॉडल, जिसे वह एक बहुत बड़े नमूने के आकार के साथ चुनेगा - और वह मॉडल जो किसी विशेष नमूने के साथ लेने के लिए होता है। आकार। तब कोई विरोधाभास नहीं है, जब बढ़ती संख्या के साथ मॉडल के एक नेस्टेड अनुक्रम पर विचार किया जाता है। पैरामीटर, कह रही है कि में लक्ष्य बीआईसी के 9 मानकों के साथ मॉडल है, भले ही एक उदारवादी नमूना आकार में बीआईसी उठाता 4 मानकों के साथ मॉडल, और AIC साथ 6. एक

— Scortchi - को पुनः स्थापित मोनिका

@Scortchi: अच्छा उदाहरण है, लेकिन जब हम नेस्टेड मॉडल के बारे में बात कर रहे हैं तो लक्ष्य मॉडल की अवधारणा पूरी तरह से बेमानी नहीं है? यदि संदर्भ नेस्टेड मॉडल का एक सेट है (तब हम चर चयन के बारे में बात कर रहे हैं): बीआईसी में एक अधिक जटिल लक्ष्य मॉडल हो सकता है , लेकिन एआईसी से अधिक जटिल मॉडल का चयन कभी नहीं होगा । किसी भी अन्य संदर्भ में (हम मॉडल चयन के बारे में बात कर रहे हैं) (बड़े नमूना आकार के साथ) कागज का दावा है कि बीआईसी एआईसी की तुलना में अधिक जटिल ("सामान्य") लक्ष्य मॉडल को ले जाएगा। यह विशेष रूप से कैसे होता है, अभी भी मेरे लिए स्पष्ट नहीं है।

— इरोसिनिन

@ एरोसेनिन ने कभी आप के इस सामान्य प्रश्न का उत्तर खोजने का प्रबंधन किया?

— zipzapboing

Answer 1

कभी-कभी मॉडलर मॉडल के विकास में एक अलग चरण में चर चयन को अलग करते हैं। उदाहरण के लिए, वे पहले खोजपूर्ण विश्लेषण करेंगे, अकादमिक साहित्य और उद्योग प्रथाओं पर शोध करेंगे और फिर उम्मीदवार चर की एक सूची के साथ आएंगे। वे इस कदम को चर चयन कहेंगे ।

इसके बाद, वे कई अलग-अलग चर संयोजनों जैसे OLS मॉडल: जहां किसी मॉडल में को साथ अलग-अलग विशिष्टताओं का एक समूह । वे चुनते थे सबसे अच्छा सभी मॉडलों के मॉडल बाहर स्वयं या एक स्वचालित दिनचर्या में। तो, ये लोग बाद के चरण के मॉडल चयन को कहेंगे ।

$$y_i=\sum_{j_m} X_{ij_m}\beta_{j_m}+\varepsilon_i,$$ $j_m$$j$$m$$m$

यह उसी तरह है जैसे मशीन सीखने वाले लोग फीचर इंजीनियरिंग के बारे में बात करते हैं , जब वे चर के साथ आते हैं। आप सुविधाओं को LASSO या इसी तरह के ढांचे में प्लग करते हैं जहां आप इन सुविधाओं (चर) का उपयोग करके एक मॉडल बनाते हैं। इस संदर्भ में यह चर चयन को एक अलग चरण में अलग करने के लिए समझ में आता है, क्योंकि आप एल्गोरिथ्म को चर के लिए सही गुणांक चुनने देते हैं, और किसी भी चर को समाप्त नहीं करते हैं। आपका निर्णय (जिसके संबंध में चर एक मॉडल में जाता है) चर चयन चरण में अलग-थलग है, फिर बाकी फिटिंग एल्गोरिदम तक है।

आपके द्वारा उद्धृत कागज के संदर्भ में, यह सब अप्रासंगिक है। पेपर विभिन्न मॉडल विशिष्टताओं के बीच चयन करने के लिए BIC या AIC का उपयोग करता है। इससे कोई फर्क नहीं पड़ता कि आपके पास इस मामले में एक अलग चरण के रूप में चर चयन था या नहीं। यह सब मायने रखता है कि कौन से चर किसी विशेष मॉडल विनिर्देश , तो आप सबसे अच्छा लेने के लिए उनके बीआईसी / एआईसी को देखते हैं। वे नमूना आकार और चर की संख्या के लिए जिम्मेदार हैं।$m$