लॉजिस्टिक रिग्रेशन में मॉडल का चयन और मॉडल का प्रदर्शन

9

मेरे पास लॉजिस्टिक रिग्रेशन में मॉडल चयन और मॉडल प्रदर्शन के बारे में एक प्रश्न है। मेरे पास तीन मॉडल हैं जो तीन अलग-अलग परिकल्पनाओं पर आधारित हैं। पहले दो मॉडल (उन्हें z और x नाम देते हैं) प्रत्येक मॉडल में केवल एक व्याख्यात्मक चर होता है, और तीसरा (इसका नाम w देता है) अधिक जटिल है। मैं डब्ल्यू मॉडल के लिए चर चयन के लिए एआईसी का उपयोग कर रहा हूं और फिर एआईसी की तुलना उन तीन मॉडलों में से है जो निर्भर चर को सबसे अच्छा समझाते हैं। मैंने पाया है कि डब्ल्यू मॉडल में एआईसी सबसे कम है और अब मॉडल की भविष्यवाणी की शक्ति के बारे में कुछ विचार प्राप्त करने के लिए उस मॉडल पर कुछ प्रदर्शन आंकड़े करना चाहते हैं। चूंकि मुझे पता है कि यह मॉडल अन्य दो की तुलना में बेहतर है लेकिन यह कितना अच्छा है।

चूंकि मैंने मॉडल को जानने के लिए (सभी तीन मॉडलों की तुलना करने में सक्षम होने के लिए) सभी डेटा का उपयोग किया है, मैं मॉडल प्रदर्शन के बारे में कैसे जा सकता हूं? मैंने जो इकट्ठा किया है उससे मैं एआईसी का उपयोग करके मॉडल चयन से प्राप्त अंतिम मॉडल पर के-फोल्ड क्रॉस सत्यापन नहीं कर सकता हूं, लेकिन शुरुआत से सभी व्याख्यात्मक चर के साथ शुरू करने की आवश्यकता है, क्या यह सही है? मुझे लगता है कि यह एआईसी के साथ चुना गया अंतिम मॉडल है जिसे मैं जानना चाहता हूं कि यह कितना अच्छा प्रदर्शन करता है, लेकिन यह महसूस करें कि मैंने सभी डेटा पर प्रशिक्षित किया है इसलिए मॉडल पक्षपाती हो सकता है। इसलिए यदि मुझे शुरुआत से सभी तह में सभी व्याख्यात्मक चर के साथ शुरू करना चाहिए, तो मुझे कुछ सिलवटों के लिए अलग-अलग अंतिम मॉडल मिलेंगे, क्या मैं सिर्फ उस गुना से मॉडल का चयन कर सकता हूं जिसने सबसे अच्छी भविष्यवाणी की शक्ति दी है और तुलना करने के लिए पूर्ण डेटा सेट पर लागू होता है दो अन्य मॉडल (z और x) के साथ AIC? या यह कैसे काम करता है?

मेरे सवाल का दूसरा हिस्सा ओवर-पैरामीटराइजेशन के बारे में एक बुनियादी सवाल है। मेरे पास १५६ डेटा पॉइंट्स हैं, ५२ है १ है बाकी ० हैं। मेरे पास डब्ल्यू मॉडल के लिए चुनने के लिए 14 व्याख्यात्मक चर हैं, मुझे एहसास है कि मैं ओवर-पैरामीटराइजेशन के कारण सभी को शामिल नहीं कर सकता, मैंने पढ़ा है कि आपको आश्रित चर के समूह का केवल 10% का उपयोग कम से कम टिप्पणियों के साथ करना चाहिए जो केवल मेरे लिए 5 होगा। मैं पारिस्थितिकी में एक प्रश्न का उत्तर देने की कोशिश कर रहा हूं, क्या शुरुआती चर का चयन करना ठीक है, जो मुझे लगता है कि केवल पारिस्थितिकी पर आधारित आश्रित सर्वश्रेष्ठ बताते हैं? या मैं शुरुआती व्याख्यात्मक चर कैसे चुनूं? कुछ चरों को पूरी तरह से बाहर करना सही नहीं लगता।

इसलिए मेरे पास वास्तव में तीन प्रश्न हैं:

क्या क्रॉस-मान्यता के साथ पूर्ण डेटा सेट पर प्रशिक्षित मॉडल पर प्रदर्शन का परीक्षण करना ठीक हो सकता है?
यदि नहीं, तो क्रॉस-वेलिडेशन करते समय मैं अंतिम मॉडल कैसे चुनूं?
मैं आरंभिक चर कैसे चुनूं, इसलिए मैं ओवर-पैरामीटर करना चाहता हूं?

मेरे गन्दे सवालों और मेरी अज्ञानता के लिए क्षमा करें। मुझे पता है कि इसी तरह के सवाल पूछे गए हैं लेकिन फिर भी थोड़ा उलझन में है। किसी भी विचार और सुझाव की सराहना करें।

logistic model-selection cross-validation

— Mael
स्रोत

7

यह सच है कि अपने मॉडल को मान्य करने के लिए डेटा के परीक्षण सेट का उपयोग करना बेहतर है। हालाँकि, आप अभी भी कह सकते हैं कि आपके मॉडल ने आपके डेटा पर कितना अच्छा प्रदर्शन किया, जब तक कि आपने जो किया उसके बारे में ईमानदार हैं। जो आप वास्तव में नहीं कर सकते, वह यह है कि यह अन्य डेटा पर यह अच्छा करेगा: इसकी संभावना नहीं होगी। दुर्भाग्य से, प्रकाशित कई लेख इस गलत धारणा पर कम से कम संकेत देते हैं।

तुम पूछो

क्या शुरुआती चर का चयन करना ठीक है, जो मुझे लगता है कि केवल पारिस्थितिकी के आधार पर सबसे अच्छा निर्भर करता है?

न केवल यह ठीक है, यह किसी भी स्वचालित योजना से बेहतर है। दरअसल, ये अंतिम चर भी हो सकते हैं । यह कुछ हद तक, क्षेत्र में ज्ञान की सीमा पर निर्भर करता है। यदि आप जो शोध कर रहे हैं, उसके बारे में बहुत कुछ ज्ञात नहीं है, तो अधिक खोजपूर्ण दृष्टिकोण आवश्यक हो सकता है। लेकिन अगर आपके पास यह सोचने का अच्छा कारण है कि कुछ चर मॉडल में होने चाहिए, तो हर तरह से, उन्हें अंदर डाल दें और मैं उन्हें वहां छोड़ने के लिए तर्क दूंगा, भले ही वह महत्वपूर्ण न हो।

— पीटर फ्लॉम
स्रोत

1

यदि आप मॉडल चयन करने जा रहे हैं, तो मुझे लगता है कि आप बेहतर खोज कर रहे हैं और चेरी की बजाए प्रत्येक मॉडल का भार उठा रहे हैं। आपके पास केवल 14 चर हैं, जो निश्चित रूप से संभव है - 16384 विभिन्न मॉडल निषेधात्मक रूप से बड़े नहीं हैं, खासकर क्योंकि नमूना आकार छोटा है। मैं सामान्यीकृत भार को भी देखूंगा, जिसे परिभाषित किया गया है:

w_{m} = {[\sum_{l} \exp (- \frac{1}{2} [A I C_{l} - A I C_{m}])]}^{- 1}

$w_m=\left[\sum_{l}\exp\left(-\frac{1}{2}[AIC_l - AIC_m]\right)\right]^{-1}$

ये भार मानते हैं कि एआईसी नकारात्मक रूप से लॉग लाइबिलिटी के साथ-साथ बेटास की संख्या से दो गुना अधिक है। अगर सबसे अच्छे मॉडल का वजन करीब है $1$ तो बस उस का उपयोग करें। अन्यथा आपको कुल वजन के साथ अपने परिणाम औसत मॉडल के करीब होना चाहिए $1$ । आमतौर पर ऐसा होता है कि "गैर-कोर" सेट पर अनिश्चितता के साथ, चर का एक "कोर" समूह हमेशा शामिल होना चाहिए, और महत्वहीन चर का तीसरा सेट जो उच्च वजन वाले मॉडल में कभी नहीं दिखाई देता है।

आप एआईसी को बीआईसी या कुछ अन्य दंड आधारित आईसी के साथ बदल सकते हैं, यह देखने के लिए कि वजन विशिष्ट जटिलता दंड पर कितना निर्भर करता है।

— probabilityislogic
स्रोत

सभी संभावित मॉडलों पर एआईसी का उपयोग करना चरम गुणा के साथ एक प्रक्रिया है जिसके लिए मैं प्रदर्शन के बारे में आश्चर्य करता हूं। व्यापक सामान्यताओं में बोलते हुए एक चर चयन समस्या के रूप में इसके बारे में सोचना हमेशा तर्कसंगत नहीं है, बल्कि एक दंड (संकोचन) समस्या के रूप में है।

— फ्रैंक हार्लेल

क्या कोई ऐसी प्रक्रिया है जिसमें मॉडल चयन में अत्यधिक बहुलता नहीं है? आप एक बड़े पैमाने पर असतत जगह के साथ काम कर रहे हैं - यह हमेशा बड़ी संख्या में तुलना की ओर जाता है। मुझे लगता है कि यह सवाल अधिक है कि क्या मॉडल से पहले निहितार्थ उचित है या नहीं।

— प्रोबैबिलिसोलॉजिक

अच्छे से कहा। लेकिन मुझे लगता है कि अधिकांश मॉडल चयन अभ्यास अनावश्यक (यानी, पारसीमोनी आपका दोस्त नहीं है) और बिना किसी पुजारी के होने का परिणाम है।

— फ्रैंक हरेल

मैं यह भी मानता हूं, मुझे लगता है कि बेयस फैक्टर का उपयोग मॉडल संरचना के मुद्दों के लिए किया जाता है, जैसे कि सामान्य या टी वितरण का उपयोग करना। वे कोवरिएट चयन के लिए बेकार नहीं हैं, लेकिन संकोचन की तुलना में अक्षम हैं।

— probabilityislogic

मेरी देर से टिप्पणी के लिए क्षमा करें, लेकिन क्या आप आर में इसकी गणना करने का कोई आसान तरीका जानते हैं? मेरे पास AIC है: एक सूची या मैट्रिक्स में। मैं आर के लिए काफी नया हूं इसलिए कोई भी जटिल फ़ंक्शन बिल्डिंग कठिन है। धन्यवाद!

— माले

0

उत्तर देने के लिए "क्या क्रॉस-मान्यता के साथ पूर्ण डेटा सेट पर प्रशिक्षित मॉडल पर प्रदर्शन का परीक्षण करना ठीक हो सकता है?" नहीं, मुझे नहीं लगता कि यह ठीक है। आपको अपने डेटासेट के एक ही सबसेट पर सभी 3 मॉडल फिट करने चाहिए। फिर क्रॉस-वेलिडेशन यह देखने के लिए कि कौन सा बेहतर है।

— स्टेट
स्रोत

1

इसलिए अगर मैं आपको सही समझूं तो मुझे केवल एक प्रशिक्षण और सभी मॉडलों के लिए एक परीक्षण सेट का उपयोग करना चाहिए? क्या मैं अभी भी अंतिम मॉडल के लिए अपने 5 चर का उपयोग कर सकता हूं या क्या यह ओवर-पैरामीटर के लिए जोखिम है? और क्या यह केवल एक प्रशिक्षण और परीक्षण सेट के साथ एक जोखिम नहीं है - क्योंकि यह बहुत कुछ इस बात पर निर्भर करता है कि मेरे पास मौजूद छोटे डेटा के साथ विभाजन कहाँ होगा - या क्या यह चिंता की कोई बात नहीं है? अन्यथा ऐसा लगता है कि ऐसा करना सबसे सही तरीका होगा।

— mael

0

क्या क्रॉस-मान्यता के साथ पूर्ण डेटा सेट पर प्रशिक्षित मॉडल पर प्रदर्शन का परीक्षण करना ठीक हो सकता है?

मुझे नहीं लगता। शायद एक बेहतर तरीका यह होगा कि तीनों मॉडल में से प्रत्येक को बार-बार क्रॉस वैधीकरण का उपयोग करके मूल्यांकन किया जाए। यह देखते हुए कि आपने पूर्व ज्ञान के आधार पर अपनी सुविधाओं को चुना है, आपको फीचर चयन के बारे में चिंता करने की आवश्यकता नहीं है। यह विधि आपको मॉडल के प्रदर्शन का मूल्यांकन करने की अनुमति देती है।

यदि नहीं, तो क्रॉस-वेलिडेशन करते समय मैं अंतिम मॉडल कैसे चुनूं?

एक बार जब आपने अपने मॉडल के प्रदर्शन को बार-बार क्रॉस-वेरीफिकेशन का उपयोग करके मूल्यांकन किया है तो आप सभी उपलब्ध डेटा का उपयोग करके अंतिम मॉडल को प्रशिक्षित कर सकते हैं।

मैं आरंभिक चर कैसे चुनूं, इसलिए मैं ओवर-पैरामीटर करना चाहता हूं?

यदि मैं सही ढंग से समझता हूं: जैसा कि ऊपर एक योगदानकर्ता द्वारा सुझाया गया है, आप या तो क्षेत्र की पूर्व सूचना के आधार पर अपनी सुविधाओं में जोड़ सकते हैं या फिर आपको ओवरफिटिंग से बचने के लिए क्रॉस-वैलिडेशन के भीतर सुविधा चयन करने की आवश्यकता है। अंतिम मॉडल को प्रशिक्षित करते समय यह एक ही सुविधा चयन प्रक्रिया सभी डेटा पर लागू होगी। आप इस मॉडल का उपयोग मॉडल के सामान्यीकृत प्रदर्शन की रिपोर्ट करने के लिए नहीं कर सकते हैं, यह क्रॉस-वैलिडेशन अनुमान से आना चाहिए।

— BGreene
स्रोत