छुट्टी-एक-आउट क्रॉस-सत्यापन कैसे काम करता है? विभिन्न मॉडलों में से अंतिम मॉडल का चयन कैसे करें ?

Question

मेरे पास कुछ डेटा है और मैं इस डेटा से एक मॉडल (एक रैखिक प्रतिगमन मॉडल कहना) का निर्माण करना चाहता हूं। अगले चरण में, मैं मॉडल पर लीव-वन-आउट क्रॉस-वैलिडेशन (LOOCV) लागू करना चाहता हूं ताकि देखें कि यह कितना अच्छा प्रदर्शन करता है।

अगर मुझे LOOCV सही समझ में आता है, तो मैं इस नमूने (प्रशिक्षण सेट) को छोड़कर प्रत्येक नमूने का उपयोग करके अपने प्रत्येक नमूने (परीक्षण सेट) के लिए एक नया मॉडल बनाता हूं। फिर मैं परीक्षण सेट की भविष्यवाणी करने और त्रुटियों की गणना करने के लिए मॉडल का उपयोग करता हूं ।$(\text{predicted} - \text{actual})$

अगले चरण में मैं चुने गए फ़ंक्शन का उपयोग करके उत्पन्न सभी त्रुटियों को एकत्रित करता हूं, उदाहरण के लिए चुकता त्रुटि। मैं इन मूल्यों का उपयोग मॉडल की गुणवत्ता (या फिट की भलाई) पर न्याय करने के लिए कर सकता हूं।

प्रश्न: वह मॉडल कौन सा मॉडल है, जिसके लिए ये गुणवत्ता-मूल्य लागू होते हैं, इसलिए यदि मुझे LOOCV से उत्पन्न मेट्रिक्स मेरे मामले के लिए उपयुक्त हैं तो मुझे कौन सा मॉडल चुनना चाहिए? LOOCV ने विभिन्न मॉडलों (जहां नमूना आकार है) को देखा; मुझे कौन सा मॉडल चुनना चाहिए?$n$$n$

• क्या यह मॉडल है जो सभी नमूनों का उपयोग करता है? इस मॉडल की गणना LOOCV प्रक्रिया के दौरान कभी नहीं की गई थी!
• क्या यह मॉडल है जिसमें कम से कम त्रुटि है?

Comments

संबंधित: आंकड़े.स्टैकएक्सचेंज . com / questions / 11602 ।

— अमीबा का कहना है कि मोनिका

Answer 1

$n-1$$n$

एक मॉडल चुनने के बजाय, करने की बात यह है कि मॉडल को सभी डेटा में फिट किया जाए, और उस मॉडल के प्रदर्शन का थोड़ा रूढ़िवादी अनुमान प्रदान करने के लिए LOO-CV का उपयोग किया जाए।

ध्यान दें कि LOOCV में एक उच्च विचरण होता है (यदि आप एक अलग यादृच्छिक नमूने का उपयोग करते हैं तो आपको मिलने वाला मूल्य बहुत भिन्न होता है) जो अक्सर प्रदर्शन के मूल्यांकन के लिए अनुमानक का बुरा विकल्प बनाता है, भले ही यह लगभग निष्पक्ष हो। मैं इसे मॉडल चयन के लिए हर समय उपयोग करता हूं, लेकिन वास्तव में केवल इसलिए कि यह सस्ता है (मैं जिस कर्नेल मॉडल पर काम कर रहा हूं उसके लिए लगभग मुफ्त)।

Comments

जवाब के लिए धन्यवाद। यह वाक्य "उस मॉडल के प्रदर्शन का थोड़ा रूढ़िवादी अनुमान प्रदान करने के लिए LOO-CV का उपयोग नहीं करता है।" सामान्य मामला गलत है? यदि मैं एक और बिंदु जोड़ता हूं तो मॉडल खराब हो सकता है, उस स्थिति में लू-सीवी हो सकता है। आशावादी अनुमान

— theomega

मॉडल बनाने के लिए आप जितना अधिक डेटा का उपयोग करेंगे, आमतौर पर मॉडल उतना ही बेहतर होगा। जबकि अतिरिक्त बिंदु मॉडल को थोड़ा खराब कर सकता है, यह मॉडल को थोड़ा बेहतर बनाने की अधिक संभावना है। तो सामान्य तौर पर लोकोव में एक मामूली निराशावादी पूर्वाग्रह होता है, लेकिन यह केवल बहुत मामूली होता है, LOOCV अनुमानक का विचरण आमतौर पर बहुत बड़ा विचार है।

— डिक्रान मार्सुपियल

आपको प्रदर्शन मूल्यांकन के लिए क्या उपयोग करना चाहिए ? (मान लें कि डेटा संग्रह महंगा है तो आप मॉडल को फिट करने के लिए सभी उपलब्ध डेटा का उपयोग करना चाहते हैं)।

— सिद्धेशो बॉब

बूटस्ट्रैप शायद। मेरे द्वारा उपयोग किए जाने वाले अधिकांश मॉडल में नियमितीकरण पैरामीटर आदि होते हैं, जिन्हें ट्यून करने की आवश्यकता होती है, इसलिए मैं अक्सर मॉडल के मूल्यांकन और बूटस्ट्रैप के लिए LOOCV का उपयोग करता हूं या प्रदर्शन मूल्यांकन के लिए दोहराया होल्ड-आउट।

— डिक्रान मार्सुपियल

@DikranMarsupial क्या आप इस तथ्य के बारे में निश्चित हैं कि लीव-वन-आउट सीवी निराशावादी पूर्वाग्रह प्रदान करता है? जहाँ तक मुझे पता है, यह आमतौर पर उदाहरण के लिए, के-फोल्ड की तुलना में कम त्रुटि अनुमान प्रदान करता है। इसके अलावा, LOOCV में 0 संस्करण नहीं है? आप केवल एक बार LOOCV कर सकते हैं, फिर "आप नमूने से बाहर भागेंगे"। केवल वही विचरण जिसके बारे में मैं सोच सकता हूँ कि वह मॉडल को फिट करने के लिए इस्तेमाल किए जाने वाले प्रशिक्षण एल्गोरिदम द्वारा निर्मित है। लेकिन यह इष्टतम मापदंडों के विचरण के साथ भिन्न होना चाहिए, न कि स्वयं मॉडल त्रुटि के साथ। धन्यवाद।

— D1X