नेस्ट क्रॉस-मान्यता - यह प्रशिक्षण सेट पर केफोल्ड सीवी के माध्यम से मॉडल चयन से कैसे अलग है?

Question

मैं अक्सर लोगों को नेस्टेड क्रॉस सत्यापन के विशेष मामले के रूप में 5x2 क्रॉस-सत्यापन के बारे में बात करते हुए देखता हूं ।

मैं पहली संख्या मानता हूं (यहां: 5) आंतरिक लूप में सिलवटों की संख्या को संदर्भित करता है और दूसरी संख्या (यहां: 2) बाहरी लूप में सिलवटों की संख्या को संदर्भित करता है? तो, यह "पारंपरिक" मॉडल चयन और मूल्यांकन दृष्टिकोण से कैसे अलग है? "पारंपरिक" से मेरा मतलब है

• डेटासेट को एक अलग प्रशिक्षण (जैसे, 80%) और परीक्षण सेट में विभाजित करें
• प्रशिक्षण सेट पर हाइपरपैरेट ट्यूनिंग और मॉडल चयन के लिए k- गुना क्रॉस-वैधीकरण (जैसे, k = 10) का उपयोग करें
• परीक्षण सेट का उपयोग करके चयनित मॉडल के सामान्यीकरण प्रदर्शन का मूल्यांकन करें

क्या 5x2 बिल्कुल समान नहीं है सिवाय इसके कि परीक्षण और प्रशिक्षण सेट का आकार बराबर है यदि k = 2?

Comments

आप सही हैं, इस मामले में यह समान है, सिवाय इसके कि यह 80/20 वाले के बजाय बाहरी लूप में 50/50 विभाजन का उपयोग करता है। आम तौर पर, यह सामान्यीकरण प्रदर्शन का एक बेहतर अनुमान देता है और इसे पसंद किया जाना चाहिए, खासकर अपेक्षाकृत छोटे नमूना आकारों के साथ। मेरे अनुभव से, नेस्टेड सीवी के लिए भी, प्रदर्शन अनुमान बहुत भिन्न होता है। सामान्यीकरण प्रदर्शन का अच्छा अनुमान पाने के लिए अक्सर नेस्टेड सीवी को कई बार करना बेहतर होता है।

— जॉर्ज

धन्यवाद, समझ में आता है! हालांकि, छोटे प्रशिक्षण सेटों के लिए, मैं संभवतः आंतरिक और बाहरी छोरों में सिलवटों की संख्या में वृद्धि करूंगा; विचरण को कम कर सकता है, लेकिन पूर्वाग्रह को भी बढ़ा सकता है

सामान्य तौर पर, 5x2 नेस्टेड सीवी करने के बजाय, मैं आमतौर पर k (5) के साथ k (5) या x का प्रदर्शन करता हूं, कुछ नमूनों के मामले में, सिलवटों की संख्या बढ़ने के बजाय, मैं k के छोटे मूल्यों के लिए जाऊंगा। ।

— जॉर्ज

मुझे लगता है कि आपके पास पूरी तरह से गलत होने के बजाय यह पीछे की ओर था, लेकिन स्वीकृत उत्तर उस स्रोत से असहमत हो सकता है जिसके साथ मैं संदर्भित करने वाला हूं। रसचका द्वारा पाइथन मशीन लर्निंग में, वह एक को संदर्भित करता है, "विशेष प्रकार के नेस्टेड क्रॉस-वेलिडेशन को 5x2 क्रॉस-वेलिडेशन के रूप में भी जाना जाता है।" इसमें एक शामिल ग्राफिक है जिसमें वह दिखाता है कि 2 हाइपर पैरामीटर ट्यूनिंग के लिए आंतरिक लूप को संदर्भित करता है और 5 निष्पक्ष मॉडल प्रदर्शन आकलन के लिए बाहरी लूप को संदर्भित करता है। परिदृश्य 3 के नीचे ग्राफिक की रंगीन कॉपी पाई जा सकती है: sebastianraschka.com/faq/docs/ev मूल्यांकन-a

— Austin

Answer 1

5x2cv जहां तक ​​मैंने साहित्य में देखा है, हमेशा 2-गुना के 5 पुनरावृत्ति का संदर्भ दें। कहीं कोई घोंसला नहीं है। 2-गुना (ट्रेन और परीक्षण के बीच 50/50 विभाजन) करें, इसे 4 बार दोहराएं। 5x2cv को डायटेरिच द्वारा पर्यवेक्षित वर्गीकरण शिक्षण एल्गोरिदम की तुलना के लिए कागज अनुमानित सांख्यिकीय परीक्षणों द्वारा लोकप्रिय किया गया था, न केवल सामान्यीकरण त्रुटि का एक अच्छा अनुमान प्राप्त करने का एक तरीका है, बल्कि उस त्रुटि के विचरण का एक अच्छा अनुमान (सांख्यिकीय परीक्षण करने के लिए) )

Comments

धन्यवाद! क्या आप जानते हैं कि लोग आमतौर पर क्या करते हैं यदि आंतरिक छोर अलग-अलग मॉडल का चयन करते हैं, उदाहरण के लिए, यदि "इष्टतम" नियमितीकरण पैरामीटर एक मॉडल चयन के दौरान lambda = 100 है और दूसरे के लिए lambda = 1000 है? इस मामले में औसत मॉडल के प्रदर्शन की गणना करना थोड़ा अजीब होगा, सही !? क्या आप "अस्थिर" होने के नाते मॉडल को त्याग देंगे?

आंतरिक लूप हाइपरपरमेटर्स के अलग-अलग चयन में परिणाम की संभावना होगी। आप हाइपरपैरेटर्स का चयन करने के लिए नेस्टेड क्रॉस-वैलेडेशन का उपयोग नहीं करते हैं, केवल सामान्यीकरण त्रुटि का एक अच्छा अनुमान प्राप्त करने के लिए (सर्वोत्तम हाइपरपैरामीटर संभव के साथ)। नेस्टेड cv का उपयोग एक या दूसरे एल्गोरिथ्म के बीच तय करने के लिए किया जाता है। आँकड़े देखें ।stackexchange.com / questions/ 136296/… या या आँकड़े ।stackexchange.com/questions / 65128/… (अन्य लोगों के बीच)

— जाक वेनर

ओह, मैं देख रहा हूँ, यह पूरी तरह समझ में आता है! मुझे लगा कि लोग इसे अलग तरह से इस्तेमाल कर रहे हैं। मुझे लगता है कि हम सवाल को बंद कर सकते हैं।

Answer 2

बाहरी लूप में 2 पुनरावृत्ति का मतलब है कि आप अपने 5 गुना सीवी को पूरे ट्रेन सेट पर 2 बार दोहराते हैं। हर बार सिलवटों में उपखंड अलग-अलग होंगे।

यह मुख्य रूप से मॉडल प्रदर्शन के बेहतर अनुमानों के लिए उपयोग किया जाता है, जैसे सांख्यिकीय परीक्षण चलाने पर कि क्या एक मॉडल दूसरे की तुलना में सांख्यिकीय रूप से बेहतर प्रदर्शन करता है।

यदि आपका डेटा सेट बड़ा है और आउटलेर के बिना नेस्टेड CV गंभीर रूप से महत्वपूर्ण नहीं है। यदि आपके डेटा में आउटलेयर हैं, तो क्रॉस वेलिडेशन परफॉरमेंस काफी भिन्न हो सकता है, जो इस बात पर निर्भर करता है कि इन टेलर्स किस फोल्डर्स में हैं / हैं। इसलिए आप कई बार सीवी दोहराते हैं।

Comments

अच्छी बात। पारंपरिक दृष्टिकोण में (परीक्षण सेट पर ट्रेन / विभाजन और फिर के-गुना सीवी) आपके पास मॉडल का मूल्यांकन करने के लिए केवल 1 गुना है जबकि 5x2 सीवी में औसत प्रदर्शन की गणना 2 अलग-अलग सिलवटों से की जा सकती है।