प्रशिक्षण / सत्यापन / परीक्षण सेट के संदर्भ में के-गुना क्रॉस सत्यापन कैसे फिट होता है?

Question

मेरा मुख्य प्रश्न यह समझने की कोशिश करना है कि प्रशिक्षण / सत्यापन / परीक्षण सेट (यदि यह इस तरह के संदर्भ में बिल्कुल फिट बैठता है) के संदर्भ में k- गुना क्रॉस-वैलिडेशन कैसे फिट बैठता है।

आमतौर पर, लोग डेटा को एक प्रशिक्षण, सत्यापन और परीक्षण सेट में विभाजित करने की बात करते हैं - एंड्रयू एनजी पाठ्यक्रम के अनुसार 60/20/20 के अनुपात में कहते हैं - जिससे सत्यापन सेट का उपयोग मॉडल प्रशिक्षण के लिए इष्टतम मापदंडों की पहचान करने के लिए किया जाता है।

हालाँकि, यदि कोई डेटा की मात्रा अपेक्षाकृत कम होने के कारण अधिक प्रतिनिधि सटीकता माप प्राप्त करने की उम्मीद में k- गुना क्रॉस-वैधीकरण का उपयोग करना चाहता था, तो इस 60/20/20 विभाजन में k- गुना क्रॉस-वेलिडेशन वास्तव में क्या करता है परिदृश्य?

उदाहरण के लिए, क्या इसका मतलब यह होगा कि हम वास्तव में प्रशिक्षण और परीक्षण सेट (डेटा का 80%) को संयोजित करेंगे और हमारे सटीकता माप प्राप्त करने के लिए उन पर के-गुना क्रॉस सत्यापन करेंगे (प्रभावी रूप से एक स्पष्ट 'परीक्षण सेट' होने के साथ त्याग देंगे? यदि ऐसा है, तो हम किस प्रशिक्षित मॉडल का उपयोग उत्पादन में a) करते हैं, और ख) सत्यापन सेट के खिलाफ उपयोग करने और इष्टतम प्रशिक्षण मापदंडों की पहचान करने के लिए? उदाहरण के लिए, ए और बी के लिए एक संभावित उत्तर सबसे अच्छा-गुना मॉडल का उपयोग करना है।

Answer 1

क्रॉस-सत्यापन आमतौर पर एक सत्यापन सेट की आवश्यकता से बचने में मदद करता है।

प्रशिक्षण / सत्यापन / परीक्षण डेटा सेट के साथ मूल विचार इस प्रकार है:

1. प्रशिक्षण: आप प्रशिक्षण डेटा पर हाइपरपामेटर्स के विभिन्न विकल्पों के साथ विभिन्न प्रकार के मॉडल आज़माते हैं (जैसे विभिन्न विशेषताओं के साथ रैखिक मॉडल, परतों के विभिन्न विकल्पों के साथ तंत्रिका जाल, mtry के विभिन्न मूल्यों के साथ यादृच्छिक वन)।

2. वैधता : आप सत्यापन सेट के आधार पर चरण 1 में मॉडलों के प्रदर्शन की तुलना करते हैं और विजेता का चयन करते हैं। यह प्रशिक्षण डेटा सेट को ओवरफिट करके लिए गए गलत निर्णयों से बचने में मदद करता है।

3. परीक्षण: आप परीक्षण मॉडल पर विजेता मॉडल को केवल यह महसूस करने के लिए आज़माते हैं कि यह वास्तविकता में कितना अच्छा प्रदर्शन करता है। यह चरण 2 में पेश किए गए ओवररेलिंग को समाप्त करता है। यहां, आप आगे कोई निर्णय नहीं लेंगे। यह सिर्फ सादा जानकारी है।

अब, उस स्थिति में जहां आप सत्यापन के चरण को क्रॉस-सत्यापन द्वारा प्रतिस्थापित करते हैं, डेटा पर हमला लगभग पहचान के अनुसार किया जाता है, लेकिन आपके पास केवल एक प्रशिक्षण और एक परीक्षण डेटा सेट है। सत्यापन डेटा सेट की कोई आवश्यकता नहीं है।

1. प्रशिक्षण: ऊपर देखें।

2. सत्यापन: आप क्रॉस-सत्यापन प्रदर्शन के संबंध में चरण 1 का सबसे अच्छा मॉडल चुनने के लिए प्रशिक्षण डेटा पर क्रॉस-सत्यापन करते हैं (यहां, मूल प्रशिक्षण डेटा को बार-बार अस्थायी प्रशिक्षण और सत्यापन सेट में विभाजित किया जाता है)। क्रॉस-वैलिडेशन में गणना किए गए मॉडल केवल चरण 1 के सर्वश्रेष्ठ मॉडल को चुनने के लिए उपयोग किए जाते हैं, जो सभी पूर्ण प्रशिक्षण सेट पर गणना किए जाते हैं।

3. टेस्ट: ऊपर देखें

Comments

धन्यवाद! पुष्टि करने के लिए, सीवी संदर्भ में, किसी के पास 80% ट्रेन बनाम 20% परीक्षण विभाजन हो सकता है। फिर कोई 80% डेटा पर एक मॉडल का निर्माण कर सकता है और सटीकता प्राप्त करने के लिए 20% के खिलाफ परीक्षण कर सकता है। विभिन्न मॉडल विविधताओं को आज़माने के लिए, कोई प्रशिक्षण डेटासेट (डेटा का 80%) पर 10-गुना सीवी कर सकता है - प्रभावी रूप से कुल डेटा के 8% पर प्रशिक्षण और प्रत्येक गुना में कुल डेटा के 72% के खिलाफ परीक्षण। सीवी परिणामों के आधार पर, कोई व्यक्ति इष्टतम हाइपरपरमीटर मूल्यों की पहचान कर सकता है और सभी प्रशिक्षण डेटा (पूर्ण डेटासेट का 80%) पर प्रशिक्षित एक नया मॉडल बनाने और शेष 20% परीक्षण डेटासेट के खिलाफ परीक्षण कर सकता है। सही बात?

— ब्लू

हां, सिवाय इसके कि प्रत्येक सीवी रन में, आप प्रशिक्षण के लिए 72% और सत्यापन के लिए 8% का उपयोग करेंगे ;-)

— माइकल एम

बहुत बढ़िया प्रतिक्रिया @MichaelM मैं नेस्टेड क्रॉस-वैलिडेशन (NCV) के बारे में पढ़ रहा था , और मुझे यह तय करने में मुश्किल समय हो रहा है कि क्या मुझे इसका उपयोग करना चाहिए, या सिर्फ वही करना चाहिए जो आपने CV के लिए उल्लिखित किया है। और बस इसलिए मैं इसे समझता हूं, NC3 को चरण 3 पर लागू किया जाएगा। 1 विजेता स्कोर प्राप्त करने के बजाय, आपको K विजेता स्कोर मिलता है (K द्वारा कुल रनों को गुणा करना, चरण 1-2 K को अलग-अलग 80% ट्रेन डेटा के साथ), जिसे आप तब औसत कर सकते हैं। तो सवाल: 1) क्या मेरी समझ सही है? 2) क्या एनसीवी का उपयोग करने की सिफारिश की गई है?

— अजीज जावेद

आप बिलकुल सही हैं। नेस्टेड सीवी ऊपर उल्लिखित "सरल" दृष्टिकोण से अधिक विश्वसनीय अनुमान प्राप्त करने में मदद करेगा। यदि समय अनुमति देता है, तो यह निश्चित रूप से एक विकल्प है। क्या आप जानते हैं कि नेस्टेड सीवी में अंतिम मॉडल की गणना किस डेटा पर की जाती है? पूर्ण पर?

— माइकल एम

Answer 2

$K$

प्रशिक्षण / सत्यापन / परीक्षण में विभाजन भी एक नमूनाकरण रणनीति है।

$K$

$K-1$