प्रशिक्षण, सत्यापन और परीक्षण सहित क्रॉस-सत्यापन। हमें तीन सबसेट की आवश्यकता क्यों है?


28

मेरे पास क्रॉस-सत्यापन प्रक्रिया के बारे में एक प्रश्न है। मैं कर्सरा पर मशीन लर्निंग के एक कोर्स के बीच में हूं। विषय में से एक क्रॉस-मान्यता के बारे में है। मुझे इसका पालन करना थोड़ा कठिन लगा। मुझे पता है कि हमें सीवी की आवश्यकता क्यों है क्योंकि हम चाहते हैं कि हमारे मॉडल भविष्य (अज्ञात) डेटा पर अच्छा काम करें और सीवी को ओवरफिटिंग से बचाता है। हालांकि, प्रक्रिया ही भ्रामक है।

जो मैंने समझा है, वह यह है कि मैंने डेटा को 3 सबसेट में विभाजित किया है: प्रशिक्षण, सत्यापन और परीक्षण। ट्रेन और मान्यता एक मॉडल की इष्टतम जटिलता को खोजने के लिए है। जो मुझे समझ में नहीं आता वह तीसरा सबसेट है। मैं समझता हूं कि मैं मॉडल के लिए कई सुविधाएँ लेता हूँ, इसे प्रशिक्षित करता हूँ और सत्यापन उपसमुच्चय पर इसे मान्य करता हूँ और संरचना बदलने पर न्यूनतम लागत फ़ंक्शन की तलाश करता हूँ। जब मुझे यह मिला, तो मैं टेस्ट सब्मिट पर मॉडल का परीक्षण करता हूं। यदि मुझे पहले से ही वैधता के उपसमुच्चय पर न्यूनतम लागत समारोह मिल गया है, तो मुझे इसे फिर से परीक्षण उपसमुच्चय पर परीक्षण करने की आवश्यकता क्यों होगी ???

क्या कोई मेरे लिए यह स्पष्ट कर सकता है?

धन्यवाद


आपको कागज और चर्चा में मिलेगा [1] अपने प्रश्न के लिए अप्रासंगिक नहीं। स्मृति से, यह तीन सबसेट का उल्लेख करता है: पहला एक मॉडल तैयार करना, दूसरा इसके मापदंडों का अनुमान लगाना और तीसरा इसे भविष्यवाणी द्वारा मान्य करना। [१] चैटफील्ड, सी। मॉडल अनकांश्टी, डेटा माइनिंग एंड स्टैटिस्टिकल इन्वेंशन (चर्चा के साथ) जर्नल ऑफ द रॉयल स्टैटिस्टिकल सोसाइटी। श्रृंखला ए (सांख्यिकी सोसायटी में), 1995, 158, 419-466
हाइबरनेटिंग


चीयर्स! इस लिंक के पीछे का धागा भी इस बात को समझने का एक अच्छा स्रोत है :)
Celdor

जवाबों:


38
  • प्रशिक्षण सेट का उपयोग किसी दिए गए मॉडल के लिए इष्टतम मापदंडों को चुनने के लिए किया जाता है। ध्यान दें कि प्रशिक्षण सेट का उपयोग करते हुए मापदंडों के कुछ दिए गए सेट का मूल्यांकन करना चाहिए, जिससे आपको अपने लागत फ़ंक्शन का निष्पक्ष अनुमान मिल सके - यह उन मापदंडों को चुनने का कार्य है जो प्रशिक्षण सेट के आधार पर आपके लागत फ़ंक्शन के अनुमान को अनुकूलित करते हैं जो कि उनके द्वारा दिए गए अनुमान को पूरा करता है। । मापदंडों को चुना गया था जो प्रशिक्षण सेट पर सबसे अच्छा प्रदर्शन करते हैं; इसलिए, उन मापदंडों का स्पष्ट प्रदर्शन, जैसा कि प्रशिक्षण सेट पर मूल्यांकन किया गया है, अत्यधिक आशावादी होगा।
  • प्रशिक्षण सेट का उपयोग करके प्रशिक्षित किया गया, सत्यापन सेट का उपयोग सबसे अच्छा मॉडल चुनने के लिए किया जाता है। फिर से, ध्यान दें कि सत्यापन सेट का उपयोग करके किसी भी दिए गए मॉडल का मूल्यांकन करने से आपको लागत फ़ंक्शन का एक प्रतिनिधि अनुमान देना चाहिए - यह उस मॉडल को चुनने का कार्य है जो सत्यापन सेट पर सबसे अच्छा प्रदर्शन करता है जो उनके द्वारा प्रदान किए गए अनुमान को पूरा करता है। मॉडल चुना गया था जो सत्यापन सेट पर सबसे अच्छा प्रदर्शन करता है; इसलिए, सत्यापन सेट पर मूल्यांकन के अनुसार, उस मॉडल का स्पष्ट प्रदर्शन अत्यधिक आशावादी होगा।
  • करने के बाद प्रशिक्षित प्रत्येक मॉडल का उपयोग प्रशिक्षण सेट, और चुने हुए का उपयोग कर सबसे अच्छा मॉडल सत्यापन सेट, परीक्षण सेट आपको बताता है कि अच्छा मॉडल के अपने अंतिम विकल्प है। यह आपको रनटाइम पर मिलने वाले वास्तविक प्रदर्शन का निष्पक्ष अनुमान देता है, जिसे कई कारणों से जानना महत्वपूर्ण है। आप इसके लिए निर्धारित प्रशिक्षण का उपयोग नहीं कर सकते, क्योंकि पैरामीटर इसके प्रति पक्षपाती हैं। और आप इसके लिए निर्धारित सत्यापन का उपयोग नहीं कर सकते, क्योंकि मॉडल स्वयं उन लोगों के लिए पक्षपाती है। इसलिए, तीसरे सेट की आवश्यकता है।

मैं इसे अब देख सकता हूं। धन्यवाद। मैंने इस तथ्य के बारे में नहीं सोचा था कि मुझे मॉडल संरचना के संदर्भ में निष्पक्ष प्रदर्शन खोजने के लिए एक और सबसेट की आवश्यकता होगी। चियर्स :) यह बहुत अच्छी व्याख्या है।
Celdor

तो, क्या इसका मतलब यह है कि अंतिम परीक्षण-सेट मॉडल के अनुकूलन में या सर्वश्रेष्ठ मॉडल का चयन करने में कोई भूमिका नहीं निभाता है?
अनमोल सिंह जग्गी

1
नहीं, वास्तव में, इसका उपयोग केवल अपेक्षित प्रदर्शन का अनुमान लगाने के लिए किया जाना चाहिए। इसलिए, यदि आपको परीक्षण सेट पर प्रदर्शन का परिणाम पसंद नहीं है, तो आपको वास्तव में परीक्षा परिणाम का अनुकूलन करने के लिए अपने मॉडल को ट्यूनिंग करने के आग्रह से बचना चाहिए, क्योंकि आपका मॉडल एक बार फिर से पक्षपाती होगा।
यत्सेन डे बोअर

12

अगर मुझे पहले से ही वैलिडेशन सब्मिट पर मिनिमम कॉस्ट फंक्शन मिल गया है, तो मुझे इसे टेस्ट सब्मिट पर फिर से टेस्ट करने की जरूरत क्यों पड़ेगी

यादृच्छिक त्रुटि के कारण: आमतौर पर आपके पास केवल मामलों की सीमित संख्या होती है।

सत्यापन (आंतरिक परीक्षण) प्रदर्शन का अनुकूलन का मतलब है कि आप उस आंतरिक परीक्षण सेट से अधिक हो सकते हैं। आंतरिक परीक्षण सेट अंतिम मॉडल के अनुमान में योगदान देता है और इस प्रकार मॉडल से स्वतंत्र नहीं होता है।

इसका मतलब है कि यदि आपको सामान्यीकरण गुणों का अनुमान लगाना है तो आपको एक और (बाहरी) परीक्षण सेट की आवश्यकता है जो संपूर्ण मॉडलिंग प्रक्रिया (सभी अनुकूलन और डेटा-चालित पूर्व-प्रसंस्करण या मॉडल चयन प्रक्रियाओं सहित) से स्वतंत्र हो।

मेरा सुझाव है कि आप एक अनुकरण करें और तीन अलग-अलग त्रुटि अनुमानों की तुलना करें जो आपके पास हो सकते हैं

  • पुनर्जीवन: ट्रेन सेट की भविष्यवाणी नेक -फिट होने के
    उपाय
  • आंतरिक परीक्षण (आपके नामकरण में: सत्यापन) सेट: वह क्वॉलिटी जो ऑप्टिमाइज़र को लगता है कि हासिल की गई है
  • बाहरी परीक्षण सेट: सामान्यीकरण त्रुटि, मॉडल प्रशिक्षण से स्वतंत्र।

एक सिमुलेशन में आप आसानी से उनकी तुलना एक उचित, बड़े, स्वतंत्र रूप से उत्पन्न परीक्षण सेट से कर सकते हैं। यदि सेट-अप सही है, तो बाहरी परीक्षण निष्पक्ष होना चाहिए (यह जिस सरोगेट मॉडल का मूल्यांकन करता है, वह संपूर्ण डेटा सेट पर निर्मित "फाइनल" मॉडल नहीं है)। आंतरिक परीक्षण आमतौर पर आशावादी पक्षपाती होता है, और पुनरुत्थान भी अधिक आशावादी पक्षपाती होता है।

मेरे क्षेत्र में, आंतरिक परीक्षण 2 - 5 (आक्रामक अनुकूलन योजनाओं के लिए बहुत अधिक) के कारक द्वारा सामान्यीकरण त्रुटि को आसानी से कम करेगा।


नोट: सेट का नामकरण सार्वभौमिक नहीं है। मेरे क्षेत्र में (विश्लेषणात्मक रसायन विज्ञान), सत्यापन का अर्थ आमतौर पर अंतिम प्रक्रिया के प्रदर्शन का प्रमाण होगा - इस प्रकार आपका "परीक्षण" सेट आपके "सत्यापन" सेट की तुलना में अधिक करता है।

इसलिए मैं आंतरिक और बाहरी परीक्षण सेट, या अनुकूलन परीक्षण सेट (= आंतरिक परीक्षण सेट) की बात करना पसंद करता हूं और फिर सत्यापन सेट का मतलब बाहरी परीक्षण सेट होगा।


2

मॉडल का प्रशिक्षण लेते समय, मॉडल के लिए मेटा मापदंडों का चयन करना चाहिए (उदाहरण के लिए, नियमितीकरण पैरामीटर) या यहां तक ​​कि कई मॉडल भी चुनें। इस मामले में सत्यापन उपसमुच्चय का उपयोग पैरामीटर चुनने के लिए किया जाता है, लेकिन अंतिम पूर्वानुमान अनुमान के लिए परीक्षण उपसमुच्चय।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.