एक बिंदु जिसे सांख्यिकीय मशीन सीखने के बारे में जोर देने की आवश्यकता है, वह यह है कि कोई गारंटी नहीं है । जब आप किसी आउट-आउट सेट का उपयोग करके प्रदर्शन का अनुमान लगाते हैं, तो यह केवल एक अनुमान है । अनुमान गलत हो सकता है।
यह कुछ करने के लिए इस्तेमाल किया जा रहा है, लेकिन यह कुछ आप के साथ सहज होने जा रहा है। जब आप कहते हैं कि "क्या होगा यदि प्रदर्शन वास्तव में बिगड़ता है?", तो उत्तर निश्चित है, ऐसा हो सकता है। वास्तविक प्रदर्शन आपके द्वारा अनुमानित / अनुमानित से भी बदतर हो सकता है। यह बेहतर भी हो सकता है। दोनों संभव हैं। यह अपरिहार्य है। कुछ अंतर्निहित, अकाट्य अनिश्चितता है।
जब आप किसी आउट-आउट परीक्षण सेट का उपयोग करके प्रदर्शन का मूल्यांकन करते हैं, तो आप भविष्य के प्रदर्शन की भविष्यवाणी करने की कोशिश करने के लिए अतीत से डेटा का उपयोग कर रहे हैं। जैसा कि वे कहते हैं, पिछले प्रदर्शन भविष्य के परिणामों की कोई गारंटी नहीं है । यह जीवन का एक तथ्य है जिसे हमें सिर्फ स्वीकार करना है।
आप इसे आपको स्थिर नहीं कर सकते। यह तथ्य कि आपके द्वारा भविष्यवाणी की गई तुलना में बदतर करना संभव है, डेटा पर प्रशिक्षित मॉडल का उत्पादन करने से बचने के लिए एक कारण नहीं है। विशेष रूप से, यदि आप ऐसा नहीं करते हैं तो भी खराब प्रदर्शन करना संभव है। यह संभव है कि सभी डेटा (ट्रेन + सत्यापन + परीक्षण) पर प्रशिक्षित एक मॉडल सिर्फ ट्रेन + मान्य भाग पर प्रशिक्षित मॉडल से भी बदतर होगा। यह भी संभव है कि यह बेहतर होगा। इसलिए, गारंटी की तलाश करने के बजाय, हमें खुद से पूछना होगा: हमें सफलता का सबसे अच्छा मौका क्या है? क्या सबसे प्रभावी होने की संभावना है?
और इस मामले में, जब आप उत्पादन के लिए तैनात करना चाहते हैं, तो आप जो सबसे अच्छा कर सकते हैं, वह आपके लिए उपलब्ध सभी डेटा का उपयोग कर सकता है। अपेक्षित प्रदर्शन के संदर्भ में, सभी डेटा का उपयोग करना डेटा के कुछ का उपयोग करने से बदतर नहीं है, और संभवतः बेहतर है। इसलिए, आप मॉडल को प्रशिक्षित करने के लिए उपलब्ध सभी डेटा का उपयोग तब कर सकते हैं जब आप उत्पादन मॉडल का निर्माण करते हैं। चीजें अभी भी बुरी तरह से जा सकती हैं - जब भी आप सांख्यिकीय तरीकों का उपयोग करते हैं, तो अशुभ प्राप्त करना हमेशा संभव होता है - लेकिन इससे आपको चीजों को अच्छी तरह से जाने का सबसे अच्छा मौका मिलता है।
विशेष रूप से, मानक अभ्यास इस प्रकार है:
अपने कुछ डेटा को एक आउट-आउट टेस्ट सेट में आरक्षित करें। किस अंश का उपयोग करना है, इसके बारे में कोई कठिन और तेज़ नियम नहीं है, लेकिन उदाहरण के लिए, आप परीक्षण सेट के लिए 20% आरक्षित कर सकते हैं और शेष 80% प्रशिक्षण और सत्यापन के लिए रख सकते हैं। आम तौर पर, सभी विभाजन यादृच्छिक होना चाहिए।
इसके बाद, कई आर्किटेक्चर और हाइपरपरमेटर्स को आज़माने के लिए प्रशिक्षण और सत्यापन डेटा का उपयोग करें, जो आप कर सकते हैं सबसे अच्छा मॉडल खोजने के लिए। प्रशिक्षण और सत्यापन के लिए बनाए रखा 80% ले लो, और एक प्रशिक्षण सेट और एक सत्यापन सेट में विभाजित करें, और प्रशिक्षण सेट का उपयोग करके एक मॉडल को प्रशिक्षित करें और फिर सत्यापन सेट पर इसकी सटीकता को मापें। यदि आप क्रॉस-मान्यता का उपयोग कर रहे हैं, तो आप इसे कई बार विभाजित करेंगे और सत्यापन सेट पर परिणामों को औसत करेंगे; यदि आप नहीं हैं, तो आप एक एकल विभाजन करेंगे (उदाहरण के लिए, 80% का 70% / 30% विभाजन, या ऐसा कुछ) और सत्यापन सेट पर प्रदर्शन का मूल्यांकन करेंगे। यदि आपके पास प्रयास करने के लिए कई हाइपरपरमेटर्स हैं, तो हाइपरपरमीटर के प्रत्येक उम्मीदवार सेटिंग के लिए एक बार ऐसा करें। यदि आपके पास प्रयास करने के लिए कई आर्किटेक्चर हैं, तो प्रत्येक उम्मीदवार आर्किटेक्चर के लिए ऐसा करें। आप इसका उपयोग कर सकते हैं, '
एक बार जब आप खुश हो जाते हैं, तो आप आर्किटेक्चर, हाइपरपैरामीटर आदि की पसंद को फ्रीज कर देते हैं। अब आपका प्रयोग हो चुका है। एक बार जब आप इस बिंदु पर पहुंच जाते हैं, तो आप कभी भी किसी अन्य विकल्प को फिर से आज़मा नहीं सकते हैं (बिना नए परीक्षण सेट प्राप्त किए) - इसलिए इस बिंदु को तब तक न मारें जब तक कि आप तैयार न हों।
जब आप तैयार हो जाते हैं, तो आप पहले चुने गए आर्किटेक्चर और हाइपरपरमेटर्स का उपयोग करके एक मॉडल को पूर्ण प्रशिक्षण + सत्यापन सेट (जो कि 80%) पर प्रशिक्षित करते हैं। फिर, आयोजित परीक्षा के सेट पर इसकी सटीकता को मापें। यह मॉडलिंग दृष्टिकोण कितना सही होगा, इसके लिए आपका अनुमान / भविष्यवाणी है। आपको यहां एक ही नंबर मिलता है। यह संख्या वह है जो है: यदि आप इससे खुश नहीं हैं, तो आप चरण 1 और 2 पर वापस नहीं जा सकते हैं और अधिक प्रयोग कर सकते हैं; यह अमान्य होगा।
अंत में, उत्पादन उपयोग के लिए, आप संपूर्ण डेटा सेट, प्रशिक्षण + सत्यापन + परीक्षण सेट पर एक मॉडल को प्रशिक्षित कर सकते हैं और इसे उत्पादन उपयोग में डाल सकते हैं। ध्यान दें कि आप इस उत्पादन मॉडल की सटीकता को कभी नहीं मापते हैं, क्योंकि आपके पास ऐसा करने के लिए कोई शेष डेटा नहीं है; आपने पहले ही सभी डेटा का उपयोग कर लिया है। यदि आप यह अनुमान लगाते हैं कि यह कितना अच्छा प्रदर्शन करेगा, तो आप चरण 4 से अनुमानित सटीकता का उपयोग करने के हकदार हैं क्योंकि यह आपके उत्पादन में कितना अच्छा प्रदर्शन करेगा, क्योंकि यह भविष्य के प्रदर्शन का सबसे अच्छा उपलब्ध पूर्वानुमान है। हमेशा की तरह, कोई गारंटी नहीं है - यह केवल सबसे अच्छा अनुमान संभव है, हमें उपलब्ध जानकारी दी गई है। यह निश्चित रूप से संभव है कि यह आप की भविष्यवाणी की तुलना में बदतर कर सकता है, या आप की भविष्यवाणी की तुलना में बेहतर है - यह हमेशा सच है।