जब आप इन दोनों में से कोई भी कार्य करना चाहते हैं, तो आप क्रॉस-वेरीगेशन करते हैं:
- मॉडल चयन
- किसी मॉडल का त्रुटि अनुमान
मॉडल चयन विभिन्न परिदृश्यों में आ सकता है:
- किसी विशेष समस्या / डेटासेट के लिए एक एल्गोरिथम बनाम अन्य का चयन करना
- किसी विशेष समस्या / डेटासेट के लिए किसी विशेष एल्गोरिथ्म के हाइपर-मापदंडों का चयन करना
(कृपया ध्यान दें कि यदि आप दोनों एक एल्गोरिथ्म का चयन कर रहे हैं - इसे मॉडल कहना बेहतर है - और हाइपर-पैरामीटर खोज भी कर रहे हैं, तो आपको नेस्टेड क्रॉस वैलिडेशन करने की आवश्यकता है। क्या नेस्टेड-सीवी वास्तव में आवश्यक है? )
क्रॉस-वैलिडेशन कुछ हद तक सुनिश्चित करता है कि त्रुटि अनुमान उस मॉडल के लिए सामान्यीकरण त्रुटि के रूप में निकटतम संभव है (हालांकि यह लगभग बहुत कठिन है)। सिलवटों के बीच औसत त्रुटि का अवलोकन करते समय आपके पास पूर्ण डेटासेट पर निर्मित मॉडल के लिए अपेक्षित त्रुटि का एक अच्छा प्रक्षेपण हो सकता है। यह भविष्यवाणी के विचरण का निरीक्षण करने के लिए भी महत्वपूर्ण है, यह है कि, त्रुटि कितनी बार गुना से भिन्न होती है। यदि विविधता बहुत अधिक है (काफी भिन्न मूल्य) तो मॉडल अस्थिर हो जाएगा। बूटस्ट्रैपिंग इस अर्थ में अच्छा अनुमान प्रदान करने वाली दूसरी विधि है। मेरा सुझाव है कि "एलीमेंट ऑफ स्टैटिस्टिकल लर्निंग" बुक पर सेक्शन 7 को ध्यान से पढ़ें: ईएलएस-स्टैंडफोर्ड
जैसा कि पहले उल्लेख किया गया है कि आपको किसी भी सिलवटों में निर्मित मॉडल नहीं लेना चाहिए। इसके बजाय, आपको पूर्ण डेटासेट के साथ मॉडल का पुनर्निर्माण करना होगा (वह जो सिलवटों में विभाजित हो गया था)। यदि आपके पास एक अलग परीक्षण सेट है, तो आप सीवी द्वारा प्राप्त की तुलना में एक समान (और निश्चित रूप से उच्चतर) त्रुटि प्राप्त करते हुए, इस अंतिम मॉडल की कोशिश करने के लिए इसका उपयोग कर सकते हैं। हालांकि, आपको सीवी प्रक्रिया द्वारा दी गई अनुमानित त्रुटि पर भरोसा करना चाहिए।
विभिन्न मॉडलों (एल्गोरिथ्म संयोजन, आदि) के साथ सीवी का प्रदर्शन करने के बाद, उस त्रुटि के बारे में बेहतर प्रदर्शन करने वाले और सिलवटों के बीच इसके विचरण को चुना। आपको संपूर्ण डेटासेट के साथ मॉडल का पुनर्निर्माण करना होगा। यहां एक सामान्य भ्रम की स्थिति आती है: हम मॉडल चयन का उल्लेख करते हैं, यह सोचकर कि मॉडल डेटा पर तैयार किया गया अनुमानित मॉडल है, लेकिन इस मामले में यह आपके द्वारा लागू एल्गोरिदम + प्रीप्रोसेसिंग प्रक्रियाओं के संयोजन को संदर्भित करता है। इसलिए, आपको उस वास्तविक मॉडल को प्राप्त करने के लिए जिसे आपको भविष्यवाणियों / वर्गीकरण बनाने की आवश्यकता है, जिसे आपको पूरे डेटासेट पर विजेता संयोजन का उपयोग करके बनाने की आवश्यकता है।
ध्यान देने वाली अंतिम बात यह है कि यदि आप किसी भी प्रकार की प्रीप्रोसेसिंग का उपयोग कर रहे हैं तो क्लास की जानकारी (फीचर का चयन, एलडीए डायनेमिकिटी में कमी आदि) का उपयोग हर हाल में किया जाना चाहिए, न कि पहले डेटा पर। यह एक महत्वपूर्ण पहलू है। यदि आप प्रीप्रोसेसिंग विधियों को लागू कर रहे हैं तो वही काम करना चाहिए जिसमें डेटा (पीसीए, सामान्यीकरण, मानकीकरण, आदि) की प्रत्यक्ष जानकारी शामिल हो। हालाँकि, आप प्रीप्रोसेसिंग लागू कर सकते हैं जो डेटा से निर्भर नहीं है (विशेषज्ञ की राय के बाद एक चर को हटाना, लेकिन यह स्पष्ट है)। यह वीडियो उस दिशा में आपकी मदद कर सकता है: सही और गलत तरीके से सीवी
यहाँ, विषय के बारे में एक अंतिम अच्छी व्याख्या: CV और मॉडल का चयन