क्रॉस-मान्यता डेटा में यादृच्छिकता के कारण आपके प्रदर्शन मीट्रिक के विचरण का अनुमान लगाने के लिए एक उपकरण है (और शायद यह निर्धारित नहीं होने पर लर्निंग एल्गोरिथ्म में)।
इसलिए यदि आप केवल एक विभाजन का उपयोग करते हैं, जैसे कि 80% ट्रेन + 20% परीक्षण और इस एकल प्रयोग से आपके प्रदर्शन मीट्रिक की रिपोर्ट करें तो अच्छे मौके हैं कि कोई भी आपके मापदंडों को बिल्कुल उसी मापदंडों का उपयोग करके पुन: प्रयोग करने की कोशिश कर रहा है, एक अलग प्रदर्शन आंकड़ा प्राप्त करेगा (कभी-कभी बहुत विभिन्न)। जब तक आप निश्चित रूप से वही सटीक विभाजन प्रदान करते हैं जो अर्थहीन है।
अपने प्रश्न पर वापस आने के लिए मुझे लगता है कि आपको अपने प्रदर्शन की रिपोर्ट करने के लिए निश्चित रूप से सीवी का उपयोग करना चाहिए (जैसे 10 गुना सीवी करना और प्रदर्शन मेट्रिक के माध्य और मानक विचलन की रिपोर्ट करना)। अब अपने एल्गोरिथ्म को ट्यूनिंग के लिए आप प्रशिक्षण सेट से नमूना किए गए बहुत छोटे सत्यापन सेट का उपयोग कर सकते हैं (सुनिश्चित करें कि यह परीक्षण सेट में शामिल नहीं है)।
यदि आप डरते हैं कि आपको एक छोटे से सेट का उपयोग करके सबसे अच्छा हाइपरपैरामीटर नहीं मिलेगा तो आप संभवतः अपने एल्गोरिथ्म को डेटासेट की बारीकियों के लिए छोड़ रहे हैं। यदि आप एक छोटे नमूने का उपयोग करके कॉन्फ़िगरेशन नहीं पा सकते हैं जो सभी सिलवटों के बीच एक उचित प्रदर्शन देता है तो एल्गोरिथ्म शायद व्यवहार में बहुत उपयोगी नहीं है।
यह भी ध्यान रखें कि कुछ एल्गोरिदम बस बहुत धीमी गति से होते हैं / कुछ कॉन्फ़िगरेशन में अच्छी तरह से नहीं बढ़ते हैं। यह व्यावहारिक मॉडल चयन का एक हिस्सा भी है।
चूंकि आप एसवीएम का उल्लेख करते हैं, निश्चित रूप से अधिकांश कार्यान्वयन धीमी गति से होंगे जब ग्रिड खोज द्वारा गैर-रेखीय कर्नेल के मापदंडों को खोजने की कोशिश की जाएगी। ग्रिड खोज में घातीय जटिलता है, इसलिए इसे बहुत कम मापदंडों के साथ उपयोग करें। यह भी ध्यान रखें कि अधिकांश पुस्तकालय समझदार डिफ़ॉल्ट पैरामीटर प्रदान करते हैं (या कम से कम आप एक पैरामीटर सेट करते हैं और दूसरों को सेट करने के लिए आंकड़े हैं)।