IMHO होल्ड-आउट सत्यापन के सबसे खराब गुणों में से एक सांख्यिकीय के बजाय मनोवैज्ञानिक है: मुझे बहुत सारे होल्ड-आउट दिखाई देते हैं जिनकी व्याख्या की जाती है जैसे कि यह एक स्वतंत्र सत्यापन प्रयोग था (पहले से ही प्रयोगात्मक स्तर पर स्वतंत्रता के साथ), हालांकि कई महत्वपूर्ण समस्याएँ जो मुझे रेज़मैप्लिंग सत्यापन के साथ दिखाई देती हैं और होल्ड-आउट के साथ भी वही हो सकती हैं (कोई भी समस्या जो अनुचित विभाजन से उत्पन्न होती है)।
इसके अलावा, IMHO यह लगभग resampling के रूप में ही है (कम से कम जैसा कि मैंने देखा है कि यह अभ्यास में किया है)। अंतर हैं
- वास्तव में अलग-अलग परीक्षण किए गए मामलों की कुल संख्या कम है (और परिणामस्वरूप अनुमान कुछ कम है)।
- होल्ड-आउट के साथ, प्रदर्शन का दावा वास्तव में परीक्षण किए गए मॉडल के लिए किया जाता है, न कि होल्ड-आउट ट्रेसिंग प्लस-होल्ड टेस्ट डेटा से निर्मित वास्तव में अप्रयुक्त मॉडल के लिए। रेज़मैपलिंग का दावा है कि मापा प्रदर्शन बाद वाले मॉडल के प्रदर्शन के लिए एक अच्छा अनुमान है। लेकिन मैंने इस तरह से होल्ड-आउट दृष्टिकोण का उपयोग किया है ("सत्यापन सेट करें")।
एसेनसेन और गेलैडी: प्रॉपर वैलिडेशन के सिद्धांत: सत्यापन के लिए पुन: नमूने का उपयोग और दुरुपयोग, जर्नल ऑफ केमोमेट्रिक्स, 24 (3-4), 168-187 का तर्क है कि व्यावहारिक रूप से, दोनों डेटा सेट (सत्यापन) के लिए बहुत अच्छे अनुमान नहीं हैं प्रयोग) जो वास्तव में दिलचस्प प्रदर्शन विशेषताओं को मापने की अनुमति देते हैं।
आप परीक्षण डेटा को उसी तरह से समाप्त कर सकते हैं जिस तरह से आप प्रशिक्षण डेटा को ओवरफिट कर सकते हैं।
किसी अन्य मान्यता के समान: यदि आप डेटा-चालित मॉडलिंग / मॉडल चयन करते हैं, तो सत्यापन के एक और स्वतंत्र स्तर की आवश्यकता होती है। मुझे यहां होल्ड-आउट और रीसम्पलिंग योजनाओं के बीच कोई अंतर नहीं दिखता है।
पहले मॉडल का निर्माण और परीक्षण करने के लिए होल्ड-आउट सत्यापन का उपयोग करना, फिर एक सत्यापन कदम के रूप में होल्ड-आउट सेट को फिर से ड्राइंग करना कई बार यह दिखाने के लिए कि परीक्षण में त्रुटि त्रुटि के लिए पूर्वानुमान त्रुटि (परीक्षण सेट पर) के मेरे अनुमान मजबूत हैं। सेट। क्या यह किसी भी कारण से एक बुरा विचार है?
मुझे ऐसा लगता है, हाँ: IMHO एक नेस्टेड सेट-अप का उपयोग किया जाना चाहिए
(जब तक आप यह सुझाव नहीं देना चाहते कि होल्ड-आउट सत्यापन को दोहराया जा सकता है और साथ ही दोहराया जाना चाहिए - यह एक मान्य दृष्टिकोण है जो केवल व्याख्या के लिए पुनरावृत्त / दोहराया सेट सत्यापन से भिन्न होता है : क्या प्रदर्शन विवरण कई वास्तव में परीक्षण किए गए मॉडल के बारे में है या क्या सभी डेटा से बने एक मॉडल के लिए अतिरिक्त है)।