क्या होल्ड-आउट सत्यापन k- गुना CV की तुलना में "नया डेटा प्राप्त करने" का एक बेहतर सन्निकटन है?


10

मैं एक जवाब दे रहा हूं जो मैंने कुछ हफ्ते पहले एक सवाल पर दिया था

होल्ड-आउट क्रॉस-सत्यापन एक एकल परीक्षण सेट का उत्पादन करता है जिसे प्रदर्शन के लिए बार-बार उपयोग किया जा सकता है। हम सभी सहमत हैं कि यह कई मायनों में एक नकारात्मक विशेषता है, क्योंकि एक आयोजित आउट-सेट यादृच्छिकता के बिना गैर-प्रतिनिधि हो सकता है। इसके अलावा, आप परीक्षण डेटा पर ओवरफिटिंग को उसी तरह समाप्त कर सकते हैं जिस तरह से आप प्रशिक्षण डेटा को ओवरफिट कर सकते हैं।

हालांकि, यह मुझे प्रतीत होता है कि एक आयोजित आउट-सैंपल की स्थिर प्रकृति k- गुना CV की तुलना में "अधिक डेटा प्राप्त करने" का एक बेहतर अनुमान है, और सिलवटों के औसत के मुद्दे से बचा जाता है। हालाँकि, मेरे पास इस भावना के लिए कोई सांख्यिकीय आधार नहीं है। क्या मेरे अंतर्ज्ञान में कोई तर्क है?

उदाहरण के लिए, किसी आगामी परियोजना के लिए मेरे मन में क्या है, पहले एक मॉडल बनाने और परीक्षण करने के लिए होल्ड-आउट सत्यापन का उपयोग कर रहा हूं, फिर एक सत्यापन चरण के रूप में होल्ड-आउट सेट को कई बार दिखाने के लिए कि भविष्यवाणी त्रुटि का मेरा अनुमान ( परीक्षण सेट पर) परीक्षण सेट में त्रुटि त्रुटि के लिए मजबूत हैं। क्या यह किसी भी कारण से एक बुरा विचार है? यह सवाल पहले भी पूछा गया था, लेकिन इसका जवाब कभी नहीं मिला।

जवाबों:


6

IMHO होल्ड-आउट सत्यापन के सबसे खराब गुणों में से एक सांख्यिकीय के बजाय मनोवैज्ञानिक है: मुझे बहुत सारे होल्ड-आउट दिखाई देते हैं जिनकी व्याख्या की जाती है जैसे कि यह एक स्वतंत्र सत्यापन प्रयोग था (पहले से ही प्रयोगात्मक स्तर पर स्वतंत्रता के साथ), हालांकि कई महत्वपूर्ण समस्याएँ जो मुझे रेज़मैप्लिंग सत्यापन के साथ दिखाई देती हैं और होल्ड-आउट के साथ भी वही हो सकती हैं (कोई भी समस्या जो अनुचित विभाजन से उत्पन्न होती है)।

इसके अलावा, IMHO यह लगभग resampling के रूप में ही है (कम से कम जैसा कि मैंने देखा है कि यह अभ्यास में किया है)। अंतर हैं

  • वास्तव में अलग-अलग परीक्षण किए गए मामलों की कुल संख्या कम है (और परिणामस्वरूप अनुमान कुछ कम है)।
  • होल्ड-आउट के साथ, प्रदर्शन का दावा वास्तव में परीक्षण किए गए मॉडल के लिए किया जाता है, न कि होल्ड-आउट ट्रेसिंग प्लस-होल्ड टेस्ट डेटा से निर्मित वास्तव में अप्रयुक्त मॉडल के लिए। रेज़मैपलिंग का दावा है कि मापा प्रदर्शन बाद वाले मॉडल के प्रदर्शन के लिए एक अच्छा अनुमान है। लेकिन मैंने इस तरह से होल्ड-आउट दृष्टिकोण का उपयोग किया है ("सत्यापन सेट करें")।

एसेनसेन और गेलैडी: प्रॉपर वैलिडेशन के सिद्धांत: सत्यापन के लिए पुन: नमूने का उपयोग और दुरुपयोग, जर्नल ऑफ केमोमेट्रिक्स, 24 (3-4), 168-187 का तर्क है कि व्यावहारिक रूप से, दोनों डेटा सेट (सत्यापन) के लिए बहुत अच्छे अनुमान नहीं हैं प्रयोग) जो वास्तव में दिलचस्प प्रदर्शन विशेषताओं को मापने की अनुमति देते हैं।

आप परीक्षण डेटा को उसी तरह से समाप्त कर सकते हैं जिस तरह से आप प्रशिक्षण डेटा को ओवरफिट कर सकते हैं।

किसी अन्य मान्यता के समान: यदि आप डेटा-चालित मॉडलिंग / मॉडल चयन करते हैं, तो सत्यापन के एक और स्वतंत्र स्तर की आवश्यकता होती है। मुझे यहां होल्ड-आउट और रीसम्पलिंग योजनाओं के बीच कोई अंतर नहीं दिखता है।

पहले मॉडल का निर्माण और परीक्षण करने के लिए होल्ड-आउट सत्यापन का उपयोग करना, फिर एक सत्यापन कदम के रूप में होल्ड-आउट सेट को फिर से ड्राइंग करना कई बार यह दिखाने के लिए कि परीक्षण में त्रुटि त्रुटि के लिए पूर्वानुमान त्रुटि (परीक्षण सेट पर) के मेरे अनुमान मजबूत हैं। सेट। क्या यह किसी भी कारण से एक बुरा विचार है?

मुझे ऐसा लगता है, हाँ: IMHO एक नेस्टेड सेट-अप का उपयोग किया जाना चाहिए
(जब तक आप यह सुझाव नहीं देना चाहते कि होल्ड-आउट सत्यापन को दोहराया जा सकता है और साथ ही दोहराया जाना चाहिए - यह एक मान्य दृष्टिकोण है जो केवल व्याख्या के लिए पुनरावृत्त / दोहराया सेट सत्यापन से भिन्न होता है : क्या प्रदर्शन विवरण कई वास्तव में परीक्षण किए गए मॉडल के बारे में है या क्या सभी डेटा से बने एक मॉडल के लिए अतिरिक्त है)।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.