मुझे चिंता है कि प्रत्येक गुना के बीच गणना की गई सटीकता सटीकता प्रशिक्षण सेटों के बीच पर्याप्त ओवरलैप की वजह से निर्भर है (हालांकि भविष्यवाणी सेट स्वतंत्र हैं)।
प्रशिक्षण सेट के बीच IMHO ओवरलैप को यहां एक बड़ी चिंता का विषय नहीं होना चाहिए। यही है, यह जांचना महत्वपूर्ण है कि क्या मॉडल स्थिर हैं। स्थिर का अर्थ है कि क्रॉस सत्यापन सरोगेट मॉडल की भविष्यवाणियां समतुल्य हैं (अर्थात एक स्वतंत्र मामला उन सभी मॉडलों द्वारा समान भविष्यवाणी प्राप्त करेगा), और वास्तव में क्रॉस वैधता न केवल सरोगेट मॉडल के बीच समानता का दावा करती है, बल्कि सभी पर प्रशिक्षित मॉडल के लिए भी। मामलों। इसलिए यह निर्भरता हम जो चाहते हैं उसका परिणाम है।
यह विशिष्ट प्रश्न के लिए लागू होता है: यदि मैं इन आंकड़ों पर एक मॉडल को प्रशिक्षित करता हूं , तो भविष्यवाणी अंतराल क्या हैं? यदि प्रश्न इसके बजाय है, अगर हम इस जनसंख्या के मामलों पर एक मॉडल को प्रशिक्षित करते हैं, तो भविष्यवाणी अंतराल क्या हैं ?, हम इसका जवाब नहीं दे सकते हैं क्योंकि प्रशिक्षण सेटों में ओवरलैप का मतलब है कि हम एक अज्ञात राशि से विचरण को कम आंकते हैं।n
एक स्वतंत्र परीक्षण सेट के साथ परीक्षण की तुलना में परिणाम क्या हैं?
- क्रॉस सत्यापन के अनुमानों में एक ही आकार के एक स्वतंत्र परीक्षण सेट के साथ अंतिम मॉडल का परीक्षण करने की तुलना में उच्च विचरण हो सकता है, क्योंकि परीक्षण मामलों के कारण विचरण के अलावा हम सरोगेट मॉडल की अस्थिरता के कारण विचरण का सामना करते हैं।
हालांकि, यदि मॉडल स्थिर हैं, तो यह विचरण छोटा / नगण्य है। इसके अलावा इस प्रकार की स्थिरता को मापा जा सकता है।
जो मापा नहीं जा सकता है वह यह है कि पूरे डेटा सेट को उस जनसंख्या की तुलना में कैसे प्रतिनिधि बनाया गया है। इसमें अंतिम मॉडल के पूर्वाग्रह का हिस्सा शामिल है (हालांकि, एक छोटा स्वतंत्र परीक्षण सेट भी एक पूर्वाग्रह हो सकता है) और इसका मतलब है कि इसी भिन्नता को क्रॉस सत्यापन द्वारा अनुमान नहीं लगाया जा सकता है।
अनुप्रयोग अभ्यास में ( इन आंकड़ों पर प्रशिक्षित मॉडल का प्रदर्शन ), भविष्यवाणी अंतराल गणना उन मुद्दों का सामना करती है जो आईएमएचओ से अधिक महत्वपूर्ण हैं कि विचरण क्रॉस सत्यापन का कौन सा हिस्सा पता नहीं लगा सकता है: जैसे
- क्रॉस सत्यापन उन मामलों के लिए प्रदर्शन का परीक्षण नहीं कर सकता है जो समय में स्वतंत्र हैं (भविष्य में आमतौर पर मापा जाने वाले मामलों के लिए पूर्वानुमान की आवश्यकता होती है)
- डेटा में अज्ञात क्लस्टर हो सकते हैं, और क्लस्टर से बाहर का प्रदर्शन महत्वपूर्ण हो सकता है। क्लस्टर किए गए डेटा प्रिकेटर में है जिसे आप क्रॉस वेलिडेशन में रख सकते हैं, लेकिन आपको क्लस्टरिंग के बारे में जानना होगा।
ये केवल एक क्रॉस सत्यापन बनाम स्वतंत्र परीक्षण सेट चीज़ से अधिक हैं: मूल रूप से आपको नीचे बैठकर एक सत्यापन अध्ययन की आवश्यकता होगी, अन्यथा एक उच्च जोखिम है कि "स्वतंत्र" परीक्षण सेट सभी स्वतंत्र नहीं है। एक बार ऐसा करने के बाद, कोई भी सोच सकता है कि कौन से कारक व्यावहारिक महत्व के हैं और जिनकी उपेक्षा की जा सकती है। आप इस निष्कर्ष पर पहुंच सकते हैं कि पूरी तरह से विचार करने के बाद, क्रॉस वैल्यूएशन काफी अच्छा है और ऐसा करने के लिए समझदार बात है क्योंकि संभव जानकारी प्राप्त करने की तुलना में स्वतंत्र सत्यापन बहुत महंगा होगा।
सभी चीजें एक साथ रखी गई हैं, मैं मानक विचलन के लिए सामान्य सूत्र का उपयोग , इसे के अनुरूप और विस्तार से रिपोर्ट करें कि परीक्षण कैसे किया गया था।sCVRMSECV