मैं बार-बार के-फोल्ड क्रॉस सत्यापन का उपयोग कर रहा हूं और क्रॉस वेलिडेशन के विभिन्न रनों के सिलसिले में भव्य माध्य के रूप में गणना (मूल्यांकन मीट्रिक उदा, संवेदनशीलता, विशिष्टता) का मतलब बता रहा हूं।
हालांकि, मुझे यकीन नहीं है कि मुझे विचरण की रिपोर्ट कैसे देनी चाहिए। मैंने यहां कई सवालों को दोहराया है, जो कि बार-बार क्रॉस-वेलिडेशन पर चर्चा करते हैं, हालांकि, कोई भी नहीं है कि मैं बार-बार क्रॉस वेरिफिकेशन परीक्षणों में स्पष्ट रूप से विचरण के सवाल का जवाब देता हूं।
मैं समझता हूं कि कुल विचरण मॉडल 1 और 2) सीमित नमूना आकार की अस्थिरता के कारण है।
ऐसा लगता है कि बार-बार के-फोल्ड क्रॉस सत्यापन के लिए विचरण की गणना के लिए 4 अलग-अलग दृष्टिकोण हैं:
1) क्रॉस सत्यापन के रन के दौरान अनुमानित औसत प्रदर्शन मीट्रिक (जैसे, सटीकता) का विचरण, विचरण का एक वैध अनुमान है?
2) रन-विशिष्ट संस्करण (पूल पार परीक्षण के एक रन के विभिन्न सिलवटों में गणना की जाती है) द्वारा पूलित विचरण।
3) एक बड़े सदिश में चलने वाले क्रॉस सत्यापन के विभिन्न गुना से वर्गीकरण परिणामों को संक्षिप्त करने के लिए। उदाहरण के लिए, यदि प्रत्येक गुना में परीक्षण डेटा की संख्या 10 है और मेरे पास 10 गुना सीवी है, तो पुनरावृत्ति के लिए परिणामी वेक्टर 100 आकार का होगा। अब, अगर मैं 10 बार अपना क्रॉस-सत्यापन परीक्षण दोहराता हूं, तो मैं करूंगा 100 आकार के 10 वैक्टर हैं, जिनमें से प्रत्येक में 10-गुना सीवी रन से वर्गीकरण के परिणाम हैं। अब, मैं माध्य और विचरण की गणना करता हूं क्योंकि सिंगल रन सीवी के मामले में।
4) मैंने भी (समीकरण 2 और 3 में 1 ) में पढ़ा है कि विचरण बाह्य विचरण और अपेक्षित आंतरिक संलयन का योग है। अगर मैं सही ढंग से समझूं, तो बाहरी विचरण पुनरावृत्ति-विशिष्ट औसत प्रदर्शनों का विचरण है, और आंतरिक विचरण एक क्रॉस वेलिडेशन के रन के विभिन्न सिलवटों में विचरण है।
मैं आपकी मदद और मार्गदर्शन की बहुत सराहना करता हूं जिस पर बार-बार होने वाले क्रॉस-सत्यापन परीक्षण के लिए रिपोर्ट करना उपयुक्त होगा।
धन्यवाद,