मशीन लर्निंग अनुसंधान में सत्यापन के बारे में मेरा एक विशिष्ट प्रश्न है।
जैसा कि हम जानते हैं, मशीन लर्निंग शासन शोधकर्ताओं को प्रशिक्षण के आंकड़ों पर अपने मॉडल को प्रशिक्षित करने, सत्यापन सेट द्वारा उम्मीदवार मॉडल से चुनने और परीक्षण सेट पर सटीकता की रिपोर्ट करने के लिए कहता है। बहुत कठोर अध्ययन में, परीक्षण सेट केवल एक बार उपयोग किया जा सकता है। हालांकि, यह कभी भी अनुसंधान का परिदृश्य नहीं हो सकता है, क्योंकि हमें अपने प्रदर्शन में सुधार करना होगा जब तक कि परीक्षण सटीकता अत्याधुनिक परिणामों से बेहतर हो इससे पहले कि हम एक पेपर प्रकाशित (या सबमिट) भी कर सकें।
अब समस्या आती है। मान लें कि 50% सबसे अधिक अत्याधुनिक परिणाम है, और मेरा मॉडल आमतौर पर 50--51 सटीकता प्राप्त कर सकता है, जो औसत पर बेहतर है।
हालांकि, मेरी सबसे अच्छी सत्यापन सटीकता (52%) बहुत कम परीक्षण सटीकता प्राप्त करती है, उदाहरण के लिए, 49%। फिर, मुझे अपने समग्र प्रदर्शन के रूप में 49% रिपोर्ट करना होगा यदि मैं सत्यापन के आरोप में और सुधार नहीं कर सकता, जो मुझे लगता है कि कोई उम्मीद नहीं है। यह वास्तव में मुझे समस्या का अध्ययन करने से रोकता है, लेकिन मेरे साथियों के लिए यह कोई मायने नहीं रखता है, क्योंकि उन्हें 52% एसीसी दिखाई नहीं देता है, जो मुझे लगता है कि यह एक बाहरी है।
तो, लोग आमतौर पर अपने शोध में कैसे करते हैं?
ps k- गुना सत्यापन कोई मदद नहीं है, क्योंकि एक ही स्थिति अभी भी हो सकती है।