मेरी समझ यह है कि जब उचित क्रॉस सत्यापन और मॉडल चयन प्रक्रियाओं का पालन किया जाता है, तब भी ओवरफिटिंग तब होगी जब कोई एक मॉडल के लिए पर्याप्त खोज करता है , जब तक कि कोई मॉडल जटिलता, अवधि पर प्रतिबंध नहीं लगाता। इसके अलावा, अक्सर लोग डेटा से मॉडल जटिलता पर दंड सीखने की कोशिश करते हैं जो सुरक्षा प्रदान करता है।
मेरा प्रश्न है: ऊपर दिए गए कथन में कितनी सच्चाई है?
मैं अक्सर सुना करता हूं कि एमएल प्रैक्टिशनर कहते हैं: " मेरी कंपनी / लैब में, हम हमेशा उपलब्ध हर मॉडल (जैसे लाइब्रेरी से लेकर कैरेट या स्किकिट-लर्न ) को देखने की कोशिश करते हैं, ताकि यह देखा जा सके कि कौन सबसे अच्छा काम करता है "। मैं अक्सर यह तर्क देता हूं कि यह दृष्टिकोण आसानी से ओवरफिट हो सकता है, भले ही वे क्रॉस-वैलिडेशन के बारे में गंभीर हों और किसी भी तरह से होल्ड-आउट सेट रखना चाहते हों। इसके अलावा वे जितना कठिन खोज करते हैं, उतनी ही अधिक संभावना हो सकती है। दूसरे शब्दों में, ओवर-ऑप्टिमाइज़ेशन एक वास्तविक समस्या है और ऐसी कोई भी संख्या नहीं है जो आपको इसके खिलाफ व्यवस्थित रूप से लड़ने में मदद कर सके। क्या मैं इस तरह से सोचना गलत हूँ?