मैंने पहले अभिव्यक्ति को सुना है:
"आँकड़ों में अनुकूलन सभी बुराई की जड़ है"।
उदाहरण के लिए, इस धागे में शीर्ष उत्तर मॉडल चयन के दौरान बहुत अधिक आक्रामक तरीके से अनुकूलन के खतरे के संदर्भ में यह बयान देता है।
मेरा पहला प्रश्न निम्नलिखित है: क्या यह उद्धरण विशेष रूप से किसी के लिए भी जिम्मेदार है? (आंकड़े साहित्य में)
मैं जो समझता हूं, वह कथन ओवरफिटिंग के जोखिमों को संदर्भित करता है। पारंपरिक ज्ञान का कहना है कि उचित क्रॉस सत्यापन पहले से ही इस समस्या से लड़ता है, लेकिन ऐसा लगता है कि इस समस्या से कहीं अधिक है।
क्या सांख्यिकीविदों और एमएल चिकित्सकों को कड़े पार सत्यापन प्रोटोकॉल (जैसे 100 नेस्टेड 10-गुना सीवी) का पालन करते हुए भी अपने मॉडलों का अधिक अनुकूलन करना चाहिए? यदि हां, तो हमें कैसे पता चलेगा कि "सर्वश्रेष्ठ" मॉडल की खोज कब बंद करनी है?
दूसरा सवाल निश्चित रूप से अपने दम पर खड़ा है, हालांकि यह नहीं है?
—
1
@Glen_b मैंने उस धागे में एक संदर्भ छोड़ दिया। लेकिन सिर्फ स्पष्ट करने के लिए, डिक्रान ने पहले से ही अलग-अलग थ्रेड्स में अपने जवाब के लिए सवालों के जवाब खोलने का सुझाव दिया था, और मुझे संदेह है कि इस प्रश्न को एक टिप्पणी में संबोधित किया जाना चाहिए।
—
एमिलियो वाज़केज़-रीना
@ RussellS.Pierce में वह प्रश्न सम्मिलित है जो अब खड़ा है - भले ही यह मेरी टिप्पणी से पहले बना हो - जब मैंने इसे लोड किया था और मूल प्रश्न और संभावित उत्तरों पर शोध शुरू नहीं किया था, तो इसका केवल वही था जो मैं वर्णन करूंगा। एक बयानबाजी के रूप में वहाँ सवाल। सवाल यह है कि यह अब ठीक है।
—
Glen_b -Reinstate Monica
क्रॉस- वेलिडेशन समस्या यहां एक अन्य प्रश्न में शामिल है : ysts.stackexchange.com/questions/29354/… क्रॉस-वैलिडेशन ओवर-फिटिंग से बचने में मदद कर सकता है, लेकिन यह समस्या को पूरी तरह से हल नहीं करता है। यह जानना कि कब रुकना एक निश्चित रूप से मुश्किल समस्या हो सकती है, और मुझे नहीं लगता कि एक सामान्य समाधान हो सकता है।
—
डिक्रान मार्सुपियल
"उचित क्रॉस सत्यापन पहले से ही इस समस्या से लड़ता है, लेकिन ऐसा लगता है कि इस समस्या से कहीं अधिक है।" हां: समस्या अभी भी क्रॉस सत्यापन के अनुमान का विचरण है (कई परीक्षण समस्याग्रस्त के साथ संयुक्त)। अगर मुझे समय मिलता है, तो मैं आपके संबंधित प्रश्न का उत्तर लिखूंगा।
—
केबिले मोनिका जूल