क्या यह ओवर-फिटिंग में परिणाम नहीं करता है? क्या मेरे परिणाम अधिक विश्वसनीय होंगे यदि मैंने विश्लेषण के एक भाग के रूप में जैक-चाकू या बूटस्ट्रैप प्रक्रिया को जोड़ा?
क्या यह ओवर-फिटिंग में परिणाम नहीं करता है? क्या मेरे परिणाम अधिक विश्वसनीय होंगे यदि मैंने विश्लेषण के एक भाग के रूप में जैक-चाकू या बूटस्ट्रैप प्रक्रिया को जोड़ा?
जवाबों:
मुझे लगता है कि एक मॉडल बनाना और उसका परीक्षण करना अलग चीजें हैं। बैकवर्ड एलिमिनेशन मॉडल बिल्डिंग का हिस्सा है। जैक चाकू और बूटस्ट्रैप का उपयोग इसका परीक्षण करने के लिए अधिक किया जाता है।
आप निश्चित रूप से साधारण बैकवर्ड एलिमिनेशन की तुलना में बूटस्ट्रैप और जैक चाकू के साथ अधिक विश्वसनीय अनुमान लगा सकते हैं। लेकिन अगर आप वास्तव में ओवरफिटिंग का परीक्षण करना चाहते हैं, तो अंतिम परीक्षण एक विभाजन-नमूना है, कुछ पर ट्रेन करें, दूसरों पर परीक्षण करें। इस उद्देश्य के लिए छुट्टी-वन-आउट बहुत अस्थिर / अविश्वसनीय है: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html
मुझे लगता है कि मॉडल की मजबूती के अधिक स्थिर अनुमान प्राप्त करने के लिए कम से कम 10% विषयों की आवश्यकता है। और यदि आपके पास 20 विषय हैं, तो 2 विषय अभी भी बहुत कम हैं। लेकिन फिर यह सवाल बन जाता है कि क्या आपके पास एक ऐसा मॉडल बनाने के लिए पर्याप्त बड़ा नमूना है जिसे बाकी आबादी पर लागू किया जा सकता है।
आशा है कि इसने आपके प्रश्न का उत्तर कम से कम भाग में दिया है।