संक्षिप्त उत्तर: दोनों सत्यापन तकनीकों में कई मॉडलों का प्रशिक्षण और परीक्षण शामिल है।
यह कैसे करना है के बारे में लंबा जवाब: यह निश्चित रूप से निर्भर करता है। लेकिन यहाँ कुछ विचार हैं जिनका उपयोग मैं अपने निर्णयों को सत्यापन के बारे में मार्गदर्शन करने के लिए करता हूँ। मैं रसायनज्ञ हूँ, इसलिए ये रणनीतियाँ और भी शब्द कमोबेश विश्लेषणात्मक-रासायनिक समस्याओं से जुड़े हैं।
अपने विचारों को थोड़ा समझाने के लिए, मैं मॉडल गुणवत्ता को मापने के रूप में सत्यापन के बारे में सोचता हूं , और मॉडल के मापदंडों को मापने के रूप में प्रशिक्षण - यह हर दूसरे प्रकार के माप के लिए काफी शक्तिशाली सादृश्य की ओर जाता है।
सत्यापन के संबंध में इन दृष्टिकोणों के दो अलग-अलग बिंदु हैं:
सत्यापन को फिर से शुरू करने के लिए एक पारंपरिक दृष्टिकोण है: resampled डेटा सेट (कभी-कभी सरोगेट डेटा सेट या सबसेट कहा जाता है) व्यावहारिक रूप से मूल (वास्तविक) डेटा सेट के समान होता है।
इसलिए, सरोगेट डेटा सेट के लिए एक "सरोगेट मॉडल" व्यावहारिक रूप से वैसा ही है जैसा कि मॉडल पूरे वास्तविक डेटा सेट के साथ फिट होता है। लेकिन कुछ नमूनों को सरोगेट डेटा सेट से बाहर छोड़ दिया जाता है, मॉडल इनमें से स्वतंत्र है। इस प्रकार, मैं सरोगेट मॉडल के लिए स्वतंत्र सत्यापन के रूप में उन लेफ्ट आउट या आउट-ऑफ-बूटस्ट्रैप के नमूने लेता हूं और परिणाम का उपयोग पूरे डेटा-मॉडल के सन्निकटन के रूप में करता हूं।
हालांकि, सरोगेट मॉडल अक्सर पूरे डेटा-मॉडल के बराबर नहीं होता है: प्रशिक्षण के लिए कम नमूनों का उपयोग किया गया था (यहां तक कि बूटस्ट्रैप के लिए, विभिन्न नमूनों की संख्या कम है)। जब तक लर्निंग कर्व बढ़ता जा रहा है, सरोगेट मॉडल पूरे डाटा-मॉडल की तुलना में थोड़ा खराब है। यह पुनरुत्थान सत्यापन का प्रसिद्ध निराशावादी पूर्वाग्रह है (यदि आप एक आशावादी पूर्वाग्रह के साथ समाप्त होते हैं, तो यह आमतौर पर एक संकेतक है कि बाएं-आउट / ओब परीक्षण सेट मॉडल से स्वतंत्र नहीं था)।
देखने का दूसरा बिंदु यह है कि रेज़मूलेटेड डेटा सेट पूरे डेटा सेट का एक विकृत संस्करण है। यह जांचना कि सरोगेट मॉडल (या बाएं-ओब नमूने के लिए उनकी भविष्यवाणियां) पूरे डेटा-मॉडल से कैसे भिन्न हैं, फिर प्रशिक्षण डेटा के संबंध में मॉडल स्थिरता के बारे में कुछ बताता है।
इस दृष्टिकोण से, सरोगेट मॉडल बार-बार माप की तरह कुछ हैं। मान लें कि आपका कार्य अयस्क की पूरी ट्रेन के कुछ खनिज की सामग्री को मापना है। अयस्क सजातीय नहीं है। इसलिए आप विभिन्न स्थानों से भौतिक नमूने लेते हैं और फिर ट्रेन में समग्र सामग्री और इसकी भिन्नता को देखते हैं। इसी तरह, यदि आपको लगता है कि आप मॉडल स्थिर नहीं हो सकते हैं, तो आप सरोगेट मॉडल के समग्र प्रदर्शन और भिन्नता को देख सकते हैं।
n
मैं आमतौर पर मामलों को फिर से जोड़ता हूं, जैसे एक मामला = एक मरीज के सभी माप। फिर आउट-ऑफ-बैग सभी रोगी हैं जिनमें से कोई भी डेटा प्रशिक्षण डेटा में नहीं होता है। यह उपयोगी है यदि आप जानते हैं कि एक मामले के माप अन्य मामलों के माप की तुलना में एक दूसरे के समान हैं (या कम से कम आप इस संभावना को बाहर नहीं कर सकते हैं)।
ऐसा नहीं है कि सत्यापन को फिर से खोलना आपको अज्ञात नमूनों के प्रदर्शन को मापने की अनुमति देता है । यदि इसके अलावा आप अज्ञात भविष्य के नमूनों (इंस्ट्रूमेंटल ड्रिफ्ट!) के लिए प्रदर्शन को मापना चाहते हैं , तो आपको एक परीक्षण सेट की आवश्यकता होती है जिसे "भविष्य में" मापा जाता है अर्थात सभी प्रशिक्षण नमूनों को मापने के एक निश्चित समय के बाद। विश्लेषणात्मक रसायन विज्ञान में, यह आवश्यक है यदि आप यह जानना चाहते हैं कि आपको कितनी बार अपने साधन के अंशांकन को फिर से करने की आवश्यकता है (प्रत्येक निर्धारण के लिए, दैनिक, साप्ताहिक, मासिक, ...)
बूटस्ट्रैप बनाम क्रॉस सत्यापन शब्दावली :
- प्रतिस्थापन के साथ रेज़म्पलिंग को अक्सर बूटस्ट्रैप कहा जाता है,
- प्रतिस्थापन-सत्यापन के बिना पुनरुत्पादन।
दोनों में किसी न किसी प्रकार का स्तरीकरण हो सकता है। ऐतिहासिक रूप से, क्रॉस वेलिडेशन के लिए विभाजन (कम से कम केमोमेट्रिक्स में) अक्सर गैर-यादृच्छिक फैशन में किया जाता है, उदाहरण के लिए एबीसीबीसी..एबीसी (डेटा सेट सॉर्टेड wrt। कैलिब्रेशन / के लिए परिणाम सेट करें) का 3 गुना क्रॉस सत्यापन। प्रतिगमन यदि आपके पास बहुत कम मामले (भौतिक नमूने) हैं, और आप यह सुनिश्चित करना चाहते हैं कि आपकी पूरी डेटा सीमा कवर हो।
दोनों तकनीकों को आमतौर पर कई बार दोहराया जाता है। ऐतिहासिक कारणों से और कम से कम केमोमेट्रिक्स में, k- गुना क्रॉस सत्यापन अक्सर प्रशिक्षण मॉडल का परीक्षण करता है (प्रत्येक को परीक्षण में शामिल नहीं किए गए डेटा के 1 / kth के साथ परीक्षण किया गया है)। यदि इस तरह के एक यादृच्छिक विभाजन को दोहराया जाता है, तो लोग इसे पुनरावृत्त या दोहराया क्रॉस सत्यापन कहते हैं।
ककnnn
- ध्यान दें कि बूटस्ट्रैप कुछ मॉडल फिटिंग तकनीकों के लिए उपयुक्त नहीं है जो पहले डुप्लिकेट माप को हटाते हैं।
- बूटस्ट्रैप के कुछ वेरिएंट मौजूद हैं, जैसे .632-बूटस्ट्रैप और .632 + -बूटस्ट्रैप
कक