K- गुना क्रॉस-सत्यापन के बाद एक पूर्वानुमान मॉडल का चयन कैसे करें?

148

मैं सोच रहा हूं कि के-फोल्ड क्रॉस-वैरिफिकेशन करने के बाद एक प्रेडिक्टिव मॉडल कैसे चुना जाए।

यह अजीबोगरीब तरीके से किया जा सकता है, इसलिए मुझे और अधिक विस्तार से समझाएं: जब भी मैं K- गुना क्रॉस-सत्यापन चलाते हैं, मैं प्रशिक्षण डेटा के K सबसेट का उपयोग करता हूं, और K विभिन्न मॉडलों के साथ समाप्त होता हूं।

मैं जानना चाहूंगा कि K मॉडल में से किसी एक को कैसे चुना जाए, ताकि मैं इसे किसी को प्रस्तुत कर सकूं और कह सकूं "यह सबसे अच्छा मॉडल है जिसे हम उत्पादित कर सकते हैं।"

क्या K मॉडल में से किसी एक को चुनना ठीक है? या किसी प्रकार का सर्वोत्तम अभ्यास शामिल है, जैसे कि मॉडल को चुनना जो माध्य परीक्षण त्रुटि को प्राप्त करता है?

cross-validation model-selection

— बर्क यू।
स्रोत

2

आपको निम्नलिखित प्रश्न के उत्तर मददगार मिल सकते हैं: आंकड़े.stackexchange.com/questions/2306/…

— BGreene

आपको 5 गुना CV को 100 बार दोहराने और पर्याप्त परिशुद्धता प्राप्त करने के लिए परिणामों को औसत करने की आवश्यकता होगी। और @bogdanovist से जवाब हाजिर है। आप बूटस्ट्रैप से कम मॉडल फिट के साथ सटीकता अनुमान का एक ही सटीक प्राप्त कर सकते हैं।

— फ्रैंक हरेल

@ फ्रेंक हरेल, आप क्यों कहते हैं कि 100 पुनरावृत्ति आवश्यक है (मैं आमतौर पर 10 गुना 10 प्रतिनिधि का उपयोग करता हूं), क्या यह अंगूठे का एक नियम है क्योंकि ओपी ने कोई बारीकियां नहीं दीं?

— १४:

2

10-गुना cv के लिए यह do दोहराता है। 5-गुना के साथ अधिक दोहराव की आवश्यकता होगी। ये अंगूठे के नियम हैं। एक एकल 10-गुना cv को एक अस्थिर उत्तर दिया जाएगा, अर्थात, 10 विभाजन को दोहराएंगे और आपको चिंता करने के लिए एक अलग उत्तर मिलेगा।

\geq 50

$\geq 50$

— फ्रैंक हरेल

लगभग एक सटीक डुप्लिकेट: आँकड़ें ।stackexchange.com / questions / 11602 जिसमें बहुत सारे योग्य उत्तर हैं। शायद इन धागों का विलय हो जाना चाहिए लेकिन मुझे यकीन नहीं है कि यह किस दिशा में है। दोनों ने जवाब स्वीकार किए हैं जो बहुत अच्छे हैं। लेकिन दूसरा एक बड़ा है और उसके पास अधिक विचार / अपवोट्स हैं, इसलिए इस एक को उस एक में विलय करने का अर्थ हो सकता है।

— अमीबा

200

मुझे लगता है कि क्रॉस-वेलिडेशन के उद्देश्य की समझ में आप अभी भी कुछ याद कर रहे हैं।

आइए कुछ शब्दावली को सीधे प्राप्त करें, आम तौर पर जब हम कहते हैं कि 'एक मॉडल' हम यह बताने के लिए एक विशेष पद्धति का उल्लेख करते हैं कि कुछ इनपुट डेटा किस तरह से संबंधित है जिसे हम भविष्यवाणी करने की कोशिश कर रहे हैं। हम आम तौर पर अलग-अलग मॉडल के रूप में उस पद्धति के विशेष उदाहरणों का उल्लेख नहीं करते हैं। तो आप कह सकते हैं कि 'मेरे पास एक रेखीय प्रतिगमन मॉडल है' लेकिन आप प्रशिक्षित गुणांक के दो अलग-अलग सेटों को अलग-अलग मॉडल नहीं कहेंगे। कम से कम मॉडल चयन के संदर्भ में नहीं।

तो, जब आप K- गुना क्रॉस सत्यापन करते हैं, तो आप परीक्षण कर रहे हैं कि आपका मॉडल कितनी अच्छी तरह से कुछ डेटा द्वारा प्रशिक्षित करने में सक्षम है और फिर डेटा का अनुमान नहीं लगाया है। हम इसके लिए क्रॉस सत्यापन का उपयोग करते हैं क्योंकि यदि आप अपने पास मौजूद सभी डेटा का उपयोग करके प्रशिक्षण लेते हैं, तो आपके पास परीक्षण के लिए कोई भी नहीं बचा है। आप ऐसा एक बार कर सकते हैं, कह सकते हैं कि 80% डेटा का उपयोग करके प्रशिक्षित करें और 20% का परीक्षण करें, लेकिन क्या होगा यदि आप परीक्षण करने के लिए 20% का उपयोग करते हैं, तो उन बिंदुओं का एक गुच्छा होता है जो विशेष रूप से आसान होते हैं (या विशेष रूप से कठिन) भविष्यवाणी करना? हम सीखने और भविष्यवाणी करने की मॉडल क्षमता के सर्वोत्तम अनुमान के साथ नहीं आए हैं।

हम सभी डेटा का उपयोग करना चाहते हैं। इसलिए 80/20 के विभाजन के उपरोक्त उदाहरण को जारी रखने के लिए, हम मॉडल को 5% पर 80% डेटा और 20% पर परीक्षण करके 5 गुना क्रॉस सत्यापन करेंगे। हम सुनिश्चित करते हैं कि प्रत्येक डेटा बिंदु ठीक एक बार सेट किए गए 20% परीक्षण में समाप्त हो। इसलिए हमने प्रत्येक डेटा बिंदु का उपयोग किया है, हमें यह समझने में योगदान देना होगा कि हमारा मॉडल कुछ डेटा से सीखने और अपने नए डेटा की भविष्यवाणी करने के कार्य को कितनी अच्छी तरह से करता है।

लेकिन क्रॉस-वैलिडेशन का उद्देश्य हमारे अंतिम मॉडल के साथ नहीं आना है। हम किसी भी वास्तविक भविष्यवाणी को करने के लिए अपने प्रशिक्षित मॉडल के इन 5 उदाहरणों का उपयोग नहीं करते हैं। इसके लिए हम उन सभी डेटा का उपयोग करना चाहते हैं जिन्हें हमें सबसे अच्छे मॉडल के साथ लाना है। क्रॉस-वैलिडेशन का उद्देश्य मॉडल की जाँच है, न कि मॉडल बिल्डिंग।

अब, मान लें कि हमारे पास दो मॉडल हैं, एक रैखिक प्रतिगमन मॉडल और एक तंत्रिका नेटवर्क कहते हैं। हम कैसे कह सकते हैं कि कौन सा मॉडल बेहतर है? हम K- गुना क्रॉस-सत्यापन कर सकते हैं और देख सकते हैं कि कौन सा परीक्षण सेट बिंदुओं की भविष्यवाणी करने में बेहतर साबित होता है। लेकिन एक बार जब हमने बेहतर प्रदर्शन करने वाले मॉडल का चयन करने के लिए क्रॉस-वैलिडेशन का उपयोग किया है, तो हम सभी डेटा पर उस मॉडल (चाहे वह रैखिक प्रतिगमन या तंत्रिका नेटवर्क हो) को प्रशिक्षित करते हैं। हम अपने अंतिम पूर्वानुमान मॉडल के लिए क्रॉस-वैलिडेशन के दौरान प्रशिक्षित वास्तविक मॉडल उदाहरणों का उपयोग नहीं करते हैं।

ध्यान दें कि एक तकनीक है जिसे बूटस्ट्रैप एकत्रीकरण कहा जाता है (आमतौर पर 'बैगिंग' को छोटा किया जाता है) जो एक तरह से निर्मित मॉडल उदाहरणों का उपयोग करता है, जो एक पहनावा मॉडल बनाने के लिए क्रॉस-वैरिफिकेशन के समान होता है, लेकिन यह एक उन्नत तकनीक है जो दायरे से परे है अपने सवाल यहाँ

— Bogdanovist
स्रोत

8

मैं पूरी तरह से इस बिंदु से सहमत हूं और सभी डेटा का उपयोग करने के बारे में सोचा। उस ने कहा, अगर हम अपने अंतिम मॉडल को पूरे डेटा सेट का उपयोग करके प्रशिक्षित करते हैं, तो यह परिणाम ओवरफिट नहीं होगा और जिससे भविष्य की भविष्यवाणियां हो सकती हैं?

— बर्क यू।

19

नहीं! ओवरफिटिंग का मॉडल जटिलता के साथ क्या करना है, इसका मॉडल को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा से कोई लेना-देना नहीं है। मॉडल की जटिलता का उपयोग उस विधि के साथ करना है जो उसके मापदंडों को नहीं मानती है। उदाहरण के लिए कि एक प्रतिगमन मॉडल में x ^ 2 सह-प्रभावकारक के साथ-साथ x सह-प्रभावक शामिल करना है या नहीं।

— बोगदानोविस्ट

17

@Bogdanovist: मैं बल्कि कहता हूं कि ओवरफिटिंग के लिए बहुत कम प्रशिक्षण मामलों के साथ एक मॉडल को भी जटिल करना पड़ता है। तो यह (भी) प्रशिक्षण मामलों की संख्या के साथ करना है। लेकिन अधिक प्रशिक्षण मामलों के होने से ओवरफिटिंग (लगातार मॉडल जटिलता के लिए) का खतरा कम हो जाएगा।

— cbeleites

3

@Bogdanovist For that we want to use all the data we have to come up with the best model possible.- जब K- गुना क्रॉस सत्यापन के साथ ग्रिड खोज करते हैं, तो क्या इसका मतलब है कि आप ग्रिड खोज के द्वारा पाए गए सर्वोत्तम पैरामन्स का उपयोग करेंगे और पूरे प्रशिक्षण डेटा पर एक मॉडल फिट करेंगे, और फिर परीक्षण सेट का उपयोग करके सामान्यीकरण प्रदर्शन का मूल्यांकन करेंगे?

— arun

4

@ वरुण, यदि आपने k- गुना क्रॉस सत्यापन का उपयोग किया है और सर्वोत्तम मापदंडों और हाइपर-मापदंडों के साथ सर्वश्रेष्ठ मॉडल का चयन किया है, तो प्रशिक्षण सेट पर अंतिम मॉडल को फिट करने के बाद, आपको फिर से एक का उपयोग करके प्रदर्शन की जांच करने की आवश्यकता नहीं है टेस्ट सेट। ऐसा इसलिए है क्योंकि आपने पहले ही जाँच कर लिया है कि निर्दिष्ट मापदंडों वाला मॉडल अनदेखी डेटा पर कैसा व्यवहार करता है।

— संदीप एस। संधू

29

मुझे बोगडानोविस्ट के जवाब के अलावा कुछ बिंदुओं पर फेंक दें

आप कहते हैं कि रूप में, आप को प्रशिक्षित विभिन्न मॉडलों। वे उस 1 / (k-1) प्रशिक्षण डेटा के अन्य मामलों के खिलाफ अलग है। इन मॉडलों को कभी-कभी सरोगेट मॉडल भी कहा जाता है क्योंकि इन मॉडलों के लिए मापा गया (औसत) प्रदर्शन सभी मामलों में प्रशिक्षित मॉडल के प्रदर्शन के किराए के रूप में लिया जाता है। $k$

अब, इस प्रक्रिया में कुछ धारणाएँ हैं।

मान 1: सरोगेट मॉडल "संपूर्ण डेटा" मॉडल के बराबर हैं।
यह आम बात है कि यह धारणा टूट जाती है, और लक्षण के जाने-माने निराशावादी पूर्वाग्रह है गुना पार सत्यापन (या अन्य resampling आधारित सत्यापन योजनाओं)। सरोगेट मॉडल का प्रदर्शन "पूरे डेटा" मॉडल के प्रदर्शन की तुलना में औसतन बदतर है, अगर सीखने की अवस्था में अभी भी एक सकारात्मक ढलान है (यानी कम प्रशिक्षण नमूने खराब मॉडल की ओर ले जाते हैं)। $k$
अनुमान 2 धारणा 1 का एक कमजोर संस्करण है: भले ही सरोगेट मॉडल पूरे डेटा मॉडल की तुलना में औसतन बदतर हो, हम उन्हें एक दूसरे के बराबर मानते हैं। यह सरोगेट मॉडल के लिए परीक्षा परिणामों को एक औसत प्रदर्शन के रूप में सारांशित करने की अनुमति देता है । मॉडल अस्थिरता इस धारणा के टूटने की ओर ले जाती है: प्रशिक्षण मामलों पर प्रशिक्षित मॉडल का सही प्रदर्शन बहुत भिन्न होता है। आप पुनरावृत्तियों / की पुनरावृत्ति कार्य करके यह आकलन कर सकते हैं (करने के लिए नई यादृच्छिक कार्य गुना पार सत्यापन सबसेट) और एक ही मामले के लिए अलग सरोगेट मॉडल की भविष्यवाणियों के बीच विचरण (यादृच्छिक मतभेद) को देखकर। $k$
$N \frac{k - 1}{k}$ $k$ $k$
मामलों की परिमित संख्या का मतलब है कि प्रदर्शन माप परीक्षण के मामलों की परिमित संख्या के कारण एक यादृच्छिक त्रुटि (विचरण) के अधीन होगा। विचरण का यह स्रोत मॉडल के उदाहरण से भिन्न होता है (और इस तरह जोड़ता है)।

देखे गए प्रदर्शन में अंतर, विचरण के इन दो स्रोतों के कारण है।

आप जिस "चयन" के बारे में सोचते हैं, वह डेटा सेट चयन है: सरोगेट मॉडल में से किसी एक का चयन करने का अर्थ है प्रशिक्षण नमूनों का सबसेट चुनना और यह दावा करना कि प्रशिक्षण नमूनों का यह सबसेट एक बेहतर मॉडल की ओर ले जाता है। हालांकि यह वास्तव में मामला हो सकता है, आमतौर पर "श्रेष्ठता" सहज है। किसी भी मामले में, सरोगेट मॉडल का "सबसे अच्छा" चुनना एक डेटा-संचालित अनुकूलन है, आपको नए अज्ञात डेटा के साथ इस चुने हुए मॉडल को मान्य (मापना) करना होगा। इस क्रॉस सत्यापन के भीतर निर्धारित परीक्षण स्वतंत्र नहीं है क्योंकि इसका उपयोग सरोगेट मॉडल का चयन करने के लिए किया गया था।

आप हमारे कागज को देखना चाह सकते हैं, यह वर्गीकरण के बारे में है जहां चीजें आमतौर पर प्रतिगमन से भी बदतर होती हैं। हालांकि, यह दिखाता है कि विचरण और पूर्वाग्रह के ये स्रोत कैसे जुड़ते हैं।
Beleites, C. और Neugebauer, U. और Bocklitz, T. और Krafft, C. और Popp, J .: वर्गीकरण मॉडलों के लिए नमूना आकार योजना। गुदा चिम अधिनियम, 2013, 760, 25-33।
DOI: 10.1016 / j.aca.2012.11.007
ने arXiv पर पांडुलिपि स्वीकार किया: 1211.1323

— cbeleites
स्रोत

जब आप कहते हैं कि आप और बोगदानोविक असहमति में हैं

picking "the best" of the surrogate models is a data-driven optimization, you'd need to validate (measure performance) this picked model with new unknown data. The test set within this cross validation is not independent as it was used to select the surrogate model.

और उनका कहना है कि

But once we have used cross-validation to select the better performing model, we train that model (whether it be the linear regression or the neural network) on all the data.

यह काफी सामान्य है और यह महत्वपूर्ण है कि एक मानकीकृत दृष्टिकोण निर्दिष्ट है

— jpcgandre

विशेष रूप से छोटे डेटासेट के लिए जहां शायद CV से डेटा छोड़ना संभव नहीं है, लेकिन आपके मॉडल को ओवरफिट करने का जोखिम भी अधिक है! इस मुद्दे को स्पष्ट करने के लिए संदर्भों की आवश्यकता है।

— jpcgandre

5

@jpcgandre: मुझे कोई असहमति नहीं दिखती। बोगडानोविस्ट बताते हैं कि वास्तव में हाइपरपरमेटर्स से पसंद के मॉडल की गणना कैसे करें जो क्रॉस सत्यापन के माध्यम से चुने गए थे, और मैंने कहा कि इस तरह के चयन के बाद, मॉडल को सत्यापन के दूसरे (बाहरी) स्वतंत्र स्तर से गुजरना पड़ता है। दूसरे शब्दों में, उदाहरण के लिए एक नेस्टेड सत्यापन डिज़ाइन: हाइपरपरमीटर चयन के लिए आंतरिक सत्यापन लूप, चयनित मॉडलों के परीक्षण के लिए बाहरी लूप (यदि आपके पास पर्याप्त मामले हैं, तो आप एक स्वतंत्र परीक्षण सेट के लिए भी जा सकते हैं)।

— cbeleites

5

आंतरिक / बाहरी सत्यापन सेट क्रॉस सत्यापन के लिए है जिसे डबल या नेस्टेड क्रॉस सत्यापन के रूप में जाना जाता है, मैंने इसे क्रॉस मॉडल सत्यापन ( dx.doi.org/10.1016/j.chemolab.2006.04.021 ) भी देखा है । स्वतंत्र परीक्षण सेट के साथ यह तीन सेटों में विभाजन से मेल खाती है: ट्रेन / (अनुकूलन) सत्यापन / परीक्षण (= अंतिम सत्यापन)। यदि आपके पास इतने कम मामले हैं कि आप दूसरे स्तर के सीवी के लिए डेटा नहीं छोड़ सकते हैं, तो मेरा तर्क है कि आपको हाइपरपरमीटर सेट में से एक का चयन करके ऑप्टिमाइज़ करने की कोशिश करने के बजाय अपने हाइपरपरमेटर्स को अन्य तरीकों से ठीक करना चाहिए।

— cbeleites

@cbeleites मेरा एक सवाल है। फिर अंतिम मॉडल मापदंडों को प्राप्त करने के लिए, क्या आप प्रत्येक बाहरी तह से हाइपरपैरामीटर का औसत निकालेंगे, और उस औसतन हाइपरपैरमीटर का उपयोग करके पूरे डेटासेट को पुनः प्राप्त करेंगे? या एक नियमित सीवी में हाइपरपरमेटर खोज कर रहा है, फिर दोहराया नेस्टेड सीवी का उपयोग करके इस पद्धति की स्थिरता की पुष्टि भी काम करती है?

— मिशेल

11

मुझे यह उत्कृष्ट लेख मिला कि मशीन लर्निंग में सीवी के उपयोग के बारे में मेरे पास मौजूद सभी भ्रमों को दूर करने में एक अंतिम मशीन लर्निंग मॉडल को कैसे प्रशिक्षित किया जाए ।

मूल रूप से हम सीवी (उदाहरण के लिए 80/20 स्प्लिट, के-फोल्ड आदि) का उपयोग करते हैं ताकि यह अनुमान लगाया जा सके कि आपकी पूरी प्रक्रिया (डेटा इंजीनियरिंग, मॉडल की पसंद (यानी एल्गोरिदम) और हाइपर-पैरामीटर आदि) कितनी अच्छी तरह से भविष्य की अनदेखी पर प्रदर्शन करेगी। डेटा। और एक बार जब आप विजेता "प्रक्रिया" चुन लेते हैं, तो CV से फिट किए गए मॉडल ने अपना उद्देश्य पूरा कर लिया है और अब इसे छोड़ दिया जा सकता है। फिर आप एक ही विजेता "प्रक्रिया" का उपयोग करते हैं और पूरे डेटा सेट का उपयोग करके अपने अंतिम मॉडल को प्रशिक्षित करते हैं।

— पैट्रिक एन.जी.
स्रोत

1

यह एक बहुत ही दिलचस्प सवाल है। इसे स्पष्ट करने के लिए, हमें मॉडल और मॉडल मूल्यांकन के अंतर को समझना चाहिए। हम एक मॉडल बनाने के लिए पूर्ण प्रशिक्षण सेट का उपयोग करते हैं, और हमें उम्मीद है कि इस मॉडल का अंततः उपयोग किया जाएगा।

K गुना क्रॉस मूल्यांकन K मॉडल का निर्माण करेगा लेकिन सभी को गिरा दिया जाएगा। K मॉडल केवल मूल्यांकन के लिए उपयोग किया जाता है। और यह सिर्फ आपको यह बताने के लिए कि यह मॉडल आपके डेटा के साथ कितनी अच्छी तरह फिट बैठता है, का उत्पादन किया है।

उदाहरण के लिए, आप LinearRegression algo को चुनते हैं और एक ही प्रशिक्षण सेट पर दो ऑपरेशन करते हैं: एक 10 गुना क्रॉस सत्यापन के साथ और दूसरा 20 गुना के साथ। प्रतिगमन (या क्लासिफायरियर) मॉडल समान होना चाहिए, लेकिन सहसंबंध गुणांक और रूट सापेक्ष चुकता त्रुटि अलग हैं।

नीचे 10 गुना के लिए दो रन और weka के साथ 20 गुना क्रॉस सत्यापन है

10 गुना के साथ 1 रन

=== Run information ===
Test mode:    10-fold cross-validation
...
=== Classifier model (full training set) ===


Linear Regression Model  <---- This model is the same

Date = 844769960.1903 * passenger_numbers -711510446549.7296

Time taken to build model: 0 seconds

=== Cross-validation ===  <---- Hereafter produced different metrics
=== Summary ===

Correlation coefficient                  0.9206
Mean absolute error                35151281151.9807
Root mean squared error            42707499176.2097
Relative absolute error                 37.0147 %
Root relative squared error             38.9596 %
Total Number of Instances              144

20 रन के साथ 2 रन

=== Run information ===
...
Test mode:    20-fold cross-validation

=== Classifier model (full training set) ===


Linear Regression Model   <---- This model is the same

Date = 844769960.1903 * passenger_numbers -711510446549.7296

Time taken to build model: 0 seconds

=== Cross-validation ===  <---- Hereafter produced different metrics
=== Summary ===

Correlation coefficient                  0.9203
Mean absolute error                35093728104.8746
Root mean squared error            42790545071.8199
Relative absolute error                 36.9394 %
Root relative squared error             39.0096 %
Total Number of Instances              144

— कनहुआ ली
स्रोत

0

मुझे यकीन नहीं है कि ऊपर चर्चा पूरी तरह से सही है। क्रॉस-मान्यता में, हम प्रत्येक रन के लिए डेटा को प्रशिक्षण और परीक्षण में विभाजित कर सकते हैं। अकेले प्रशिक्षण डेटा का उपयोग करते हुए, किसी को मॉडल को फिट करने और मॉडल के प्रत्येक वर्ग में ट्यूनिंग मापदंडों को चुनने की आवश्यकता होती है। उदाहरण के लिए, न्यूरल नेट्स में ट्यूनिंग पैरामीटर न्यूरॉन्स की संख्या और सक्रियण फ़ंक्शन के विकल्प हैं। ऐसा करने के लिए, अकेले प्रशिक्षण डेटा में एक क्रॉस-मान्य होता है ।

एक बार प्रत्येक कक्षा में सबसे अच्छा मॉडल मिल जाने के बाद, परीक्षण डेटा का उपयोग करके सर्वश्रेष्ठ फिट मॉडल का मूल्यांकन किया जाता है। "बाहरी" क्रॉस-सत्यापन लूप का उपयोग परीक्षण डेटा प्रदर्शन के साथ-साथ परिवर्तनशीलता पर एक अनुमान लगाने के लिए बेहतर अनुमान देने के लिए किया जा सकता है। एक चर्चा फिर विभिन्न वर्गों के लिए परीक्षण प्रदर्शन की तुलना कह सकती है कि न्यूरल नेट्स बनाम एसवीएम। एक मॉडल वर्ग चुना जाता है, जिसमें मॉडल का आकार निश्चित होता है, और अब संपूर्ण डेटा का उपयोग सबसे अच्छा मॉडल सीखने के लिए किया जाता है।

अब, यदि आपके मशीन लर्निंग एल्गोरिदम के हिस्से के रूप में आप लगातार सर्वश्रेष्ठ मॉडल वर्ग (हर सप्ताह कहते हैं) का चयन करना चाहते हैं, तो भी इस विकल्प को प्रशिक्षण डेटा में मूल्यांकन करने की आवश्यकता है! यदि यह एक गतिशील विकल्प है, तो मॉडल वर्ग की पसंद को आंकने के लिए टेस्ट डेटा माप का उपयोग नहीं किया जा सकता है।

— DataExplorer
स्रोत

0

हम k- गुना क्रॉस सत्यापन का उपयोग क्यों करते हैं?

क्रॉस-मान्यता अनदेखी डेटा पर एक विधि के कौशल का अनुमान लगाने की एक विधि है। जैसे ट्रेन-टेस्ट स्प्लिट का उपयोग करना।

क्रॉस-सत्यापन व्यवस्थित रूप से डेटासेट के कई सबसेट पर कई मॉडल बनाता है और उनका मूल्यांकन करता है। यह बदले में, प्रदर्शन के उपायों की आबादी प्रदान करता है ।

हम इन उपायों के माध्यम से यह अनुमान लगा सकते हैं कि औसत रूप से यह प्रक्रिया कितनी अच्छी है।
हम इन उपायों के मानक विचलन की गणना कर सकते हैं ताकि यह पता चल सके कि प्रक्रिया का कौशल अभ्यास में भिन्न होने की कितनी उम्मीद है।

जब आप कौन सा एल्गोरिथम और डेटा तैयार करने की प्रक्रिया का उपयोग करने का चयन करने की कोशिश कर रहे हैं, तो यह एक प्रक्रिया की दूसरी प्रक्रिया की तुलना में अधिक सूक्ष्मता प्रदान करने के लिए भी सहायक है।

इसके अलावा, यह जानकारी अमूल्य है क्योंकि आप अभ्यास में मशीन सीखने की प्रक्रिया पर अपेक्षित प्रदर्शन पर एक विश्वास अंतराल देने के लिए माध्य और प्रसार का उपयोग कर सकते हैं।

संदर्भ

— सईद
स्रोत