छोटे नमूने-आकार के डेटा के लिए प्रशिक्षण, क्रॉस-सत्यापन, और परीक्षण सेट आकार कैसे चुनें?

Question

मान लें कि मेरे पास एक छोटा नमूना आकार है, जैसे कि एन = 100, और दो वर्ग। मुझे मशीन लर्निंग के लिए प्रशिक्षण, क्रॉस-सत्यापन, और परीक्षण सेट आकार कैसे चुनना चाहिए?

मैं सहजता से चुनूंगा

• प्रशिक्षण सेट आकार 50 के रूप में
• क्रॉस सत्यापन सेट आकार 25, और
• 25 के रूप में परीक्षण का आकार।

लेकिन शायद यह कम या ज्यादा समझ में आता है। मुझे वास्तव में इन मूल्यों को कैसे तय करना चाहिए? क्या मैं विभिन्न विकल्पों की कोशिश कर सकता हूं (हालांकि मुझे लगता है कि यह इतना बेहतर नहीं है ... सीखने की संभावना बढ़ गई)?

क्या होगा अगर मेरे पास दो से अधिक कक्षाएं थीं?

Comments

मेरे लिए 100 बहुत छोटा है। मैं क्रॉस-सत्यापन और परीक्षण मूल्यांकन दोनों के लिए एक-एक-बाहर की रणनीति का विकल्प चुनूंगा।

— मेमोरियल

मैंने इस पर कोई साहित्य नहीं देखा है (सत्यापन के लिए न्यूनतम नमूना आकार)। यकीन नहीं है कि क्यों। एक महत्वपूर्ण मुद्दे की तरह लगता है।

— चार्ल्स

Answer 1

• आपको निश्चित रूप से बहुत समान प्रश्न मिला: K- गुना क्रॉस-सत्यापन में कश्मीर की पसंद ?
  (रॉन कोहावी के काम की कड़ी सहित)

• यदि आपका नमूना आकार पहले से ही छोटा है, तो मैं किसी भी डेटा संचालित अनुकूलन से बचने की सलाह देता हूं। इसके बजाय, अपने आप को उन मॉडलों के लिए सीमित करें जहां आप मॉडल और एप्लिकेशन / डेटा के बारे में अपने ज्ञान से हाइपरपरमेटर्स को ठीक कर सकते हैं। यह सत्यापन / परीक्षण स्तरों में से एक को अनावश्यक बनाता है, शेष क्रॉस सत्यापन में सरोगेट मॉडल के प्रशिक्षण के लिए आपके कुछ मामलों को छोड़कर।
  IMHO, आप वैसे भी उस नमूना आकार के साथ बहुत फैंसी मॉडल बर्दाश्त नहीं कर सकते। और लगभग निश्चित रूप से आप किसी भी सार्थक मॉडल की तुलना करने का जोखिम नहीं उठा सकते हैं (जब तक कि आप उचित स्कोरिंग नियमों और बनती विश्लेषण तकनीकों का उपयोग न करें)।
  यह निर्णय के सटीक विकल्प से कहीं अधिक महत्वपूर्ण है (जैसे, 5-गुना बनाम 10-गुना) - महत्वपूर्ण अपवाद के साथ जो बाहर नहीं निकलता है$k$ सामान्य रूप से अनुशंसित।

• दिलचस्प रूप से, इन बहुत छोटे-नमूना-आकार के वर्गीकरण की समस्याओं के साथ, एक सभ्य मॉडल के प्रशिक्षण की तुलना में सत्यापन अक्सर अधिक कठिन (नमूना आकार की जरूरतों के संदर्भ में) होता है। यदि आपको इस पर किसी साहित्य की आवश्यकता है, तो उदाहरण के लिए नमूना आकार योजना पर हमारा पेपर देखें:
  बेलेइट्स, सी। और न्युगेबाउर, यू। और बॉकलिट्ज़, टी। और क्रैफ्ट, सी और पोप, जे .: वर्गीकरण मॉडल के लिए नमूना आकार की योजना। गुदा चिम अधिनियम, 2013, 760, 25-33।
  DOI: 10.1016 / j.aca.2012.11.007
  ने arXiv पर पांडुलिपि स्वीकार किया: 1211.1323

• एक अन्य महत्वपूर्ण बिंदु क्रॉस सत्यापन को पुनरावृत्त / दोहराए जाने की संभावना का अच्छा उपयोग करना है (जो लू के खिलाफ कारणों में से एक है): यह आपको प्रशिक्षण के गड़बड़ी (कुछ अलग मामलों) के खिलाफ भविष्यवाणियों की स्थिरता को मापने की अनुमति देता है डेटा।

  साहित्य:

  • बेलेइट्स, सी। एंड सैल्ज़र, आर .: छोटे नमूना आकार की स्थितियों में बायोमीकल केम, 2008, 390, 1261-1271 में केमोमीट्रिक मॉडल की स्थिरता का आकलन और सुधार।
    DOI: 10.1007 / s00216-007-1818-6
  • डिक्सन, एसजे; हेनरिक, एन।; होल्म्बो, एम।; शेफर, एमएल; रीड, आरआर; ट्रेवेज़ो, जे एंड ब्रेरेटन, आरजी: वर्गीकरण के तरीकों का अनुप्रयोग जब समूह आकार तीन सामान्य दृष्टिकोणों के लिए पूर्व संभाव्यता के समावेश से असमान होते हैं: सिमुलेशन और माउस यूरिनरी केमोसिग्नेल्स के लिए आवेदन, केमोम इन्टेल लैब सिस्ट, 2009, 99, 111-120।
    DOI: 10.1016 / j.chemolab.2009.07.016

• यदि आप होल्ड-आउट टेस्ट सेट (कोई पुनरावृत्तियों / पुनरावृत्तियों) पर एकल रन के लिए निर्णय लेते हैं,

  • ध्यान रखें कि अधिकांश गलतियाँ आप क्रॉस सत्यापन के साथ कर सकते हैं (जो एक आशावादी पूर्वाग्रह पैदा करेगा) एक होल्ड-आउट टेस्ट सेट के साथ भी हो सकती है।
  • प्रदर्शन माप के लिए परिणामी आत्मविश्वास अंतराल की चौड़ाई की जांच करें, और सुनिश्चित करें कि यह परिणामों की सार्थक व्याख्या की अनुमति देता है (नमूना आकार पेपर देखें)।

Comments

शुद्ध रूप से पैरामीटर अनुकूलन और मॉडल जटिलता पर सलाह के लिए +1। लेकिन इस सलाह के सभी शानदार है।

— charles

Answer 2

यह देखते हुए कि आपका नमूना आकार छोटा है एक अच्छा अभ्यास क्रॉस-सत्यापन अनुभाग को छोड़ने और 60 - 40 या 70 - 30 अनुपात का उपयोग करना होगा।

जैसा कि आप क्लेमेंटाइन और डेटा माइनिंग के परिचय के खंड 2.8 में और MSDN लाइब्रेरी में भी देख सकते हैं - डेटा माइनिंग - प्रशिक्षण और परीक्षण सेट एक 70 - 30 अनुपात आम है। एंड्रयू एनजी की मशीन लर्निंग के अनुसार 60 - 20 - 20 अनुपात की सिफारिश की जाती है।

आशा है कि मैं मददगार था। सादर।