प्रशिक्षण सेट की कितनी बड़ी जरूरत है?

Question

क्या एक सामान्य विधि का उपयोग यह निर्धारित करने के लिए किया जाता है कि न्यूनतम दहलीज सामान्यीकरण सटीकता प्राप्त करने के लिए एक क्लासिफ़ायर (इस मामले में एक एलडीए) को प्रशिक्षित करने के लिए कितने प्रशिक्षण नमूने आवश्यक हैं?

मैं पूछ रहा हूं क्योंकि मैं मस्तिष्क-कंप्यूटर इंटरफ़ेस में आमतौर पर आवश्यक अंशांकन समय को कम करना चाहता हूं।

Comments

user2030669, @cbeleites जवाब नीचे शानदार है लेकिन अंगूठे के एक मोटे नियम के रूप में: आपको कम से कम 6 बार मामलों (नमूनों) की संख्या की जरूरत है।

— बिग्रीन

... प्रत्येक कक्षा में। मैंने 5 पी और 3 पी / क्लास की सिफारिशें भी देखी हैं।

— cbeleites मोनिका

Answer 1

आपके द्वारा खोजा जा रहा खोज शब्द "लर्निंग कर्व" है, जो प्रशिक्षण नमूना आकार के कार्य के रूप में औसत (औसत) मॉडल प्रदर्शन देता है।

लर्निंग कर्व बहुत सारी चीजों पर निर्भर करता है, जैसे

• वर्गीकरण विधि
• वर्गीकरण की जटिलता
• कितनी अच्छी तरह से कक्षाएं अलग हो जाती हैं।

(मुझे लगता है कि दो-स्तरीय एलडीए के लिए आप कुछ सैद्धांतिक शक्ति गणना प्राप्त करने में सक्षम हो सकते हैं, लेकिन महत्वपूर्ण तथ्य यह है कि क्या आपका डेटा वास्तव में "बराबर सीओवी मल्टीवीरेट सामान्य" धारणा को पूरा करता है। मैं दोनों एलडीए के लिए कुछ सिमुलेशन के लिए जाऊंगा। मान्यताओं और आपके पहले से मौजूद डेटा को फिर से खोलना)।

$n$

• $n$$n = \infty$
• $n$
  
  $n$

एक और पहलू जिसे आपको ध्यान में रखना पड़ सकता है वह यह है कि आमतौर पर एक अच्छे क्लासिफायरफायर को प्रशिक्षित करना पर्याप्त नहीं है, लेकिन आपको यह भी साबित करना होगा कि क्लासिफायर अच्छा है (या काफी अच्छा)। तो आपको किसी सटीक परिशुद्धता के साथ सत्यापन के लिए आवश्यक नमूना आकार की भी योजना बनाने की आवश्यकता है। यदि आपको इतने सारे परीक्षण मामलों (जैसे निर्माता या उपभोक्ता की सटीकता / संवेदनशीलता / सकारात्मक भविष्य कहनेवाला मूल्य) के बीच सफलताओं के अंश के रूप में इन परिणामों को देने की आवश्यकता है, और अंतर्निहित वर्गीकरण कार्य बल्कि आसान है, तो इसके लिए प्रशिक्षण से अधिक स्वतंत्र मामलों की आवश्यकता हो सकती है एक अच्छा मॉडल।

प्रशिक्षण के लिए अंगूठे के एक नियम के रूप में, नमूना आकार आमतौर पर मॉडल जटिलता (मामलों की संख्या: चर की संख्या) के संबंध में चर्चा की जाती है, जबकि परीक्षण नमूना आकार पर पूर्ण सीमा प्रदर्शन माप की एक आवश्यक परिशुद्धता के लिए दी जा सकती है।

यहां एक पेपर दिया गया है, जहां हमने इन चीजों को और अधिक विस्तार से समझाया है, और यह भी सीखने पर चर्चा की है कि सीखने की
अवस्था को कैसे कम किया जाए: बीलाइट्स, सी। और न्युगेबाउर, यू। और बॉकलिट्ज़, टी। और क्रैफ्ट, सी। और पोप, जे .: नमूना आकार योजना वर्गीकरण मॉडल के लिए। गुदा चिम अधिनियम, 2013, 760, 25-33।
DOI: 10.1016 / j.aca.2012.11.007
ने arXiv पर पांडुलिपि स्वीकार किया: 1211.1323

यह "टीज़र" है, एक आसान वर्गीकरण समस्या दिखा रहा है (हम वास्तव में हमारी वर्गीकरण समस्या में इस तरह से एक आसान अंतर है, लेकिन अन्य वर्गों को भेद करना अधिक कठिन है):

हमने यह निर्धारित करने के लिए बड़े प्रशिक्षण नमूना आकारों को एक्सट्रपलेशन करने की कोशिश नहीं की कि कितने अधिक प्रशिक्षण मामलों की आवश्यकता है, क्योंकि परीक्षण नमूना आकार हमारी अड़चन हैं, और बड़े प्रशिक्षण नमूना आकार हमें और अधिक जटिल मॉडल बनाने देंगे, इसलिए एक्सट्रपलेशन संदिग्ध है। मेरे पास जिस तरह के डेटा सेट हैं, मैं उसके बारे में नए तरीके से मापूंगा, नए मामलों की एक गुच्छा को मापता हूं, यह दिखाता है कि चीजों में कितना सुधार हुआ है, अधिक मामलों को मापें, और इसी तरह।

यह आपके लिए अलग हो सकता है, लेकिन कागज में नमूनों की आवश्यक संख्या का अनुमान लगाने के लिए अतिरिक्त नमूना आकार के लिए एक्सट्रपलेशन का उपयोग करते हुए साहित्य के संदर्भ शामिल हैं।

Comments

मेरे एलडीए के लिए एक नियमितीकरण योजना का उपयोग करने से मुझे छोटे प्रशिक्षण सेट के साथ काम करने की अनुमति मिलेगी?

— Lunat1c

@ user2036690, एक अधिक प्रतिमान मॉडल (कम सुविधाओं) को कम प्रशिक्षण नमूनों की आवश्यकता होगी। एक नियमितीकरण योजना के लिए आवश्यक नमूनों की संख्या को प्रभावित नहीं करेगा, अगर बस कम महत्वपूर्ण विशेषताओं के प्रभाव को कम करेगा। कुछ प्रकार की सुविधा युक्तिकरण एक छोटे से प्रशिक्षण सेट की अनुमति दे सकती है

— BG

फिर भी डेटा-चालित फ़ीचर चयन को भारी मात्रा में नमूनों की आवश्यकता होती है क्योंकि प्रत्येक मॉडल तुलना वास्तव में एक सांख्यिकीय परीक्षण है। विशेषज्ञ ज्ञान द्वारा सुविधा चयन, हालांकि, तुरंत मदद कर सकता है। @Breene: क्या आप इस बात का विस्तार कर सकते हैं कि नियमितीकरण नमूना आकार की आवश्यकताओं को कम करने में मदद नहीं कर सकता है (जैसे एक बीमार कोविरियस मैट्रिक्स पर रिज पर विचार करना)? IMHO यह चमत्कार नहीं कर सकता है, लेकिन यह मदद कर सकता है।

— केबेलाइट्स मोनिका

खैर, एक महाकाव्य चर्चा में आए बिना, मैं रिज या अन्य दंडित प्रतिगमन के बजाय फ्रीडमैन के नियमितीकरण के सूत्रीकरण की बात कर रहा था। लेकिन किसी भी तरह से गुणांक को लसो के रूप में शून्य तक कम नहीं किया जाता है, इसलिए आयामीता अप्रभावित रहती है जिसके परिणामस्वरूप नमूना आकार पर कोई बुरा प्रभाव न पड़े इसके लिए आवश्यक है कि आप ऊपर बताए गए मैट्रिक्स से बचें। क्षमायाचना अगर यह

— जुमलेबाजी

@Breene: कोई जुआ नहीं, मैंने वापस पूछा। दिलचस्प सवाल यह है: डेटा-चालित तरीके से गुणांक को शून्य पर सेट करके कुल डीएफ / जटिलता कितनी कम है । वैसे भी, हम एक अलग कहानी में बह रहे हैं ...

— cbeleites

Answer 2

प्रशिक्षण के नमूने के आकार के बारे में पूछने का अर्थ है कि आप मॉडल सत्यापन के लिए डेटा को वापस रखने जा रहे हैं। यह एक अस्थिर प्रक्रिया है जिसमें एक विशाल नमूना आकार की आवश्यकता होती है। बूटस्ट्रैप के साथ मजबूत आंतरिक सत्यापन अक्सर पसंद किया जाता है। यदि आप उस पथ को चुनते हैं, तो आपको केवल एक नमूना आकार की गणना करने की आवश्यकता है। जैसा कि @cbeleites ने कहा है कि यह अक्सर "प्रति उम्मीदवार चर" घटनाओं का आकलन है, लेकिन आपको बाइनरी परिणाम की संभावना का सटीक अनुमान लगाने के लिए न्यूनतम 96 टिप्पणियों की आवश्यकता होती है, भले ही जांच की जाने वाली कोई विशेषताएं न हों [इसे प्राप्त करने के लिए है] वास्तविक सीमांत संभावना का अनुमान लगाने में 0.1 की त्रुटि का 0.95 विश्वास मार्जिन कि Y = 1]।

सटीकता मूल्यांकन के लिए उचित स्कोरिंग नियमों पर विचार करना महत्वपूर्ण है (उदाहरण के लिए, बैरियर स्कोर और लॉग संभावना / विचलन)। यह भी सुनिश्चित करें कि आप वास्तव में सदस्यता संभावना का अनुमान लगाने के विपरीत टिप्पणियों को वर्गीकृत करना चाहते हैं। उत्तरार्द्ध लगभग हमेशा अधिक उपयोगी होता है क्योंकि यह एक ग्रे ज़ोन की अनुमति देता है।