कमजोर शिक्षार्थियों की "ताकत" पर

22

मैं कलाकारों की टुकड़ी सीखने (जैसे बूस्टिंग) में कमजोर शिक्षार्थियों के बारे में कई बारीकी से संबंधित प्रश्न करता हूं।

यह गूंगा लग सकता है, लेकिन मजबूत शिक्षार्थियों के विपरीत कमजोर का उपयोग करने के क्या लाभ हैं? (उदाहरण के लिए "मजबूत" सीखने के तरीकों को बढ़ावा क्यों नहीं दिया गया?)
क्या कमजोर शिक्षार्थियों के लिए "इष्टतम" ताकत का कोई प्रकार है (उदाहरण के लिए सभी अन्य पहनावा पैरामीटर तय करते हुए)? क्या यह एक "प्यारी जगह" है जब यह उनकी ताकत की बात आती है?
परिणामी पहनावा पद्धति के संबंध में हम एक कमजोर शिक्षार्थी की ताकत को कैसे माप सकते हैं। हम एक पहनावा के उपयोग के सीमांत लाभों को मात्रात्मक रूप से कैसे मापते हैं?
हम यह निर्धारित करने के लिए कई कमजोर शिक्षण एल्गोरिदम की तुलना कैसे करते हैं कि किसी दिए गए पहनावा पद्धति के लिए कौन सा उपयोग करना है?
अगर किसी दिए गए पहनावा के तरीके से मजबूत लोगों की तुलना में कमजोर क्लासिफायर को मदद मिलती है, तो हम कैसे बताएं कि किसी दिए गए क्लासिफायर में पहले से ही "बहुत मजबूत" है, जब इसके साथ बढ़ावा मिलता है?

machine-learning boosting ensemble

16

यह स्पिरिट बैगिंग में अधिक हो सकता है, लेकिन फिर भी:

यदि आपके पास वास्तव में एक मजबूत शिक्षार्थी है, तो किसी भी कलाकारों की टुकड़ी द्वारा इसे सुधारने की कोई आवश्यकता नहीं है।
मैं कहूंगा ... अप्रासंगिक। तुच्छ रूप से सम्मिश्रण और बैगिंग में, एक बहुत मजबूत क्लासिफायर बनाने को बढ़ावा देने में अभिसरण में कुछ भंग हो सकते हैं (यानी एक भाग्यशाली भविष्यवाणी शुद्ध शोर की भविष्यवाणी करने के लिए अगला पुनरावृत्ति कर सकती है और इस प्रकार प्रदर्शन को कम कर सकती है), लेकिन यह आमतौर पर आगे बढ़ने वाले पुनरावृत्तियों में मरम्मत की जाती है।
फिर, यह वास्तविक समस्या नहीं है। उन तरीकों का मूल है
1. समस्या को गहराई से देखने के लिए आंशिक क्लासीफायर को मजबूर करें।
2. शोर में भाग लेने और संकेत को बढ़ाने के लिए उनकी भविष्यवाणियों में शामिल हों।
1) को बढ़ावा देने में कुछ ध्यान देने की आवश्यकता है (यानी अच्छी बूस्टिंग स्कीम, अच्छी तरह से आंशिक शिक्षार्थी का व्यवहार करना - लेकिन यह ज्यादातर पूरे बूस्ट पर प्रयोगों द्वारा आंका जाता है), 2) बैगिंग और सम्मिश्रण में (ज्यादातर कैसे शिक्षार्थियों की सहसंबंध की कमी को सुनिश्चित करने के लिए) और पहनावा से अधिक न करें)। जब तक यह ठीक है, तब तक आंशिक क्लासिफायर की सटीकता एक तीसरे क्रम की समस्या है।

धन्यवाद @mbq क्या इसका मतलब यह है कि कमजोर वर्ग के लोग आमतौर पर मजबूत लोगों की तुलना में पहनावा के तरीकों से अधिक लाभान्वित होते हैं? (यानी बूस्ट करने से कमजोर क्लासिफायर ज्यादा मजबूत होते हैं)। इस अर्थ में, हम कैसे जानते हैं कि किसी दिए गए क्लासिफायरियर एक निश्चित पहनावा विधि के लिए पहले से ही काफी मजबूत है? (उदाहरण के लिए, आप मोटे तौर पर कैसे कह सकते हैं कि आपके पास एक मजबूत शिक्षार्थी है जिसे बढ़ावा देने से ज्यादा फायदा नहीं होगा?)

— अमेलियो वज़केज़-रीना

1

बल्कि केवल कमजोर क्लासिफायर ही सुधार के लिए जगह देते हैं। सामान्य तौर पर ताकत एक सार गुण है और हम वास्तव में इसे माप नहीं सकते हैं। केवल कुछ परीक्षण केवल एक प्रयोग करना और यह जांचना है कि क्या यह सुनिश्चित करने से प्रदर्शन में वृद्धि होती है। यदि हां, तो क्लासिफायर कमजोर था। यदि नहीं, तो ठीक है, हम अभी भी कुछ नहीं जानते हैं।

11

सबसे पहले, "कमजोर" और "मजबूत" की धारणाएं केवल कमजोर रूप से परिभाषित होती हैं। मेरे दृष्टिकोण से उन्हें इष्टतम बेयस क्लासिफायर के सापेक्ष परिभाषित किया जाना चाहिए, जो कि किसी भी प्रशिक्षण एल्गोरिथ्म का लक्ष्य है। इसे ध्यान में रखते हुए, तीन बिंदुओं पर मेरा उत्तर इस प्रकार है।

कम्प्यूटेशनल जैसा कि मैं इसे देखता हूं। सबसे कमजोर शिक्षार्थियों मैं जानता हूँ कि कम्प्यूटेशनल रूप से तेज़ हैं (और अन्यथा विचार के लायक नहीं हैं)। पहनावा सीखने में एक प्रमुख बिंदु यह ठीक है कि हम सरल और तेज़ को जोड़ सकते हैं, लेकिन इतना अच्छा नहीं, शिक्षार्थी और त्रुटि दर में सुधार करते हैं। यदि हम मजबूत (और कम्प्यूटेशनल रूप से अधिक मांग) का उपयोग करते हैं, तो सुधार के लिए सीखने वाले कमरे छोटे हो जाते हैं लेकिन कम्प्यूटेशनल लागत बड़ी हो जाती है, जिससे पहनावे के तरीकों का उपयोग कम दिलचस्प हो जाता है। इसके अलावा, एक एकल मजबूत शिक्षार्थी व्याख्या करना आसान हो सकता है। हालांकि, क्या कमजोर है और क्या मजबूत है यह समस्या और इष्टतम बेयस दर पर निर्भर करता है जिसे हम प्राप्त करने का प्रयास करते हैं। इसलिए, यदि एक शिक्षार्थी जिसे अक्सर मजबूत माना जाता है, तब भी सुधार के लिए जगह छोड़ देता है जब इसे बढ़ावा देने और बढ़ाने के लिए कम्प्यूटेशनल रूप से संभव है, तो बढ़ावा दें ...
यह आपके द्वारा "इष्टतम" को मापने के लिए उपयोग किए जाने वाले मानदंडों पर निर्भर करेगा। त्रुटि दर के संदर्भ में मैं कहूंगा कि (यदि कोई अलग अनुभव है तो मैं किसी भी सुधार का स्वागत करता हूं)। गति के संदर्भ में, हो सकता है, लेकिन मुझे लगता है कि यह अत्यधिक समस्या पर निर्भर है। मैं इसे संबोधित करने वाले किसी भी साहित्य को नहीं जानता, क्षमा करें।
?
क्रॉस सत्यापन, क्रॉस सत्यापन, क्रॉस सत्यापन। भविष्यवाणियों के लक्ष्य के साथ प्रशिक्षण के तरीकों की किसी भी अन्य तुलना की तरह, हमें तुलना के लिए सामान्यीकरण त्रुटि के निष्पक्ष अनुमानों की आवश्यकता होती है, जो कि एक परीक्षण डेटा सेट को अलग करके या क्रॉस सत्यापन द्वारा इसे अनुमानित करके प्राप्त किया जा सकता है।

— NRH
स्रोत

धन्यवाद @ एनआरएच, यह बहुत उपयोगी है। मैंने तीसरे प्रश्न को दो अलग-अलग प्रश्नों में विभाजित किया है, क्योंकि मुझे लगता है कि उन्हें शायद अलग-अलग उत्तरों की आवश्यकता है।

— एमिलियो वाज़केज़-रीना

तो क्या यह पता लगाने का एक तरीका है कि इष्टतम बेयस क्लासिफायरियर के लिए एक क्लासिफायरियर कितना करीब है? अगर यह पहले से ही काफी करीब है तो हम इसमें सुधार नहीं कर सकते हैं।

— highBandWidth

@highBandWidth, यह जानना संभव नहीं है कि बेयस रेट क्या है। यह एक सैद्धांतिक मात्रा है जो अज्ञात वितरण पर निर्भर करती है। सैद्धांतिक मान्यताओं में निचले और ऊपरी (असममित) सीमाएं हो सकती हैं, और क्रॉस सत्यापन या स्वतंत्र परीक्षण डेटा का उपयोग करके ऊपरी सीमा का सटीक अनुमान लगाना संभव है। लेकिन जब तक आप वितरण को नहीं जानते हैं, यह बताना असंभव है कि क्या इस तरह की ऊपरी सीमा तंग है या सुधार के लिए जगह छोड़ दें।

— NRH