बढ़ावा देने में, शिक्षार्थी "कमजोर" क्यों हैं?

Question

इसी तरह का सवाल आँकड़े पर भी देखें ।

में बढ़ाने जैसे एल्गोरिदम AdaBoost और LPBoost यह ज्ञात है कि "कमज़ोर" शिक्षार्थियों केवल, उपयोगी होने के लिए विकिपीडिया से मौका तुलना में बेहतर प्रदर्शन करने के लिए है जोड़ा जा करने के लिए:

इसका उपयोग करने वाले क्लासीफायर कमजोर हो सकते हैं (यानी, एक पर्याप्त त्रुटि दर प्रदर्शित करते हैं), लेकिन जब तक उनका प्रदर्शन यादृच्छिक नहीं होता है (परिणामस्वरूप द्विआधारी वर्गीकरण के लिए त्रुटि दर 0.5), वे अंतिम मॉडल में सुधार करेंगे। यहां तक ​​कि त्रुटि दर के साथ क्लासिफायर की तुलना में एक यादृच्छिक क्लासिफायर से अपेक्षित होगा, उपयोगी होगा, क्योंकि उनके पास क्लासिफायर के अंतिम रैखिक संयोजन में नकारात्मक गुणांक होंगे और इसलिए उनके व्युत्क्रम की तरह व्यवहार करेंगे।

• मजबूत शिक्षार्थियों के विपरीत कमजोर का उपयोग करने के क्या लाभ हैं? (उदाहरण के लिए "मजबूत" सीखने के तरीकों को बढ़ावा क्यों नहीं दिया जाता है - क्या हम ओवरफिटिंग के अधिक शिकार हैं?)

• क्या कमजोर शिक्षार्थियों के लिए किसी प्रकार की "इष्टतम" ताकत है? और क्या यह कलाकारों की संख्या से संबंधित कलाकारों की टुकड़ी में है?

क्या इन सवालों के जवाब का कोई सिद्धांत है?

Comments

कमजोर शिक्षार्थी प्रशिक्षण डेटा से अधिक फिटिंग से भी बचते हैं

— अमन दीप गौतम

Answer 1

तो, बूस्टिंग एक लर्निंग अल्गोरिथम है, जो कि सबरूटीन एक अन्य एल्गोरिथ्म के रूप में उपयोग करके उच्च-सटीकता की भविष्यवाणियां उत्पन्न कर सकता है, जो बदले में यादृच्छिक अनुमान लगाने की तुलना में केवल थोड़ा बेहतर (उलटा बहुपद द्वारा) हाइपोथेसिस उत्पन्न कर सकता है।

यह मुख्य लाभ गति है।

जब शेपायर ने इसे 1990 में प्रस्तुत किया था, तो यह एक सफलता थी कि इससे पता चला कि एक बहुपद समय सीखने वाला व्यक्ति त्रुटियों से उत्पन्न होता है, जो कि 1/2 से थोड़ा छोटा होता है, एक बहुपत्नी समय शिक्षार्थी में मनमाने ढंग से छोटी त्रुटि के साथ परिकल्पना उत्पन्न कर सकता है।

इसलिए, आपके प्रश्न का बैकअप लेने का सिद्धांत "कमजोर सीखने की क्षमता" ( पीडीएफ ) है, जहां उन्होंने मूल रूप से दिखाया कि "मजबूत" और "कमजोर" सीखने के बराबर हैं।

और शायद मूल प्रश्न का उत्तर है, "जब आप कमजोर लोगों को अधिक सस्ते में बना सकते हैं तो मजबूत शिक्षार्थियों का निर्माण करने का कोई मतलब नहीं है"।

---

अपेक्षाकृत हाल के पत्रों से, "कमजोर सीखने की क्षमता और रैखिक पृथक्करण की समानता पर: नया आराम और कुशल बूस्टिंग एल्गोरिदम" ( पीडीएफ ) जो मुझे समझ में नहीं आता है, लेकिन जो संबंधित लगता है और अधिक शिक्षित लोगों के लिए रुचि हो सकती है :)

Comments

+1 अच्छा संदर्भ। तो शायद इसका जवाब है: "जब आप कमजोर लोगों को अधिक सस्ते में निर्माण कर सकते हैं तो मजबूत शिक्षार्थियों का निर्माण करने का कोई मतलब नहीं है"?

— tdc

हाँ, यह लगता है - मैं जवाब अद्यतन! इसके अलावा, अगर मैं सही ढंग से समझता हूं, तो यह आपके कमजोर शिक्षार्थियों की ताकत पर निर्भर नहीं करता है - उन्हें सिर्फ यादृच्छिक से "थोड़ा" बेहतर होना चाहिए।

— andreister

मुझे लगता है कि आप दोनों वास्तव में क्या मायने रखते हैं: समान रूप से मजबूत शिक्षार्थियों का निर्माण करने का कोई मतलब नहीं है जब समान या इससे भी बेहतर कौशल बस कई सस्ते कमजोर शिक्षार्थियों को मिलाकर पहुंचा जा सकता है । वास्तव में, यदि मजबूत शिक्षार्थियों द्वारा प्राप्त किया गया कौशल कमजोर शिक्षार्थियों द्वारा पहुंच गए कौशल से बहुत अधिक था, तो ठीक है, मैं पूरी तरह से मजबूत शिक्षार्थियों के निर्माण में बिंदु देख सकता था ...

— एंटोनी

Answer 2

मैं ओवरफिटिंग को संबोधित करूंगा, जिसका उल्लेख अभी तक नहीं किया गया है, एक अधिक सहज स्पष्टीकरण के साथ। आपका पहला सवाल था:

मजबूत शिक्षार्थियों के विपरीत कमजोर का उपयोग करने के क्या लाभ हैं? (उदाहरण के लिए "मजबूत" सीखने के तरीकों को बढ़ावा क्यों नहीं दिया जाता है - क्या हम ओवरफिटिंग के अधिक शिकार हैं?)

मेरी समझ में मुख्य कारण हैं:

• गति , जैसा कि अन्य उत्तरों में बहुत अच्छी तरह से कवर किया गया है;
• सटीकता में सुधार : यदि आपके पास पहले से ही एक मजबूत शिक्षार्थी है, तो बढ़ावा देने के लाभ कम प्रासंगिक हैं;
• जैसा आपने अनुमान लगाया था, ओवरफिटिंग से बचें । इस तरह से इसके बारे में सोचो:

क्या बूस्टिंग है परिकल्पना स्थान से कई अलग-अलग परिकल्पना को संयोजित करना है ताकि हम एक बेहतर अंतिम परिकल्पना के साथ समाप्त हो जाएं। बूस्टिंग की महान शक्ति, इसलिए, संयुक्त की परिकल्पना की विविधता से आती है ।

यदि हम एक मजबूत शिक्षार्थी का उपयोग करते हैं, तो यह विविधता कम हो जाती है: प्रत्येक पुनरावृत्ति के बाद कई त्रुटियां नहीं होंगी (चूंकि मॉडल जटिल है), जो नई परिकल्पना को बढ़ावा देने वाले परिवर्तन को अधिक नहीं बनाएगा। बहुत समान परिकल्पना के साथ, पहनावा एक एकल जटिल मॉडल के समान होगा, जो बदले में ओवरफिट हो जाता है!

Comments

यही असली जवाब है।

— मैथ्यू

Answer 3

बूस्टिंग में हम कमजोर शिक्षार्थियों का उपयोग करते हैं क्योंकि वे मजबूत शिक्षार्थियों की तुलना में तेजी से प्रशिक्षित होते हैं। इसके बारे में सोचो। यदि मैं सीखने वाले के रूप में मल्टी-लेयर न्यूरल नेटवर्क का उपयोग करता हूं, तो मुझे उनमें से बहुतों को प्रशिक्षित करने की आवश्यकता है। दूसरी ओर, एक निर्णय पेड़ बहुत तेज हो सकता है, फिर मैं उनमें से बहुतों को प्रशिक्षित कर सकता हूं।

मान लीजिए कि मैं 100 शिक्षार्थियों का उपयोग करता हूं। मैं 100 सेकंड में एनएन और 10 सेकंड में निर्णय पेड़ को प्रशिक्षित करता हूं। एनएन के साथ मेरा पहला बूस्ट 100 * 100 सेकंड लेगा, जबकि दूसरा निर्णय पेड़ के साथ 100 * 10 सेकंड लेगा।

कहा कि मैंने लेखों को देखा है, जो मजबूत शिक्षार्थियों को बढ़ाने में उपयोग करता है। लेकिन उस समस्याओं में जो मजबूत शिक्षार्थी मेरी राय में तेज थे।

मैंने केडीडी 99 इंट्रूज़न डिटेक्शन डेटसेट, (4+ मिलियन) पर वीकेए का उपयोग करके एमएलपी को प्रशिक्षित करने की कोशिश की। मेरी मशीन पर 72 घंटे से अधिक समय लगा। लेकिन बूस्टिंग (AdaBoostM1 with Decision Tree - Decision Stump) में केवल 3 घंटे लगे। इस समस्या में यह स्पष्ट है कि मैं एक मजबूत शिक्षार्थी के साथ बूस्टिंग का उपयोग नहीं कर सकता, यह एक शिक्षार्थी है जो बहुत अधिक समय लेता है।

Comments

"मैंने लेख देखे हैं, जो मजबूत शिक्षार्थियों को बढ़ावा देने में उपयोग करता है" - कोई संदर्भ?

— tdc