"ड्रॉपआउट" तकनीक क्या है?
जवाबों:
ड्रॉपआउट का मतलब है कि प्रत्येक व्यक्तिगत डेटा बिंदु का उपयोग केवल न्यूरॉन्स के एक यादृच्छिक सबसेट को फिट करने के लिए किया जाता है। यह तंत्रिका नेटवर्क को एक पहनावा मॉडल की तरह अधिक बनाने के लिए किया जाता है।
यही है, जैसे कि एक यादृच्छिक वन कई व्यक्तिगत निर्णय पेड़ों के परिणामों को एक साथ औसत करता है, आप एक न्यूरल नेटवर्क को ड्रॉपआउट का उपयोग करते हुए प्रशिक्षित कर सकते हैं, साथ ही साथ कई व्यक्तिगत तंत्रिका नेटवर्क के परिणाम (हर स्तर पर सक्रियणों को समझने के लिए 'परिणाम' के साथ समझा जा सकता है) बल्कि आउटपुट परत से)।
मूल पेपर 1 जिसमें प्रस्तावित तंत्रिका नेटवर्क ड्रॉपआउट का शीर्षक है: ड्रॉपआउट: तंत्रिका नेटवर्क को ओवरफिटिंग से बचाने का एक सरल तरीका । यह काफी हद तक एक वाक्य में बताता है कि ड्रॉपआउट क्या करता है। ड्रॉपआउट प्रशिक्षण चरण के दौरान तंत्रिका नेटवर्क में बेतरतीब ढंग से चयन और हटाने के द्वारा काम करता है। ध्यान दें कि परीक्षण के दौरान ड्रॉपआउट लागू नहीं होता है और परिणामी नेटवर्क भविष्यवाणी के भाग के रूप में नहीं छोड़ता है।
न्यूरॉन्स का यह यादृच्छिक निष्कासन / ड्रॉपआउट न्यूरॉन्स के अत्यधिक सह-अनुकूलन को रोकता है और ऐसा करने में, नेटवर्क ओवरफिटिंग की संभावना को कम करता है ।
प्रशिक्षण के दौरान न्यूरॉन्स के यादृच्छिक निष्कासन का मतलब यह भी है कि किसी भी समय मूल नेटवर्क का केवल एक हिस्सा प्रशिक्षित होता है। इसका प्रभाव यह है कि आप कई उप-नेटवर्कों के प्रशिक्षण को समाप्त कर देते हैं, उदाहरण के लिए:
यह पूरे नेटवर्क के विपरीत उप-नेटवर्कों के इस बार-बार किए गए प्रशिक्षण से है जहां तंत्रिका नेटवर्क ड्रॉपआउट की धारणा एक प्रकार की पहनावा तकनीक है, यानी उप-नेटवर्कों का प्रशिक्षण कई, अपेक्षाकृत कमजोर एल्गोरिदमों के प्रशिक्षण के समान है। मॉडल और उन्हें एक एल्गोरिथ्म बनाने के लिए संयोजित करना जो व्यक्तिगत भागों की तुलना में अधिक शक्तिशाली है।
संदर्भ:
1 : श्रीवास्तव, नीतीश, एट अल। "ड्रॉपआउट: तंत्रिका नेटवर्क को ओवरफिटिंग से बचाने का एक सरल तरीका।" जर्नल ऑफ़ मशीन लर्निंग रिसर्च 15.1 (2014): 1929-1958।
मैं ड्रॉपआउट पेपर और उसके कौरसेरा वर्ग में जेफ्री हिंटन के विचारों का उपयोग करके आपके सवालों का जवाब देने की कोशिश करूंगा।
"ड्रॉपआउट" पद्धति किस उद्देश्य से काम करती है?
बड़ी संख्या में मापदंडों के साथ गहरे तंत्रिका जाल बहुत शक्तिशाली मशीन लर्निंग सिस्टम हैं। हालांकि, ऐसे नेटवर्क में ओवरफिटिंग एक गंभीर समस्या है। बड़े नेटवर्क भी उपयोग करने में धीमे होते हैं, जिससे परीक्षण समय पर कई अलग-अलग बड़े तंत्रिका जाल की भविष्यवाणियों को मिलाकर ओवरफिटिंग से निपटना मुश्किल हो जाता है। ड्रॉपआउट इस समस्या के समाधान के लिए एक तकनीक है।
इसलिए यह एक नियमितीकरण तकनीक है जो ओवरफिटिंग (उच्च विचरण) की समस्या को संबोधित करती है।
यह समग्र प्रदर्शन को कैसे बेहतर बनाता है?
बेहतर सामान्यीकरण द्वारा और अधिक फिटिंग के जाल में नहीं पड़ना चाहिए।
यहाँ कुछ महान जवाब हैं। ड्रॉपआउट के लिए मैं जो सबसे सरल स्पष्टीकरण दे सकता हूं, वह यह है कि प्रशिक्षण के दौरान कुछ न्यूरॉन्स और उनके कनेक्शनों को बेतरतीब ढंग से बाहर रखा जाए, जबकि प्रशिक्षण के दौरान, न्यूरॉन्स को "को-एडाप्टिंग" से रोकने के लिए बहुत अधिक है। यह प्रत्येक न्यूरॉन को अधिक आम तौर पर लागू करने का प्रभाव है और बड़े तंत्रिका नेटवर्क के लिए ओवरफिटिंग को रोकने के लिए उत्कृष्ट है।