ड्रॉपआउट और ड्रॉप कनेक्ट के बीच अंतर क्या है?
AFAIK, ड्रॉपआउट बेतरतीब ढंग से प्रशिक्षण के दौरान छिपे हुए नोड्स को छोड़ता है लेकिन उन्हें परीक्षण में रखता है, और कनेक्ट ड्रॉप्स कनेक्शन को छोड़ देता है।
लेकिन छिपे हुए नोड्स को छोड़ने के बराबर कनेक्शन नहीं छोड़ रहा है? केवल वजन का एक सेट नोड्स (या कनेक्शन) नहीं हैं?
जवाबों:
ड्रॉपऑट और ड्रॉपकनेक्ट दोनों तरीके एक तंत्रिका नेटवर्क में इकाइयों के "सह-अनुकूलन" को रोकने के लिए हैं। दूसरे शब्दों में, हम चाहते हैं कि इकाइयाँ ऐसा करने के लिए अन्य न्यूरॉन्स पर निर्भर होने के बजाय स्वतंत्र रूप से अपने इनपुट से सुविधाओं को निकालें।
मान लीजिए कि हमारे पास इस तरह का एक बहुपरत फीडफ़ॉर्वर्ड नेटवर्क है (टोपोलॉजी वास्तव में कोई फर्क नहीं पड़ता)। हम पीली छिपी इकाइयों के बारे में चिंतित हैं जो बीच की परत के सह-निर्माण में हैं।
ड्रॉपऑउट को लागू करने के लिए, हम बेतरतीब ढंग से इकाइयों के एक सबसेट का चयन करते हैं और इनपुट की परवाह किए बिना उनके आउटपुट को शून्य पर क्लैंप करते हैं; यह प्रभावी रूप से उन इकाइयों को मॉडल से हटा देता है। हर बार जब हम एक प्रशिक्षण उदाहरण प्रस्तुत करते हैं, तो इकाइयों का एक अलग सबसेट यादृच्छिक रूप से चुना जाता है।
नीचे दो संभव नेटवर्क कॉन्फ़िगरेशन हैं। पहली प्रस्तुति पर (बाएं), 1 और 3 इकाइयाँ अक्षम हैं, लेकिन 2 और 3 इकाइयों को बाद की प्रस्तुति पर यादृच्छिक रूप से चुना गया है। परीक्षण के समय, हम पूर्ण नेटवर्क का उपयोग करते हैं, लेकिन इस तथ्य की भरपाई करने के लिए कि वे अब सक्रिय हो सकते हैं (जैसे, यदि आप नोड्स के आधे भाग को छोड़ देते हैं, तो वजन भी आधा हो जाना चाहिए) के लिए वज़न को मापें।
ड्रॉपकनेक्ट समान रूप से काम करता है, सिवाय इसके कि हम नोड्स के बजाय व्यक्तिगत भार (यानी, उन्हें शून्य पर सेट करें) को अक्षम करते हैं, इसलिए एक नोड आंशिक रूप से सक्रिय रह सकता है। योजनाबद्ध रूप से, यह इस तरह दिखता है:
ये विधियां दोनों काम करती हैं क्योंकि वे प्रभावी रूप से आपको एक ही समय में कई मॉडल प्रशिक्षित करने देती हैं, फिर परीक्षण के लिए औसतन। उदाहरण के लिए, पीली परत में चार नोड होते हैं, और इस प्रकार 16 संभावित ड्रॉपऑउट स्टेट्स (सभी सक्षम, # 1 अक्षम, # 1 और # 2 अक्षम, आदि) होते हैं।
DropConnect ड्रॉपऑउट का एक सामान्यीकरण है क्योंकि यह और भी अधिक संभव मॉडल तैयार करता है, क्योंकि इकाइयों की तुलना में लगभग हमेशा अधिक कनेक्शन होते हैं। हालांकि, आप एक व्यक्तिगत परीक्षण पर समान परिणाम प्राप्त कर सकते हैं। उदाहरण के लिए, दाईं ओर ड्रॉपकनेक्ट नेटवर्क ने यूनिट # 2 को प्रभावी रूप से गिरा दिया है क्योंकि आने वाले सभी कनेक्शन हटा दिए गए हैं।
मूल कागजात काफी सुलभ होते हैं और इसमें अधिक विवरण और अनुभवजन्य परिणाम होते हैं।
हां, लेकिन वजन कैसे गिरा जाता है, इस संदर्भ में वे थोड़े अलग हैं।
ये ड्रॉपकनेक्ट (बाएं) और ड्रॉपआउट (दाएं) के सूत्र हैं।
तो ड्रॉपआउट सक्रियणों के लिए मास्क लगाता है, जबकि ड्रॉपकनेक्ट वेट पर मास्क लगाता है।
ड्रॉपकनेक्ट पेपर कहता है कि यह इस अर्थ में ड्रॉपआउट का सामान्यीकरण है
ड्रॉपकनेक्ट ड्रॉपआउट का सामान्यीकरण है जिसमें ड्रॉपआउट की तरह प्रत्येक आउटपुट यूनिट के बजाय प्रत्येक कनेक्शन को प्रायिकता पी के साथ छोड़ा जा सकता है।