तंत्रिका नेटवर्क में नियमितीकरण विधि चुनना

Question

तंत्रिका नेटवर्क को प्रशिक्षित करते समय, नेटवर्क को नियमित करने के कम से कम 4 तरीके हैं:

एल 1 नियमितीकरण

एल 2 नियमितीकरण

ड्रॉप आउट

बैच सामान्यीकरण

वज़न साझा करने और कनेक्शन की संख्या कम करने जैसी अन्य चीजों के अलावा, जो कि सख्त अर्थों में नियमितीकरण नहीं हो सकता है।

लेकिन कोई भी उन नियमितीकरण विधियों में से किसका उपयोग करेगा? क्या "बस सब कुछ आज़माएं और देखें कि क्या काम करता है" की तुलना में अधिक राजसी तरीका है?

Comments

क्या तंत्रिका नेटवर्क के सिद्धांत हैं? ब्लैक बॉक्स विधियों का सिद्धांत सब कुछ आज़माना और देखना है कि क्या काम करता है

— डारिन थॉमस

और यह काफी दुखद है, क्या आपको नहीं लगता?

— एलेक्स

Answer 1

तंत्रिका नेटवर्क में नियमितीकरण के बीच निर्णय लेने में आपकी मदद करने के लिए कोई मजबूत, अच्छी तरह से प्रलेखित सिद्धांत नहीं हैं। आप नियमितीकरण तकनीकों को भी जोड़ सकते हैं, आपको सिर्फ एक का चयन करने की आवश्यकता नहीं है।

एक व्यावहारिक दृष्टिकोण अनुभव पर आधारित हो सकता है, और साहित्य और अन्य लोगों के परिणामों को देखने के लिए जो विभिन्न समस्या डोमेन में अच्छे परिणाम देता है। इसे ध्यान में रखते हुए, ड्रॉपआउट समस्याओं की एक विस्तृत श्रृंखला के लिए बहुत सफल साबित हुआ है, और आप संभवतः इसे एक अच्छी पहली पसंद मान सकते हैं चाहे आप जो भी प्रयास कर रहे हों।

इसके अलावा कभी-कभी सिर्फ एक विकल्प चुनने से आप परिचित हो सकते हैं - आपकी समझ में आने वाली तकनीकों के साथ काम करने और अनुभव के साथ आपको अलग-अलग विकल्पों के संपूर्ण ग्रैब की कोशिश करने से बेहतर परिणाम मिल सकते हैं जहां आप सुनिश्चित नहीं हैं कि परिमाण के लिए प्रयास करने के लिए परिमाण का क्या क्रम है । एक प्रमुख मुद्दा यह है कि तकनीक अन्य नेटवर्क मापदंडों के साथ परस्पर क्रिया कर सकती है - उदाहरण के लिए, आप ड्रॉपआउट प्रतिशत के आधार पर ड्रॉपआउट के साथ परतों का आकार बढ़ाना चाह सकते हैं।

अंत में, यह बहुत मायने नहीं रखता है कि आप कौन से नियमितीकरण तकनीकों का उपयोग कर रहे हैं, बस यह कि आप अपनी समस्या और मॉडल को अच्छी तरह से समझते हैं कि यह ओवरफिटिंग है और अधिक नियमितीकरण के साथ कर सकते हैं। या इसके विपरीत, स्पॉट जब यह कम हो रहा है और आपको नियमितीकरण वापस करना चाहिए।

Answer 2

नियमितीकरण की विधि

निम्नलिखित 4 तकनीकों के लिए, L1 नियमितीकरण और L2 नियमितीकरण यह कहने की आवश्यकता नहीं है कि वे नियमितीकरण की एक विधि होनी चाहिए। वे वजन को सिकोड़ते हैं। यदि वजन अधिक महत्व रखता है तो L1 कम मात्रा में वजन को कम करने पर ध्यान केंद्रित करेगा।

ड्रॉपआउट अस्थायी रूप से न्यूरॉन्स को छोड़ने के द्वारा ओवरफिटिंग को रोकता है। आखिरकार, यह एक औसत के रूप में सभी वजन की गणना करता है ताकि किसी विशेष न्यूरॉन के लिए वजन बहुत बड़ा न हो और इसलिए यह नियमितीकरण की एक विधि है।

बैच सामान्यीकरण नियमितीकरण का एक तरीका नहीं होना चाहिए क्योंकि इसका मुख्य उद्देश्य एक बैच का चयन करके प्रशिक्षण को गति देना है और वजन को 0 के पास वितरित करने के लिए मजबूर करना है, बहुत बड़ा नहीं, बहुत छोटा नहीं।

इसे चुनना

मेरे लिए, मिनी-बैच बहुत जरूरी है क्योंकि यह प्रक्रिया को गति दे सकता है और हर बार नेटवर्क के प्रदर्शन में सुधार कर सकता है।

L1 और L2 दोनों समान हैं और मैं L1 को छोटे नेटवर्क में पसंद करूंगा।

आदर्श रूप से, ड्रॉपआउट लागू होना चाहिए यदि कोई बड़ी भिन्नता समस्या या ओवरफिटिंग है।

अंतिम लेकिन कम से कम नहीं, मैं नील स्लेटर से सहमत हूं कि यह स्थिति पर निर्भर करता है और एक इष्टतम समाधान कभी नहीं होगा।

मैं आपको आगे की जानकारी के लिए इसे पढ़ने की सलाह देता हूं। यह एक बहुत अच्छी सामग्री है। http://neuralnetworksanddeeplearning.com/chap3.html

Answer 3

अतिरिक्त एल्गोरिदम के रूप में उन एल्गोरिदम विकल्पों को देखें और उन्हें उसी तरह से अनुकूलित करें जैसे आप अपने अन्य हाइपरपैरमीटर के लिए करते हैं। आमतौर पर इसके लिए अधिक डेटा की आवश्यकता होगी।

Comments

हाय एलेक्स, DS.SE में आपका स्वागत है। यह एक प्रश्नोत्तर साइट है जिसमें मतदान के माध्यम से शीर्ष पर तैरने वाले सबसे अमीर उत्तर हैं। किसी ने आपको वोट दिया है, शायद इसलिए कि आपका उत्तर काफी छोटा है और आम तौर पर समाधान की व्याख्या कर रहा है (उदाहरण के लिए) हाइपरपरमेटर्स के विवरण की व्याख्या करते हुए, एक शब्द जो मूल पोस्टर द्वारा उपयोग नहीं किया गया था।

— माक्र्स डी