क्या कोई शोधपत्र प्रकाशित हुआ है जो तंत्रिका नेटवर्क के लिए नियमितीकरण के तरीकों के अंतर को दर्शाता है, अधिमानतः विभिन्न डोमेन (या कम से कम विभिन्न डेटासेट) पर?
मैं पूछ रहा हूं क्योंकि मुझे वर्तमान में यह एहसास है कि ज्यादातर लोग कंप्यूटर विज़न में नियमितीकरण के लिए केवल ड्रॉपआउट का उपयोग करते हैं। मैं यह जांचना चाहूंगा कि क्या नियमितीकरण के विभिन्न तरीकों का उपयोग करने का कोई कारण (नहीं) होगा।
जवाबों:
दो बिंदु:
किसी भी तरह, मैं तंत्रिका नेटवर्क के अनुभवजन्य अध्ययन से थोड़ा उलझन में हूं। ठीक ट्यून करने के लिए बहुत सारे हाइपरपैरामीटर हैं, नेटवर्क की टोपोलॉजी से लेकर ग्रेडिएंट डिसेंट ऑप्टिमाइजेशन प्रक्रिया तक सक्रियण कार्यों के लिए और जो भी आप इसे नियमितीकरण की तरह परीक्षण कर रहे हैं। फिर, पूरी बात स्टोकेस्टिक है और आमतौर पर प्रदर्शन लाभ इतने छोटे होते हैं कि आप मतभेदों के लिए सांख्यिकीय परीक्षण शायद ही कर सकते हैं। कई लेखक सांख्यिकीय परीक्षण करने से भी गुरेज नहीं करते हैं। वे केवल क्रॉस-वैल्यूएशन को औसत करते हैं और घोषित करते हैं कि जो भी मॉडल विजेता होने के लिए उच्चतम दशमलव बिंदु हासिल करता है।
आप एक अध्ययन को केवल एक और नियमितीकरण को बढ़ावा देने के लिए विरोधाभासी होने के लिए छोड़ सकते हैं।
मुझे लगता है कि यह सब सौंदर्यशास्त्र की प्राथमिकताओं को उबालता है। ड्रॉपआउट आईएमएचओ नियमितीकरण की तुलना में अधिक जैविक प्रशंसनीय लगता है। यह भी जांचना आसान लगता है। इसलिए, मैं व्यक्तिगत रूप से इसे पसंद करता हूं जब TensorFlow जैसी रूपरेखा का उपयोग किया जाता है। अगर हमें अपने स्वयं के तंत्रिका नेटवर्क का उपयोग करना है, जो हम अक्सर करते हैं, तो हम नियमितीकरण का उपयोग करेंगे क्योंकि इसे लागू करना आसान था।
निश्चित रूप से। खुद क्रिएटर से पेपर, जेफ्री हिंटन। https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf इसे पढ़ें। लेकिन मैं यू को प्रोत्साहित करता हूं कि आप इसे लागू करके इसका अंतर देखें।