यह प्रश्न डीप रेजिडेंशियल नेटवर्क्स ( रेसनेट्स ) की वास्तुकला के बारे में है । वह मॉडल जिसने सभी पाँच मुख्य ट्रैक्स में "लार्ज स्केल विजुअल रिकॉग्निशन चैलेंज 2015" (ILSVRC2015) में 1-स्थान जीता है :
- इमेजनेट वर्गीकरण: "अल्ट्रा-डीप" (उद्धरण यान) 152-परत जाल
- इमेजनेट डिटेक्शन: 2% से बेहतर 16%
- ImageNet स्थानीयकरण: 2% की तुलना में 27% बेहतर है
- COCO डिटेक्शन: 2% से 11% बेहतर
- कोको विभाजन: 2% से 12% बेहतर
स्रोत: MSRA @ ILSVRC और COCO 2015 प्रतियोगिताओं (प्रस्तुति, 2-एन डी स्लाइड)
यह काम निम्नलिखित लेख में वर्णित है:
Microsoft अनुसंधान दल (ResNets के डेवलपर्स: Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun) अपने लेख में:
यह बताएं कि गहराई एक महत्वपूर्ण भूमिका निभाती है:
" हम एक सरल लेकिन आवश्यक अवधारणा के माध्यम से इन परिणामों को प्राप्त करते हैं - गहरा जा रहा है। ये परिणाम गहराई की सीमाओं को आगे बढ़ाने की क्षमता प्रदर्शित करते हैं। "
यह उनकी प्रस्तुति में भी जोर दिया गया है (गहरा - बेहतर):
- "एक गहरे मॉडल में उच्च प्रशिक्षण त्रुटि नहीं होनी चाहिए।"
- "डीपर रेसनेट्स में प्रशिक्षण त्रुटि कम होती है, और परीक्षण त्रुटि भी कम होती है।"
- "डीपर रेसनेट्स में त्रुटि कम होती है।"
- "सभी को गहरी सुविधाओं से अधिक लाभ होता है - संचयी लाभ!"
- "डीपर अभी भी बेहतर है।"
यहाँ 34-परत अवशिष्ट (संदर्भ के लिए) का संकरण है:
लेकिन हाल ही में मुझे एक सिद्धांत मिला है जिसमें अवशिष्ट नेटवर्क की एक उपन्यास व्याख्या का परिचय दिया गया है जिसमें दिखाया गया है कि वे घातांक हैं:
अवशिष्ट नेटवर्क अपेक्षाकृत शोलो नेटवर्क (2016) के घातांक हैं
डीप रेसनेट को कई उथले नेटवर्क के रूप में वर्णित किया जाता है, जिनके आउटपुट विभिन्न गहराई पर रखे जाते हैं। लेख में एक तस्वीर है। मैं इसे स्पष्टीकरण के साथ संलग्न करता हूं:
अवशिष्ट नेटवर्क पारंपरिक रूप से (ए) के रूप में दिखाए जाते हैं, जो समीकरण (1) का एक प्राकृतिक प्रतिनिधित्व है। जब हम समीकरण (6) के लिए इस सूत्रीकरण का विस्तार करते हैं, तो हम 3-ब्लॉक अवशिष्ट नेटवर्क (बी) का एक अप्रकाशित दृश्य प्राप्त करते हैं। इस दृष्टिकोण से, यह स्पष्ट है कि अवशिष्ट नेटवर्क में इनपुट और आउटपुट को जोड़ने वाले O (2 ^ n) निहित पथ हैं और ब्लॉक को जोड़ने से पथों की संख्या दोगुनी हो जाती है।
लेख के निष्कर्ष में कहा गया है:
यह गहराई नहीं है, लेकिन पहनावा जो अवशिष्ट नेटवर्क को मजबूत बनाता है । अवशिष्ट नेटवर्क नेटवर्क की बहुलता की सीमाओं को धक्का देते हैं, नेटवर्क की गहराई को नहीं। हमारे प्रस्तावित अप्रकाशित दृश्य और घाव अध्ययन से पता चलता है कि अवशिष्ट नेटवर्क तेजी से कई नेटवर्क का एक अंतर्निहित पहनावा है। यदि अधिकांश पथ जो ढाल में योगदान करते हैं, नेटवर्क की समग्र गहराई की तुलना में बहुत कम हैं, तो बढ़ी हुई गहराई अकेले अवशिष्ट नेटवर्क की प्रमुख विशेषता नहीं हो सकती है। अब हम मानते हैं कि गुणन , पथ की संख्या के संदर्भ में नेटवर्क की अभिव्यक्ति, एक महत्वपूर्ण भूमिका निभाता है ।
लेकिन यह केवल एक हालिया सिद्धांत है जिसकी पुष्टि या खंडन किया जा सकता है। ऐसा कभी-कभी होता है कि कुछ सिद्धांतों का खंडन किया जाता है और लेख वापस ले लिए जाते हैं।
क्या हमें सभी के बाद एक गहरी समानता के रूप में सोचना चाहिए? पहनावा या गहराई अवशिष्ट नेटवर्क को इतना मजबूत बनाती है? क्या यह संभव है कि यहां तक कि स्वयं डेवलपर्स भी यह महसूस नहीं करते हैं कि उनका अपना मॉडल क्या दर्शाता है और इसमें महत्वपूर्ण अवधारणा क्या है?