विश्वव्यापी नेटवर्क के लिए सार्वभौमिक सन्निकटन प्रमेय

14

सार्वभौमिक सन्निकटन प्रमेय तंत्रिका नेटवर्क के लिए एक बहुत प्रसिद्ध परिणाम है, मूल रूप से यह कहते हुए कि कुछ मान्यताओं के तहत, एक फ़ंक्शन को किसी भी सटीकता के भीतर तंत्रिका नेटवर्क द्वारा समान रूप से अनुमानित किया जा सकता है।

क्या कुछ अनुरूप परिणाम होता है जो कन्वेन्शनल न्यूरल नेटवर्क पर लागू होता है?

neural-networks conv-neural-network approximation

— जोनास एडलर
स्रोत

7

यह एक दिलचस्प सवाल है, हालांकि, यह एक उचित स्पष्टीकरण का अभाव है जो एक सजातीय तंत्रिका नेटवर्क माना जाता है ।

क्या केवल आवश्यकता है कि नेटवर्क में एक कनवल्शन ऑपरेशन शामिल है? क्या इसमें केवल कन्वेंशन ऑपरेशन शामिल हैं ? क्या पूलिंग ऑपरेशन स्वीकार किए जाते हैं? व्यवहार में उपयोग किए जाने वाले संवेगात्मक नेटवर्क संचालन के संयोजन का उपयोग करते हैं, अक्सर पूरी तरह से जुड़ी हुई परतों सहित (जैसे ही आपके पास पूरी तरह से जुड़ी हुई परतें होती हैं, आपके पास सैद्धांतिक सार्वभौमिक सन्निकटन क्षमता होती है)।

आपको कुछ जवाब देने के लिए, निम्नलिखित मामले पर विचार करें: इनपुट और आउटपुट के साथ एक पूरी तरह से जुड़ी हुई परत का एहसास वज़न मैट्रिक्स का उपयोग करके किया जाता है । आप 2 संकेंद्रण परतों का उपयोग करके इस ऑपरेशन का अनुकरण कर सकते हैं: $D$ $K$ $W \in \mathbb R ^{K\times D}$

पहले वाले के पास आकृति फ़िल्टर हैं । तत्व फिल्टर का के बराबर है , बाकी शून्य कर रहे हैं। यह परत इनपुट को -डायमेंशनल इंटरमीडिएट स्पेस में बदल देती है जहां हर आयाम एक उत्पाद के वजन और उसके अनुरूप इनपुट का प्रतिनिधित्व करता है। $K\times D$ $D$ $d$ $k,d$ $W_{k,d}$ $KD$
दूसरी परत में शामिल है आकार के फिल्टर । तत्वों फिल्टर का होते हैं, बाकी शून्य कर रहे हैं। यह परत पिछली परत से उत्पादों का योग करती है। $K$ $KD$ $kD\ldots(k+1)D$ $k$

इस तरह के दृढ़ नेटवर्क पूरी तरह से जुड़े नेटवर्क का अनुकरण करते हैं और इस प्रकार एक ही सार्वभौमिक सन्निकटन क्षमताएं हैं। यह आप पर निर्भर है कि ऐसा उदाहरण व्यवहार में कितना उपयोगी है, लेकिन मुझे आशा है कि यह आपके प्रश्न का उत्तर देगा।

— जन कुक्कुटा
स्रोत

1

इस तरह के एक निर्माण बल्कि स्पष्ट है, लेकिन केवल शून्य गद्दी सीमा शर्तों जैसे उदाहरण के साथ रखती है। उदाहरण के लिए आवधिक सीमा स्थितियों (ऑपरेटर अनुवाद को संतुलित करना) की अधिक प्राकृतिक आवश्यकता के साथ यह विफल हो जाता है।

— जोनास एडलर

1

हाँ, यह स्पष्ट निर्माण मानता है कि केवल इनपुट (कोई पेडिंग) पर लागू किया जाता है। जैसा कि मैंने कहा, जब तक आप निर्दिष्ट नहीं करते कि सीएनएन की आपकी परिभाषा के तहत क्या अनुमति है और क्या नहीं है, मुझे लगता है कि यह एक मान्य दृष्टिकोण है। यह भी ध्यान दें कि यूएटी के व्यावहारिक निहितार्थ वास्तव में कोई भी नहीं हैं, इसलिए मुझे यकीन नहीं है कि यह समझ में भी आता है और सीएनएन के विभिन्न संस्करणों को निर्दिष्ट करता है और उनमें से प्रत्येक के लिए कुछ इसी तरह का प्रदर्शन करता है।

— जन कुक्कैका

6

ऐसा लगता है कि इस सवाल का दिमित्री यारत्स्की द्वारा हाल के लेख में पुष्टि की गई है: तंत्रिका नेटवर्क द्वारा अपरिवर्तनीय नक्शे के सार्वभौमिक सन्निकटन ।

लेख से पता चलता है कि किसी भी अनुवाद संतुलन समारोह को एक मनमाने ढंग से तंत्रिका नेटवर्क द्वारा अच्छी तरह से अनुमानित किया जा सकता है, यह देखते हुए कि यह पर्याप्त रूप से व्यापक है, शास्त्रीय सार्वभौमिक सन्निकटन प्रमेय के प्रत्यक्ष सादृश्य में।

— जोनास एडलर
स्रोत

3

डिंग-जुआन झोउ द्वारा गहन दीक्षांत तंत्रिका नेटवर्क के पेपर की सार्वभौमिकता को देखें , जो दर्शाता है कि सजातीय तंत्रिका नेटवर्क सार्वभौमिक हैं, अर्थात, वे किसी भी निरंतर कार्य को अनियंत्रित सटीकता के लिए अनुमानित कर सकते हैं जब तंत्रिका नेटवर्क की गहराई काफी बड़ी हो।

— nbro
स्रोत

1

ऐसा लगता है कि जीरो बाउंड्री की स्थिति है, इसलिए इसका परिणाम जन्नत-कुक्क़ा के समान होना चाहिए

— जोनास एडलर