तंत्रिका नेटवर्क की कम्प्यूटेशनल पावर?

मान लीजिए कि हमारे पास k निविष्टियाँ और एक आउटपुट के साथ एकल-परत फ़ीड फॉरवर्ड न्यूरल नेटवर्क है। यह से एक फ़ंक्शन की गणना करता है , यह देखने के लिए काफी आसान है कि इसमें रूप में कम से कम एक ही कम्प्यूटेशनल शक्ति है । बस मज़े के लिए, हम एकल परत तंत्रिका नेटवर्क " " द्वारा गणना किए जाने वाले कार्यों के सेट को कॉल करेंगे । $\lbrace 0,1\rbrace ^{n}\rightarrow\lbrace 0,1\rbrace$ $AC^0$ $Neural$

हालाँकि, ऐसा लगता है कि अकेले से अधिक कम्प्यूटेशनल पावर हो सकती है । $AC^0$

तो ... या ? क्या इस तरह की जटिलता वर्ग का अध्ययन पहले भी किया गया है? $AC^0 \subseteq Neural$ $Neural = AC^0$

— gabgoh
स्रोत

शब्दावली पर एक नोट - महत्वपूर्ण जानकारी यह है कि वहाँ कितनी छिपी हुई परतें हैं। शून्य आउटपुट लेयर न्यूरल नेटवर्क एक आउटपुट के साथ सिर्फ एक लीनियर थ्रेशोल्ड फंक्शन है, और अक्सर (भ्रामक रूप से) एक लेयर या टू लेयर न्यूरल नेटवर्क / परसेप्ट्रान कहलाता है, जो इस बात पर निर्भर करता है कि इनपुट्स / आउटपुट लेयर्स माने जाते हैं या नहीं। इसके अलावा, एआई साहित्य में, तंत्रिका नेटवर्क को आमतौर पर सिग्माइड फ़ंक्शन के संदर्भ में परिभाषित किया जाता है, जिसका अर्थ है कि इनपुट / आउटपुट वास्तविक मूल्यवान हैं। एक छिपी हुई परत नेटवर्क को एक अर्थ में सार्वभौमिक सन्निकटनकर्ता के रूप में जाना जाता है, जिसे किसी भी निरंतर कार्य को मनमाने ढंग से बंद किया जा सकता है

— यारोस्लाव बुलटोव

कुछ संदर्भ हैं जो मुझे मिल सकते हैं: तंत्रिका नेटवर्क के साथ सामान्य-उद्देश्य संगणना: जटिलता सिद्धांत संबंधी परिणामों का एक सर्वेक्षण, 2003 और गणना पदानुक्रम: बहुपद समय और निरंतर गहराई सर्किट, 1993 ।

ऐसा प्रतीत होता है कि तंत्रिका नेटवर्क को थ्रेशोल्ड सर्किट माना जाता है; यानी MAJORITY द्वार का उपयोग करने वाले सर्किट। इन (2) यह मामला है कि एक गहराई तंत्रिका नेटवर्क में जटिलता (यहां बारे में जटिलता चिड़ियाघर प्रवेश से लिंक है )। $d$ $TC^0_d$ $TC^0$

के बाद से containts , जो मनमाना एमओडी फाटक, तो साथ । इसके अलावा, चिड़ियाघर में यह उल्लेख किया गया है कि गहराई 3 के साथ ऐसे सर्किट गहराई 2 की तुलना में कड़ाई से अधिक शक्तिशाली हैं। $TC^0$ $ACC^0$ $AC^0$ $AC^0 \subset TC^0$

में अवग्रह बनाम बूलियन सीमा सर्किट के कम्प्यूटेशनल क्षमता पर, 1991 में यह उल्लेख किया गया है कि के लिए एक निरंतर गहराई , बूलियन और वास्तविक मूल्य सीमा सर्किट (polynomially घिरा वजन के साथ) मूलतः एक ही हैं। $d$

— एम। अलागन
स्रोत

दिलचस्प है, धन्यवाद। यह वही है जिसे मैं देख रहा था। अधिक दिलचस्प अभी भी है कि में एक पूरी समस्या है ... हम्म ...

T C^{0}

$TC^0$

— gabgoh