ज्यामिति और ए.आई.
मेट्रिस, क्यूब्स, लेयर्स, स्टैक और पदानुक्रम वे हैं जिन्हें हम टोपोलॉजी कह सकते हैं । इस संदर्भ में टोपोलॉजी पर विचार करें एक शिक्षण प्रणाली के उच्च स्तर की ज्यामितीय डिजाइन।
जैसे ही जटिलता बढ़ती है, अक्सर इन टोपोलॉजी को निर्देशित ग्राफ संरचनाओं के रूप में प्रदर्शित करना उपयोगी होता है। स्टेट डायग्राम और मार्कोव का गेम थ्योरी पर काम दो ऐसे स्थान हैं जहाँ आमतौर पर निर्देशित रेखांकन का उपयोग किया जाता है। निर्देशित रेखांकन में कोने होते हैं (अक्सर बंद आकृतियों के रूप में कल्पना की जाती है) और किनारों को अक्सर आकृतियों को जोड़ने वाले तीरों के रूप में कल्पना की जाती है।
हम GAN का प्रतिनिधित्व एक निर्देशित ग्राफ के रूप में भी कर सकते हैं, जहां प्रत्येक नेट का आउटपुट दूसरे के प्रशिक्षण को प्रतिकूल शैली में संचालित करता है। GANs एक Möbius स्ट्रिप स्थैतिक रूप से मिलते जुलते हैं।
हम न केवल एक इष्टतम समाधान पर नज़र रखने या एक पर नज़र रखने के गणित को समझने के बिना नए डिजाइन और आर्किटेक्चर की खोज नहीं कर सकते हैं, बल्कि नेटवर्क कनेक्शन के टोपोलॉजी भी हैं जो इस तरह के अभिसरण का समर्थन कर सकते हैं। यह पहली बार एक प्रोसेसर विकसित करने जैसा है, जबकि यह कल्पना करना कि ऑपरेटिंग सिस्टम को लिखने से पहले ऑपरेटिंग सिस्टम की क्या आवश्यकता होगी।
यह समझने के लिए कि हमने किन टोपोलॉजी पर विचार नहीं किया है, आइए सबसे पहले देखें कि कौन सी चीजें हैं।
एक कदम - एक दूसरे आयाम में बाहर निकालना
1980 के दशक में, मूल अवधारणात्मक डिजाइन के विस्तार के साथ सफलता मिली। शोधकर्ताओं ने बहुस्तरीय तंत्रिका नेटवर्क बनाने के लिए एक दूसरा आयाम जोड़ा। उचित रूप से अभिसरण को एक त्रुटि फ़ंक्शन के ढाल के पीछे-प्रसार के माध्यम से प्राप्त किया गया था, जो कि सक्रियण दर के ग्रेडिएंट्स के माध्यम से सीखे गए दर और अन्य मेटा-पैरामीटर्स के साथ जुड़े हुए थे।
चरण दो - असतत इनपुट सिग्नल में आयाम जोड़ना
हम मौजूदा मैन्युअल रूप से ट्यून्ड इमेज कन्वेंशन तकनीकों के आधार पर दृढ़ नेटवर्क के उद्भव को देखते हैं जो नेटवर्क इनपुट के लिए आयाम पेश करते हैं: ऊर्ध्वाधर स्थिति, रंग घटक और फ्रेम। यह अंतिम आयाम समकालीन फिल्म निर्माण में CGI, फेस रिप्लेसमेंट और अन्य रूपात्मक तकनीकों के लिए महत्वपूर्ण है। इसके बिना, हमारे पास छवि निर्माण, वर्गीकरण, और शोर को हटाना है।
चरण तीन - नेटवर्क के ढेर
हम देखते हैं कि 1990 के दशक के अंत में तंत्रिका जाल के ढेर उभरे हैं, जहां एक नेटवर्क के प्रशिक्षण की निगरानी दूसरे द्वारा की जाती है। यह वैचारिक परतों का परिचय है, न तो न्यूरॉन्स की अनुक्रमिक परतों के अर्थ में और न ही एक छवि में रंग की परतों के अर्थ में। इस प्रकार की लेयरिंग पुनरावृत्ति नहीं है। यह प्राकृतिक दुनिया की तरह अधिक है जहां एक संरचना एक और पूरी तरह से अलग तरह की संरचना के भीतर एक अंग है।
चरण चार - नेटवर्क के पदानुक्रम
हम 2000 के दशक और 2010 के शुरुआती दिनों (लाप्लासियन और अन्य) से उत्पन्न होने वाले अनुसंधान में अक्सर दिखाई देने वाले तंत्रिका जाल की पदानुक्रम देखते हैं, जो तंत्रिका जाल के बीच बातचीत और स्तनधारी मस्तिष्क सादृश्य को जारी रखना जारी रखता है। अब हम मेटा-स्ट्रक्चर देखते हैं, जहां संपूर्ण नेटवर्क एक टोपोलॉजी का प्रतिनिधित्व करने वाले एक निर्देशित ग्राफ में कोने बन जाते हैं।
चरण पाँच% mdash; कार्टेशियन ओरिएंटेशन से प्रस्थान
गैर-कार्टेशियन ने कोशिकाओं की व्यवस्थित रूप से दोहराई और उनके बीच संबंध साहित्य में उभरने लगे हैं। उदाहरण के लिए, गॉज इक्वेरिएंट कंफ्यूजनल नेटवर्क्स और इकोसाहेड्रल सीएनएन (टैको एस। कोहेन, मौरिस वीलर, बर्क केयानांग्लू, मैक्स वेलिंग, 2019) एक उत्तल नियमित इकोसैहेड्रॉन पर आधारित एक व्यवस्था का उपयोग करता है।
सारांश
परतों में क्रमिक रूप से मूल्यवान सक्रियण के कार्य होते हैं और आसन्न परतों [1] के बीच निर्देशित किनारों के एक विस्तृत सेट के लिए मैप किए गए क्षीणन मैट्रिसेस। निकटवर्ती परतों [2] के बीच निर्देशित किनारों के एक अपमानित सेट के लिए क्षीणन क्यूब्स के साथ दो आयामी शीर्ष व्यवस्थाओं में अक्सर छवि संकेंद्रण परतें होती हैं। एक मेटा-निर्देशित-ग्राफ में स्टैक में पूरे स्तरित जाल होते हैं, और वे मेटा-कोने एक अनुक्रम में जुड़े होते हैं जिसमें प्रत्येक किनारे या तो एक प्रशिक्षण मेटा-पैरामीटर, एक सुदृढीकरण (वास्तविक समय प्रतिक्रिया) संकेत, या कुछ अन्य शिक्षण नियंत्रण होता है। । नेट की पदानुक्रम इस धारणा को दर्शाती है कि कई नियंत्रणों को एकत्रित किया जा सकता है और निचले स्तर के सीखने को निर्देशित किया जा सकता है, या फ्लिप मामले को जहां कई शिक्षण तत्वों को एक उच्च स्तर के पर्यवेक्षक नेटवर्क द्वारा नियंत्रित किया जा सकता है।
लर्निंग टोपोलॉजी में रुझान का विश्लेषण
हम मशीन लर्निंग आर्किटेक्चर में रुझानों का विश्लेषण कर सकते हैं। हमारे तीन सामयिक रुझान हैं।
कार्य-कारण आयाम में गहराई - सिग्नल प्रोसेसिंग के लिए परतें जहां सक्रियण की एक परत के आउटपुट को अगले परत के इनपुट में मापदंडों (भार) के एक मैट्रिक्स के माध्यम से खिलाया जाता है। जैसे-जैसे अधिक नियंत्रण स्थापित होते जाते हैं, केवल बैक प्रोपैटैगियन में मूल ढाल वंश के साथ शुरुआत होती है, अधिक से अधिक गहराई हासिल की जा सकती है।
इनपुट सिग्नल की गतिशीलता - स्केलर इनपुट से हाइपरक्यूब्स (वीडियो में क्षैतिज, ऊर्ध्वाधर, पारदर्शिता सहित रंग की गहराई है, और फ्रेम - ध्यान दें कि यह अवधारणात्मक अर्थों में इनपुट की संख्या के समान नहीं है।
टोपोलॉजिकल विकास - उपरोक्त दो प्रकृति में कार्टेसियन हैं। मौजूदा आयाम में समकोण पर आयाम जोड़े जाते हैं। चूंकि नेटवर्क को पदानुक्रम (लाप्लासियन पदानुक्रम में) और मोबीउस पट्टी (जैसे गण में) के रूप में वायर्ड किया जाता है, रुझान स्थलाकृतिक होते हैं और सबसे अच्छे रूप में निर्देशित रेखांकन द्वारा दर्शाए जाते हैं जहां वर्टीकल न्यूरॉन्स नहीं होते हैं लेकिन उनमें से छोटे नेटवर्क होते हैं।
क्या टोपोलॉजी गायब हैं?
यह खंड शीर्षक प्रश्न के अर्थ पर विस्तार करता है।
- क्या कोई कारण है कि कई मेटा-कोने, प्रत्येक एक तंत्रिका जाल का प्रतिनिधित्व करते हैं, इस तरह की व्यवस्था की जा सकती है कि कई पर्यवेक्षक मेटा-कोने, संयोजन, कई कर्मचारी मेटा-कोने की निगरानी कर सकते हैं?
- नकारात्मक प्रतिक्रिया के एकमात्र गैर-रैखिक समतुल्य त्रुटि के पीछे-प्रसार क्यों है?
- पर्यवेक्षण नियोजित करने के बजाय मेटा-कोने के बीच सहयोग नहीं कर सकते, जहां नियंत्रण का प्रतिनिधित्व करने वाले दो पारस्परिक किनारे हैं?
- चूंकि तंत्रिका जाल मुख्य रूप से अरेखीय परिघटनाओं को सीखने के लिए नियोजित किए जाते हैं, इसलिए नेट्स के डिज़ाइन या उनके अंतर्संबंध में अन्य प्रकार के बंद रास्तों पर प्रतिबंध क्यों लगाया जाता है?
- क्या कोई कारण है कि ध्वनि को चित्र में नहीं जोड़ा जा सकता है ताकि वीडियो क्लिप को स्वचालित रूप से वर्गीकृत किया जा सके? अगर ऐसा है, तो एक पटकथा एक फिल्म की एक संभावित सुविधा निष्कर्षण है और क्या पटकथा को फिल्म स्टूडियो प्रणाली के बिना फिल्मों को प्रदर्शित करने और उत्पन्न करने के लिए एक प्रतिकूल वास्तुकला का उपयोग किया जा सकता है? वह टोपोलॉजी एक निर्देशित ग्राफ़ की तरह क्या दिखेगी?
- यद्यपि ऑर्थोगोननली रूप से व्यवस्थित कोशिकाएं गैर-ऑर्थोगोनल कोने और किनारों की मनमानी नियमित पैकिंग व्यवस्था का अनुकरण कर सकती हैं, लेकिन क्या यह कंप्यूटर दृष्टि में ऐसा करने के लिए कुशल है जहां प्लस या माइनस 90 डिग्री के अलावा कैमरे का झुकाव आम है?
- क्या यह एआई सिस्टम में कोशिकाओं के नेटवर्क या नेटवर्क में व्यक्तिगत कोशिकाओं को व्यवस्थित करने के लिए कुशल है, जो सीखने की प्रणालियों में मौखिक रूप से प्राकृतिक भाषा समझ और संयोजन या कृत्रिम अनुभूति के उद्देश्य से है?
टिप्पणियाँ
MLPs में कृत्रिम कोशिकाएँ आयाम और निकटता आधारित थ्रेशोल्ड पर आधारित इलेक्ट्रो-केमिकल पल्स ट्रांस्मिशन के बजाय फ्लोटिंग या फिक्स्ड पॉइंट एरिथमेटिक ट्रांसफ़र फ़ंक्शंस का उपयोग करती हैं। वे न्यूरॉन्स के यथार्थवादी सिमुलेशन नहीं हैं, इसलिए इस तरह के विश्लेषण के लिए वर्टीकल न्यूरॉन्स को कॉल करना एक मिथ्या नाम होगा।
छवि सुविधाओं का सहसंबंध और निकटता में पिक्सेल के बीच सापेक्ष परिवर्तन दूर के पिक्सल की तुलना में बहुत अधिक है।