तंत्रिका नेटवर्क में एक गतिविधि वेक्टर क्या है?


9

मैं हिंटन के नए पेपर, "डायनेमिक रूटिंग बिटवीन कैप्सूल्स" को पढ़ रहा था और सार में "एक्टिविटी वेक्टर" शब्द को नहीं समझता था।

एक कैप्सूल न्यूरॉन्स का एक समूह है, जिसकी गतिविधि वेक्टर एक विशिष्ट प्रकार की इकाई जैसे ऑब्जेक्ट या ऑब्जेक्ट भाग के तात्कालिकता मापदंडों का प्रतिनिधित्व करती है। हम गतिविधि वेक्टर की लंबाई का उपयोग उस संभावना का प्रतिनिधित्व करने के लिए करते हैं जो इकाई मौजूद है और तात्कालिक पैरामीटर्स का प्रतिनिधित्व करने के लिए इसकी अभिविन्यास। एक स्तर पर सक्रिय कैप्सूल उच्च स्तर के कैप्सूल के तात्कालिकता मापदंडों के लिए, परिवर्तन मैट्रिक्स के माध्यम से भविष्यवाणियां करते हैं। जब कई भविष्यवाणियां सहमत होती हैं, तो उच्च स्तर का कैप्सूल सक्रिय हो जाता है। हम दिखाते हैं कि भेदभावपूर्ण रूप से प्रशिक्षित, बहु-परत कैप्सूल प्रणाली MNIST पर अत्याधुनिक प्रदर्शन प्राप्त करती है और अत्यधिक ओवरलैपिंग अंकों को पहचानने में एक जटिल जाल से काफी बेहतर है। इन परिणामों को प्राप्त करने के लिए हम एक पुनरावृत्ति मार्ग-दर-समझौते तंत्र का उपयोग करते हैं:

https://arxiv.org/pdf/1710.09829.pdf

मुझे लगा कि एक वेक्टर डेटा की एक सरणी की तरह है जिसे आप नेटवर्क के माध्यम से चला रहे हैं।

मैंने एंड्रयू एनजी के गहन शिक्षण पाठ्यक्रम के माध्यम से काम करना शुरू किया, लेकिन यह सब नया है और मेरे सिर के ऊपर से शब्द चलते हैं।

जवाबों:


8

एक पारंपरिक तंत्रिका नेटवर्क में, नेटवर्क कोने न्यूरॉन्स होते हैं और एक एकल न्यूरॉन का आउटपुट एक एकल मान (" स्केल ") होता है। इस संख्या को इसकी सक्रियता कहा जाता है । एक परतनेटवर्क में न्यूरॉन्स की सक्रियण के एक वेक्टर का उत्पादन करती है। हमें एक कैप्सूल नेटवर्क में गतिविधि वैक्टर के साथ इसे भ्रमित नहीं करना चाहिए।

कैप्सूल नेटवर्क अलग-अलग होते हैं क्योंकि नेटवर्क वर्टिकल न्यूरॉन्स के बजाय कैप्सूल होते हैं। वे एक उच्च-आयामी हैं: एक कैप्सूल का आउटपुट स्केलर नहीं है, लेकिन एक वेक्टर है जो इनपुट से संबंधित मापदंडों के एक समूह का प्रतिनिधित्व करता है। इसलिए नाम सक्रियण वेक्टर

प्रेरणा

एक न्यूरल नेटवर्क में न्यूरॉन्स के स्केलर आउटपुट के बीच कोई अंतर्निहित संरचना नहीं होती है, यह कुछ ऐसी चीजें हैं जो निम्न परतों को सीखना है। कैप्सूल नेटवर्क में एक कैप्सूल का आउटपुट वेक्टर से एक साथ सभी मानकों का प्रतिनिधित्व करता है, जिसमें गहरी परत के कैप्सूल की सक्रियता के लिए एक भविष्यवाणी भी शामिल है। यह एक उपयोगी स्थानीय संरचना जोड़ता है।

उदाहरण के लिए, चेहरे की पहचान पर विचार करें। यदि आपके पास एक कैप्सूल है जो जानता है कि आंखों को कैसे पहचाना जाए तो यह एक गतिविधि वेक्टर का उत्पादन कर सकता है जैसे कि "मैं प्रतिनिधित्व कर रहा हूं, क्योंकि संभावना p = 0.97 के साथ मैंने एक आंख की स्थिति (x, y) को पहचान लिया है। मैं भविष्यवाणी करता हूं कि पूरे चेहरे के लिए पैरामीटर होगा (f1,) ... fn) "।

जैसा कि कैप्सूल के बीच गतिशील रूटिंग में समझाया गया है पेपर के आप इस जानकारी का उल्लेख करते हैं, तो इसका उपयोग इस तरह से किया जाता है कि पहले की परतों में कैप्सूल (भागों: आंख, मुंह, नाक) गहरी परतों (चेहरे) की सक्रियता की भविष्यवाणी करते हैं। उदाहरण के लिए, एक चेहरा पहचानने वाला केवल तभी सक्रिय रूप से सक्रिय होगा जब आंख, नाक और मुंह पहचानने वाले (भागों) और चेहरे के पहचानकर्ता (पूरे) के बीच समझौता होता है कि चेहरा कहां स्थित है (a (f1, ... fn) ) पैरामीटर)।

ऐतिहासिक प्रेरणा

SIFT जैसे पुराने कंप्यूटर विज़न एल्गोरिदम एक समान तरीके से काम करते हैं जहाँ मान्यता बहु-आयामी सुविधाओं (मुख्य बिंदुओं) और संदर्भ कॉन्फ़िगरेशन के कॉन्फ़िगरेशन के बीच आधारित समझौता है।


1

मैं इसे "कैप्सूल में न्यूरॉन्स की सक्रियता के सदिश" जैसे कुछ मतलब के लिए ले गया। किसी दिए गए न्यूरॉन के लिए सक्रियण उसके इनपुट का भारित योग है, जो सक्रियण फ़ंक्शन (सिग्मॉइड, रिले, आदि) से होकर गुजरा है ।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.