परिचय पृष्ठभूमि
एक दृढ़ तंत्रिका नेटवर्क के भीतर, हमारे पास आमतौर पर एक सामान्य संरचना / प्रवाह होता है जो इस तरह दिखता है:
- इनपुट छवि (अर्थात एक 2D वेक्टर
x)
(1 संकेंद्रित परत (Conv1) यहां से शुरू होती है ...)
w12 डी छवि (यानीz1 = w1*x + b1डॉट उत्पाद गुणन) के साथ फिल्टर ( ) का एक सेट को हल करें , जहांz13 डी है, औरb1पूर्वाग्रह है।z1गैर-रैखिक (जैसेa1 = ReLu(z1)) बनाने के लिए एक सक्रियण फ़ंक्शन (जैसे ReLu) लागू करें , जहांa13D है।
(दूसरा संकेंद्रित परत (Conv2) यहां से शुरू होता है ...)
- नई संगणित सक्रियणों के साथ फिल्टर का एक सेट को हल करें (यानी
z2 = w2*a1 + b2डॉट उत्पाद गुणन करें), जहांz23 डी है, औरb2बायसेज़ है। z2गैर-रैखिक (जैसेa2 = ReLu(z2)) बनाने के लिए एक सक्रियण फ़ंक्शन (जैसे ReLu) लागू करें , जहांa23D है।
प्रश्न
"फ़ीचर मैप" शब्द की परिभाषा साहित्य से साहित्य में भिन्न होती है। वस्तुतः:
- पहली दृढ़ परत के लिए, "फ़ीचर मैप" इनपुट वेक्टर
x, या आउटपुट डॉट प्रोडक्टz1, या आउटपुट एक्टीविटीज़a1, या "प्रक्रिया" को परिवर्तितxकरता हैa1, या कुछ और से मेल खाता है? - इसी तरह, दूसरी संकेंद्रित परत के लिए, "फीचर मैप" इनपुट एक्टिविटीज
a1, या आउटपुट डॉट प्रोडक्टz2, या आउटपुट एक्टीवेशनa2, या "प्रोसेस"a1को "a2या कुछ और " में बदलने से मेल खाती है?
इसके अलावा, यह है कि शब्द "सुविधा नक्शा" है सच है बिल्कुल के रूप में "सक्रियण नक्शे" एक ही? (या वे वास्तव में दो अलग-अलग चीजों का मतलब है?)
अतिरिक्त संदर्भ:
तंत्रिका नेटवर्क और गहन शिक्षा से स्निपेट - अध्याय 6 :
* नामकरण का यहाँ शिथिल उपयोग किया जा रहा है। विशेष रूप से, मैं "फ़ीचर मैप" का उपयोग कर रहा हूं, जिसका अर्थ यह नहीं है कि आक्षेपित परत द्वारा गणना की गई फ़ंक्शन, बल्कि परत से छिपे हुए न्यूरॉन्स आउटपुट की सक्रियता है। अनुसंधान साहित्य में नामकरण के इस तरह के हल्के दुरुपयोग बहुत आम हैं।
मैट ज़ाइलर द्वारा विज़ुअलाइज़िंग और अंडरस्टैंडिंग कॉन्फिडेंशियल नेटवर्क्स से स्निपेट्स :
इस पत्र में हम एक विज़ुअलाइज़ेशन तकनीक पेश करते हैं जो इनपुट उत्तेजनाओं को प्रकट करता है जो मॉडल में किसी भी स्तर पर व्यक्तिगत फीचर मैप को उत्तेजित करता है। [...] इसके विपरीत, हमारा दृष्टिकोण, गैर-पैरामीट्रिक दृष्टिकोण प्रदान करता है, जिसमें दिखाया गया है कि प्रशिक्षण सेट से कौन से पैटर्न फीचर मैप को सक्रिय करते हैं। [...] एक स्थानीय कंट्रास्ट ऑपरेशन है जो फीचर मैप्स पर प्रतिक्रियाओं को सामान्य करता है। [...] किसी दिए गए कन्टेक्ट सक्रियण की जांच करने के लिए, हम परत में अन्य सभी सक्रियणों को शून्य पर सेट करते हैं और फीचर मैप्स को संलग्न डिकॉनेट परत के इनपुट के रूप में पास करते हैं। [...] काफनेट रिले-नॉन-लीनियरिटीज़ का उपयोग करता है, जो फ़ीचर मैप्स को सुधारता है और यह सुनिश्चित करता है कि फ़ीचर मैप्स हमेशा सकारात्मक हों। [...] पिछली परत से फीचर मैप्स को समझाने के लिए काफनेट सीखे हुए फिल्टर का उपयोग करता है। [...] चित्र 6, ये विज़ुअलाइज़ेशन इनपुट पैटर्न के सटीक निरूपण हैं जो मॉडल में दिए गए फ़ीचर मैप को उत्तेजित करते हैं [...] जब पैटर्न के अनुरूप मूल इनपुट छवि के हिस्सों को रखा जाता है, तो हम फ़ीचर मैप के भीतर गतिविधि में एक अलग गिरावट देखते हैं। [...]
टिप्पणी: चित्र 1 में "फीचर मैप" और "रेक्टिफाइड फीचर मैप" शब्द का भी परिचय है।
सीएनएन पर स्टैनफोर्ड CS231n अध्याय से स्निपेट :
[...] इस दृश्य के साथ आसानी से देखा जा सकता है कि एक खतरनाक नुकसान यह है कि कुछ सक्रियण मानचित्र कई अलग-अलग इनपुटों के लिए सभी शून्य हो सकते हैं, जो मृत फिल्टर को इंगित कर सकते हैं, और उच्च सीखने की दर का एक लक्षण हो सकता है [...] पहले CONV लेयर (बाएं) पर विशिष्ट-दिखने वाली सक्रियता, और एक बिल्ली की तस्वीर को देखते हुए एक प्रशिक्षित एलेक्सनेट की 5 वीं CONV परत (दाईं ओर)। प्रत्येक बॉक्स कुछ फिल्टर के अनुरूप एक सक्रियण मानचित्र दिखाता है। ध्यान दें कि सक्रियण विरल हैं (अधिकांश मूल्य शून्य हैं, काले रंग में दिखाए गए इस दृश्य में) और ज्यादातर स्थानीय हैं।
ए-बिगिनर-गाइड-टू-अंडरस्टैंडिंग-कन्वेंशनल-न्यूरल-नेटवर्क्स से स्निपेट्स
[...] इनपुट वॉल्यूम पर प्रत्येक अद्वितीय स्थान एक संख्या पैदा करता है। सभी स्थानों पर फ़िल्टर को स्लाइड करने के बाद, आपको पता चलेगा कि आपके पास जो कुछ बचा है, वह संख्याओं का 28 x 28 x 1 सरणी है, जिसे हम एक सक्रियण मानचित्र या सुविधा मानचित्र कहते हैं।
a1,a2आदि)। Conv2 में, मुझे लगता है कि मैंa1इनपुट सक्रियण मानचित्र औरa2आउटपुट सक्रियण मानचित्र कहूंगा । Conv1 में, मैंxइनपुट छवि, औरa1आउटपुट सक्रियण मानचित्र।