संवैधानिक नेटवर्क में पूर्वाग्रह के बारे में प्रश्न


11

मैं यह पता लगाने की कोशिश कर रहा हूं कि CNN के लिए कितने वज़न और बायसेज़ की ज़रूरत है।

मान लें कि मेरे पास एक (3, 32, 32) -image है और वह (32, 5, 5) -फिल्टर लगाना चाहता है। प्रत्येक फीचर मैप के लिए मेरे पास 5x5 वज़न है, इसलिए मेरे पास 3 x (5x5) x 32 पैरामीटर होना चाहिए। अब मुझे पूर्वाग्रह जोड़ने की जरूरत है। मेरा मानना ​​है कि मेरे पास केवल (3 x (5x5) + 1) x 32 पैरामीटर है, इसलिए पूर्वाग्रह सभी रंगों (RGB) में समान है?

क्या ये सही है? क्या मैं प्रत्येक छवि के लिए एक ही पूर्वाग्रह रखता हूं इसकी गहराई में (इस मामले में 3) जबकि मैं अलग-अलग भार का उपयोग करता हूं? ऐसा क्यों है?

जवाबों:


6

पूर्वाग्रह आभासी न्यूरॉन के अनुसार काम करता है, इसलिए कई पूर्वाग्रह इनपुट होने में कोई मूल्य नहीं है जहां एक ही आउटपुट है - जो कि अलग-अलग पूर्वाग्रह भार को एक ही पूर्वाग्रह में जोड़ने के बराबर होगा।

फीचर मैप्स में जो पहले छिपी हुई परत का आउटपुट हैं, रंग अब अलग नहीं रखे गए हैं *। प्रभावी रूप से प्रत्येक फीचर मैप अगली परत में एक "चैनल" है, हालांकि वे आमतौर पर अलग से देखे जाते हैं जहां इनपुट संयुक्त चैनलों के साथ कल्पना की जाती है। इस बारे में सोचने का एक और तरीका यह है कि मूल छवि में अलग-अलग आरजीबी चैनल इनपुट में 3 "फीचर मैप" हैं।

इससे कोई फ़र्क नहीं पड़ता कि पिछली परत में कितने चैनल या फ़ीचर हैं, अगली लेयर में प्रत्येक फ़ीचर मैप पर आउटपुट उस मैप में सिंगल वैल्यू है। एक आउटपुट मूल्य एक आभासी न्यूरॉन से मेल खाता है, जिसे एक पूर्वाग्रह वजन की आवश्यकता होती है।

सीएनएन में, जैसा कि आप सवाल में बताते हैं, आउटपुट फीचर मैप में प्रत्येक बिंदु पर समान भार (पूर्वाग्रह भार सहित) साझा किए जाते हैं। इसलिए प्रत्येक फ़ीचर मैप का अपना बायस वज़न और previous_layer_num_features x kernel_width x kernel_heightकनेक्शन वज़न होता है।

तो हाँ, (3 x (5x5) + 1) x 32पहली परत के लिए कुल वजन के परिणामस्वरूप आपका उदाहरण CNN के लिए पहले छिपी हुई परत प्रसंस्करण RGB इनपुट के साथ 32 अलग फीचर मैप में सही है।


* सीएनएन वेट के विज़ुअलाइज़ेशन को देखकर आप भ्रमित हो सकते हैं जिसे उन रंगीन चैनलों में अलग किया जा सकता है जिन पर वे काम करते हैं।


मैंने सोचा था कि प्रति फिल्टर एक पूर्वाग्रह था ... क्या हमारे पास आभासी न्यूरॉन्स की अलग-अलग परिभाषाएं हैं?
चार्ली पार्कर

@CharlieParker मापदंडों की संख्या के संदर्भ में, प्रति फिल्टर एक पूर्वाग्रह प्रति न्यूरॉन के रूप में एक पूर्वाग्रह है। CNN सुविधा मानचित्र की वास्तुकला को देखने के लिए कुछ समान तरीके हैं। एक "पूरी तरह से विस्तारित" परत के रूप में होगा जिसमें बड़ी संख्या में न्यूरॉन्स सभी समान मापदंडों को साझा करते हैं। एक एकल न्यूरॉन के स्थानीय कनेक्शनों के वर्णन के रूप में प्रत्येक दृढ़ फिल्टर के बारे में सोचना होगा, और परत बार-बार इसी न्यूरॉन का उपयोग करता है। इसलिए मुझे लगता है कि हमारे पास शायद न्यूरॉन की एक ही परिभाषा है, लेकिन जवाब सिर्फ एक दृष्टिकोण से चीजों का वर्णन करता है।
नील स्लेटर

दिलचस्प है, मुझे लगता है कि आप प्रत्येक फिल्टर के लिए प्रत्येक न्यूरॉन के बारे में सोचते हैं, मैं किसी कारण से प्रत्येक न्यूरॉन के लिए प्रत्येक सक्रियण के बारे में सोच रहा था, लेकिन फ़िल्टर छवि में कई स्थानों पर सक्रिय होता है, इसलिए निश्चित रूप से मेरे मन में कई और न्यूरॉन्स थे।
चार्ली पार्कर

1

यह CNN की संपत्ति है कि वे एक ही सुविधा का पता लगाने के लिए साझा वज़न और पूर्वाग्रह (एक परत में सभी छिपे हुए न्यूरॉन्स के लिए एक ही वज़न और पूर्वाग्रह) का उपयोग करते हैं। यह सरल तंत्रिका नेटवर्क की तुलना में अधिक गहन सीखने की ओर ले जाता है। आप इसे संदर्भ के रूप में पढ़ सकते हैं:

http://deeplearning.net/tutorial/lenet.html
http://neuralnetworksanddeeplearning.com/chap6.html#introducing_convolutional_networks


मैं एक अलग सवाल पूछ रहा हूं। मेरा सवाल पूर्वाग्रह के बारे में है। सूत्र से, यह दिखता है कि प्रत्येक फीचर मैप के लिए अलग-अलग वजन हैं, लेकिन सभी फीचर मैप में एक ही पूर्वाग्रह का उपयोग किया जाता है।
उपयोगकर्ता
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.