बैकप्रॉप के दौरान सीएनएन के फिल्टर वेट नहीं बदलने का प्रभाव

Question

Backpropagation के दौरान CNN के फ़िल्टर वेट नहीं बदलने का क्या प्रभाव है? मैंने MNIST डेटासेट पर प्रशिक्षण के दौरान केवल पूरी तरह से कनेक्टेड लेयर वेट को बदला और फिर भी लगभग 99 प्रतिशत सटीकता हासिल की।

Comments

दिलचस्प है, क्या आपने यादृच्छिक वजन के साथ शुरू किया था, या कुछ पिछले नेटवर्क से वजन का उपयोग कर रहे थे? प्रशिक्षण सेट, या होल्ड आउट टेस्ट सेट से भी आपकी सटीकता मापी जाती है?

— नील स्लेटर

@ नील स्लेटर: मैंने यादृच्छिक गाऊसी भार के साथ शुरुआत की। सटीकता माप परीक्षण सेट पर है।

— अभिषेक डैश

@ नील स्लेटर: फिल्टर के विभिन्न इनिशियलाइज़ेशन से भी सटीकता लगभग समान रहती है। मैंने 2 कनवल्शन और अधिकतम पूल लेयर्स और 256 छिपे हुए न्यूरॉन्स के साथ एक FC लेयर का उपयोग किया

— Abhisek Dash

Answer 1

CNN की दृढ़ परतों के भार को न बदलकर, आप अनिवार्य रूप से अपने क्लासिफायर (पूरी तरह से कनेक्ट की गई परत) रैंडम फीचर्स (यानी हाथ में वर्गीकरण कार्य के लिए इष्टतम सुविधाएँ नहीं ) को खिला रहे हैं ।

एमएनआईएसटी एक आसान पर्याप्त छवि वर्गीकरण कार्य है जिसे आप किसी भी सुविधा निष्कर्षण के बिना एक क्लासिफायर के लिए इनपुट पिक्सल को बहुत अधिक खिला सकते हैं और यह अभी भी उच्च 90 के दशक में स्कोर करेगा। इसके अलावा, शायद पूलिंग परतें थोड़ी मदद करती हैं ...

इनपुट छवि पर एक एमएलपी (बिना कन्टेनर / पूल लेयर) के प्रशिक्षण का प्रयास करें और देखें कि यह कैसे रैंक करता है। यहां एक उदाहरण है जहां एक एमएलपी (1 छिपी और 1 आउटपुट परत) बिना किसी प्रीप्रोसेसिंग / सुविधा निष्कर्षण के 98 +% तक पहुंच गया।

---

संपादित करें:

मैं एक और जवाब देना चाहूंगा , जो मैंने लिखा था, जो इस बात पर अधिक विस्तार से बताता है कि एमएनआईएसटी एक छवि वर्गीकरण कार्य के रूप में इतना आसान क्यों है।