मेरी समझ से, सीएनएन में दो भाग होते हैं। पहला भाग (कन्ट / पूल लेयर) जो सुविधा निष्कर्षण करता है और दूसरा भाग (fc लेयर्स) जो सुविधाओं से वर्गीकरण करता है।
चूंकि पूरी तरह से जुड़े हुए तंत्रिका जाल सबसे अच्छे क्लासीफायर नहीं हैं (यानी वे ज्यादातर एसवीएम और आरएफ द्वारा अधिक समय तक खराब हो जाते हैं), सीएनएन एफसी परतों के साथ समापन क्यों करते हैं, बजाय इसके कि हम एसवीएम या आरएफ कहें?
जवाबों:
यह इतना सरल नहीं है। सबसे पहले, एक एसवीएम, एक तरह से तंत्रिका नेटवर्क का एक प्रकार है (आप बैकप्रोपेगेशन के माध्यम से एसवीएम समाधान सीख सकते हैं)। देखें क्या * एक कृत्रिम तंत्रिका नेटवर्क है? । दूसरा, आप पहले से नहीं जान सकते हैं कि कौन सा मॉडल बेहतर काम करेगा, लेकिन बात पूरी तरह से न्यूरोमॉर्फिक आर्किटेक्चर के साथ है जो आप सीएनएन के अंतिम छिपे हुए लेयर एक्टिवेशन के लिए एसवीएम या आरएफ संलग्न करते हुए वेट एंड-टू-एंड सीख सकते हैं। बस एक तदर्थ प्रक्रिया। यह बेहतर प्रदर्शन कर सकता है, और यह नहीं हो सकता है, हम परीक्षण के बिना नहीं जान सकते।
महत्वपूर्ण हिस्सा यह है कि एक पूरी तरह से दृढ़ वास्तुकला वास्तुकला सीखने में सक्षम है, जो कि असंख्य कारणों से उपयोगी है। एक बार के लिए, यह आपकी समस्या में पूरी तरह से फीचर इंजीनियरिंग को कम या समाप्त कर सकता है।
एफसी परतों के बारे में, वे गणितीय रूप से 1x1 संकरी परतों के बराबर हैं। यान लेकन की पोस्ट देखें , जिसे मैं नीचे ट्रांसक्रिप्ट करता हूं:
संवेदी नेट्स में, "पूरी तरह से जुड़ी हुई परतें" जैसी कोई चीज नहीं है। 1x1 दृढ़ संकल्प गुठली और एक पूर्ण कनेक्शन तालिका के साथ केवल कन्वेंशन परतें हैं।
यह एक बहुत कम ही समझा जाने वाला तथ्य है कि ConvNets को एक निश्चित आकार के इनपुट की आवश्यकता नहीं है। आप उन्हें उन इनपुटों पर प्रशिक्षित कर सकते हैं जो एकल आउटपुट वेक्टर (कोई स्थानिक सीमा के साथ) उत्पन्न करने के लिए होते हैं, और फिर उन्हें बड़ी छवियों पर लागू करते हैं। एकल आउटपुट वेक्टर के बजाय, आप तब आउटपुट वैक्टर का स्थानिक नक्शा प्राप्त करते हैं। प्रत्येक वेक्टर इनपुट पर अलग-अलग स्थानों पर इनपुट विंडो देखता है।
उस परिदृश्य में, "पूरी तरह से जुड़ी हुई परतें" वास्तव में 1x1 संकल्प के रूप में कार्य करती हैं।
यदि आप नो-फ्री लंच प्रमेय को जानते थे (वोल्फर्ट और मैकरेडी) को जानते थे, तो आपको एक क्लासिफायर पर लटका नहीं दिया जाएगा और पूछेंगे कि यह सबसे अच्छा क्यों नहीं है। एनएफएल प्रमेय अनिवार्य रूप से कहता है कि "सभी लागत कार्यों के ब्रह्मांड में, कोई भी सर्वश्रेष्ठ क्लासिफायरियर नहीं है।" दूसरा, क्लासिफायर प्रदर्शन हमेशा "डेटा पर निर्भर करता है।"
बदसूरत डकलिंग प्रमेय (वातानाबे) अनिवार्य रूप से कहा गया है "सुविधाओं के सभी सेट के ब्रह्मांड में, वहाँ कोई भी सुविधाओं का सबसे अच्छा सेट है।" कि
, अर्थात, डेटा की आयाम नमूना आकार से बड़ा है, तो एक द्विआधारी वर्गीकरण समस्या हमेशा रैखिक रूप से अलग होती है।
उपरोक्त के प्रकाश में, साथ ही ओक्टम के रेजर में , ऐसा कुछ भी नहीं है जो किसी भी चीज़ से बेहतर हो, डेटा और लागत फ़ंक्शन से स्वतंत्र हो।
मैंने हमेशा यह तर्क दिया है कि सीएनएन खुद ही उन क्लासिफायर का नहीं है, जिनके लिए विविधता (कप्पा बनाम त्रुटि) का आकलन किया जा सकता है।