क्या कोई अच्छा कागजात है जो फ़िल्टर के लिए आयामों को चुनने, इकाइयों को पूल करने और दोषपूर्ण परतों की संख्या का निर्धारण करने के कुछ तरीके को कवर करता है?
जवाबों:
कुछ हद तक हाँ, हाल ही में Google शोधकर्ताओं द्वारा एक नया शोधपत्र सामने आया कि कैसे अच्छे इंसेप्शन आर्किटेक्चर को चुना जाए। इंसेप्शन नेट एक विवश पैरामीटर बजट पर बहुत उच्च प्रदर्शन प्राप्त करते हैं, इसलिए यह किसी भी स्थान पर शुरू करने के लिए उतना ही अच्छा है, और यह हाल ही में है। यहाँ लिंक है: कंप्यूटर विज़न के लिए इन्सेप्शन आर्किटेक्चर को रीथिंक करना ।
वे किसी भी कठिन परिमाणात्मक नियमों की पेशकश नहीं करते हैं, बल्कि वे दिशा-निर्देश जो उन्होंने उपयोग किए हैं और मानते हैं कि उन्हें हाल ही के इमेजनेट प्रतियोगिताओं में अच्छा प्रदर्शन प्राप्त करने में मदद मिली है।
उदाहरण के लिए, उनके द्वारा चर्चा किए गए कुछ सिद्धांत हैं:
एक ही बड़े ग्रहणशील क्षेत्र के लिए परतों की तुलना में छोटे ग्रहणशील क्षेत्र के अवक्षेपण परतों के ढेर का उपयोग करें, अर्थात् 3x7 काँच की परत के बनाम 3x3 की परत के 2 ढेर। यह विचार नया नहीं है, इस पर रिटर्न ऑफ द डेविल इन द डिटेल्स: डेल्विंग डीप इन कन्फ्यूज़नल नेटवर्क्स द ऑक्सफोर्ड वीजीए टीम द्वारा भी चर्चा की गई। यह पैरामीटर कुशल होने की आवश्यकता से प्रेरित है। यह अधिक प्रतिनिधित्व क्षमता का दोहरा प्रभाव भी है क्योंकि हम अधिक परतों के साथ अधिक गैर-शुद्धता का परिचय देते हैं।
कुछ ऐसा है जो मैंने साहित्य में नहीं देखा है कि इस लेख में कहा गया है कि परतों में गहरी परतें फैली हुई हैं। इसलिए एक सिंगल 7x7 कन्टेन लेयर होने के बजाय, हमारे पास 1x7 कॉन्टेक्ट लेयर और फिर 7x1 कॉन्टेस्ट लेयर होगी। अधिक गहराई से जोड़ता है, मेरा मानना है कि यह भी कुशल पैरामीटर के रूप में अच्छी तरह से।
अपने जाल की गहराई और चौड़ाई को संतुलित करें। उच्च आयामी अभ्यावेदन का उपयोग करें। यह उनके इनसेप्शन मॉड्यूल के पीछे के सिद्धांतों में से एक है, जो एक साथ कई कंफर्टेबल लेयर्स को समेटते हैं। इसलिए, भले ही आपके पास अपने कन्टेन नेट में एक छोटा स्थानिक आकार हो, इंसेप्शन मॉड्यूल का उपयोग करके हम मल्टी-स्केल कन्टेक्शनल कनैक्शन के माध्यम से एक उच्च आयामी प्रतिनिधित्व का उपयोग कर सकते हैं: 1x1, 3x3, 3x3-3x3, अधिकतम पूल सभी को एक साथ रखा। इन इंसेप्शन मॉड्यूल में एक "चौड़ाई" होती है क्योंकि उन्हें समानांतर में कई ऑपरेशन करने के रूप में व्याख्या की जा सकती है। वे नए इंसेप्शन मॉड्यूल के साथ और भी आगे बढ़ जाते हैं, जिसमें कंसट्रक्शनल साइज़, 1x3, 3x1 आदि होते हैं।
1x1 का उपयोग करें परतें (नेटवर्क शैली में नेटवर्क) आयामीता को कम करने के लिए। वे पैरामीटर दक्षता प्राप्त करने के लिए बहुत अधिक आयामी कमी तकनीकों का उपयोग करते हैं। उनका मानना है कि यह प्रभावी है क्योंकि आसन्न सुविधा मानचित्रों में अत्यधिक सहसंबंधित आउटपुट हैं। इससे समझ में आता है कि प्राकृतिक चित्र कुछ स्थानीय सांख्यिकीय गुणों को प्रदर्शित करने के लिए जाने जाते हैं। तो 1x1 एनआईएन परतों के माध्यम से आयामीता को कम करने से प्रतिनिधित्वात्मक शक्ति पर विनाशकारी प्रभाव नहीं पड़ता है।
लेख में और भी बहुत कुछ है। मुझे लगता है कि यह एक ऐसा लेख है जो कुछ अंतर्दृष्टि प्रदान कर सकता है जैसा आप पूछ रहे हैं। वे कॉन्टेक्ट नेट आर्किटेक्चरल डिज़ाइन की कुछ बहुत ही मुख्य अवधारणाओं के बारे में बात कर रहे हैं।
मैं इन विशिष्टताओं को समस्या विशिष्टताओं के एक समारोह के रूप में चुनने पर किसी भी साहित्य में नहीं आया हूं। लेकिन, यह मेरी समझ है कि अधिकांश प्रभावी मूल्यों पर शून्य करने के लिए बायेसियन अनुकूलन विधियों को अपना रहे हैं। आप एक उचित सीमा निर्दिष्ट करते हैं, और विभिन्न संयोजनों का परीक्षण करके, आप एक मॉडल सीखते हैं कि उन हाइपर-पैरामीटर मॉडल की सटीकता से कैसे संबंधित हैं। यह मेरे लिए अच्छा काम किया है। Snoek, Larochelle, और Adams ( http://papers.nips.cc/paper/4522-practical-bayesian-optionization-of-machine-learning-al एल्गोरिदम.pdf) से "मशीन सीखने के एल्गोरिथम का व्यावहारिक अनुकूलन" देखें ।