बहुत सारे गहरे शिक्षण पत्रों को पढ़ने के बाद, एक प्रकार की खुरदरी भावना यह है कि बेहतर-सामान्य प्रदर्शन प्राप्त करने के लिए नेटवर्क को प्रशिक्षित करने में बहुत सारी चालें मौजूद हैं। उद्योग एप्लिकेशन के नजरिए से, बड़ी तकनीकी कंपनियों, जैसे, Google या फेसबुक में उन कुलीन अनुसंधान समूहों को छोड़कर इस तरह के ट्रिक विकसित करना बहुत कठिन है। फिर अभ्यास में गहरी सीखने के एल्गोरिदम को लागू करने का सबसे अच्छा तरीका क्या है। किसी भी विचार और सुझावों की बहुत सराहना की जाएगी।
जवाबों:
सच है, प्रदर्शन में सुधार के लिए उपयोग किए जाने वाले कुछ विवरणों को ट्रिक्स के रूप में माना जाता है और आपको हमेशा पता नहीं चलेगा कि क्या ये ट्रिक्स आपके डेटा और आपके नेटवर्क के लिए समान सुधार प्राप्त करते हैं।
कुछ चीजें जिनकी आपको निश्चित रूप से आवश्यकता होगी:
यहाँ एक दिलचस्प पुस्तक है न्यूरल नेटवर्क्स: ट्रिक्स ऑफ़ द ट्रेड , पुस्तक का एक अद्यतन 2012 संस्करण। तंत्रिका नेटवर्क के कुछ अग्रदूतों द्वारा बहुत सारे लेख।
प्रशिक्षण के साथ बहुत सारे व्यावहारिक मुद्दों पर ypx ने खूबसूरती से छुआ है, इसलिए आपके द्वारा उठाए गए अन्य मुद्दों पर छूने के लिए: बहुत सारे कुलीन औद्योगिक प्रयोगशालाएं अभी भी अपने परिणाम प्रकाशित करती हैं। उदाहरण के लिए, माइक्रोसॉफ्ट रिसर्च की टीम ने सिर्फ इमेजनेट 2015 जीता और उन्होंने अपने नए गहरे नेट मॉड्यूल का वर्णन करते हुए एक तकनीकी रिपोर्ट जारी की: डीप रेजिडेंशियल लर्निंग फॉर इमेज रिकॉग्निशन , Google की टीम ने अपने इनसेप्शन आर्किटेक्चर को प्रकाशित किया, साथ ही गोइंग डेपर विद कन्वर्सेशन । गैर-तुच्छ डिग्री के लिए बड़े नवाचारों को साझा करने के लिए अभी भी मशीन लर्निंग (अभी के लिए) में एक संस्कृति है। संभवतः क्योंकि डेटा तक पहुंच की कुंजी है। Google और Facebook के पास केवल उन डेटा तक पहुंच है जो हम नहीं करते हैं। यह कहना मुश्किल है कि रॉ एल्गोरिथम इनोवेशन का कितना क्रेडिट जाता है और कितना बड़ा डेटा जाता है।
भविष्य में क्या होगा? बताना कठिन है। यह एक मुद्दा है कि बहुत से लोगों ने उठाया है कि ये डेटा संचालित कंपनियां कितनी मूल्यवान हो गई हैं और बाजार कितना प्रतिस्पर्धी है। लेकिन अब के लिए, मुझे लगता है कि औद्योगिक अनुसंधान प्रयोगशालाओं के पास काफी अच्छा संतुलन है और साझा नहीं करते हैं। मैं समझता हूं कि वे अपने सटीक कोड कार्यान्वयन को साझा नहीं कर रहे हैं। लेकिन वे कुछ बहुत उपन्यास नवाचार साझा करते हैं।
उन शोधकर्ताओं को खोजें जो महत्वपूर्ण परिणाम प्रकाशित करते हैं और पढ़ते हैं, पढ़ते हैं, पढ़ते हैं। मुझे विश्वास है कि Reddit पर Yann LeCun के AMA में उन्होंने उल्लेख किया था कि वह एक भयावह पाठक हैं। मेरा मानना है कि यह सबसे महत्वपूर्ण चीज है। और इस हद तक कि यह व्यावहारिक है, उनके मानदंड को फिर से बनाने की कोशिश करें, या अपने बजट के भीतर एक डेटासेट में उनकी विधि लागू करें।
मुझे लगता है कि भले ही आप कहाँ हैं या जीवन में आपका स्टेशन क्या है, यह तेज रहने और अपने कौशल का विकास जारी रखने का सबसे अच्छा तरीका है। एक सतर्क पाठक बनें और चीजों को लागू करें और अंतर्ज्ञान का निर्माण करें। मेरे पास व्यक्तिगत रूप से ImageNet प्रतियोगिताओं में भाग लेने के लिए संसाधन नहीं हैं, लेकिन सभी शीर्ष प्रदर्शन करने वाले ImageNet समूह के लेखों को पढ़ने से मुझे काफी मदद मिली है।