गैर-छवि गैर-एनएलपी कार्यों के लिए गहरी सीख?


12

अब तक कंप्यूटर दृष्टि या प्राकृतिक भाषा प्रसंस्करण में गहन सीखने के लिए कई दिलचस्प अनुप्रयोग हैं।

यह अन्य अधिक परंपरागत क्षेत्रों में कैसे है? उदाहरण के लिए, मेरे पास पारंपरिक सामाजिक-जनसांख्यिकीय वैरिएबल हैं और शायद बहुत सारे लैब माप हैं और एक निश्चित बीमारी की भविष्यवाणी करना चाहते हैं। यदि मेरे पास बहुत सारे अवलोकन हैं, तो क्या यह एक गहन शिक्षण अनुप्रयोग होगा? मैं यहाँ एक नेटवर्क कैसे बनाऊंगा, मुझे लगता है कि सभी फैंसी लेयर्स (कनवोलुशन इत्यादि) वास्तव में आवश्यक नहीं हैं ?! बस इसे गहरा बनाओ?

अपने विशिष्ट डेटा सेट पर, मैंने सटीकता के संबंध में मिश्रित परिणामों के साथ कुछ सामान्य मशीन लर्निंग एल्गोरिदम जैसे यादृच्छिक जंगलों, जीबीएम आदि की कोशिश की। मेरे पास छवि मान्यता के साथ सीखने का गहरा अनुभव है।


1
आप एक अलग दृष्टिकोण को देखकर बेहतर हो सकते हैं, जैसे कि XGBoost, "बहुत सारी टिप्पणियों" पर निर्भर करता है। क्या आप स्पष्ट कर सकते हैं कि आपका लक्ष्य विशेष रूप से गहन शिक्षण दृष्टिकोणों की कोशिश करना है, या सर्वोत्तम सटीकता प्राप्त करना है?
नील स्लेटर

@NeilSlater मेरा लक्ष्य xgboost जैसे स्थापित तरीकों की तुलना में अधिक सटीकता प्राप्त करना होगा, अगर ऐसा संभव हो तो
spore234

1
यह संभव है, लेकिन मेरे अनुभव में तब तक इसकी संभावना नहीं है जब तक कि आपके पास वास्तव में बहुत अधिक डेटा न हो।
नील स्लेटर

मतलाब "डीप लर्निंग टिप्स एंड ट्रिक्स" के बारे में प्रलेखन प्रदान करता है। मेरे पास एक ही सवाल था और पेज ने अच्छे उदाहरणों के साथ बहुत उपयोगी मार्गदर्शिका प्रदान की। उदाहरण के लिए आपको गहरी शिक्षा का उपयोग करके अनुक्रम / समय श्रृंखला वर्गीकरण / प्रतिगमन के लिए अनुक्रम की आवश्यकता हो सकती है।
सामी नवसे

जवाबों:


10

हां आप गैर-छवि डेटा को संसाधित करने के लिए गहन शिक्षण तकनीकों का उपयोग कर सकते हैं। हालांकि, अन्य मॉडल कक्षाएं अभी भी सिग्नल-प्रोसेसिंग और संबंधित कार्यों के बाहर तंत्रिका नेटवर्क के साथ बहुत प्रतिस्पर्धात्मक हैं।

गैर-सिग्नल / गैर-अनुक्रम डेटा पर गहरी सीखने के दृष्टिकोण का उपयोग करने के लिए, आमतौर पर आप एक साधारण फीड-फॉरवर्ड मल्टी-लेयर नेटवर्क का उपयोग करते हैं। कंसिस्टेंट लेयर्स या पूलिंग लेयर्स की जरूरत नहीं। इसके अलावा सबसे अच्छी वास्तुकला को क्रॉस-मान्यता के साथ तलाशने की आवश्यकता है, और गहरे एनएन की खोज करने के लिए समय लेने वाली हो सकती है ताकि प्रशिक्षण के लिए बहुत अधिक गणना हो।

मेरे अनुभव में कागेल प्रतियोगिताओं में गहरे (-ish, आम तौर पर ~ 5 परतों) तंत्रिका नेटवर्क का उपयोग करने का प्रयास:

  • ड्रॉपआउट नियमितीकरण और सटीकता में सुधार के लिए अभी भी अत्यधिक प्रभावी है

  • इनपुट सामान्यीकरण - आमतौर पर 0 का मतलब है, मानक डेविटॉन 1, महत्वपूर्ण है

  • छिपी हुई परत सक्रियण क्रियाओं से फर्क पड़ सकता है। यद्यपि ReLU लुप्त हो रहे ग्रेडिएंट्स के साथ कुछ समस्याओं को कम करता है, मेरे अनुभव में यह गैर-सिग्नल डेटा के साथ कम मजबूत है और आप कुछ अन्य फॉर्म चाहते हैं। यदि आपके पास केवल कुछ परतें हैं, तो सिग्मॉइड या टैन अभी भी ठीक काम करते हैं। अन्यथा, टपका हुआ ReLU, PReLU, ELU और अन्य ReLU वेरिएंट में देखें जो "मृत" न्यूरॉन्स के साथ अपनी समस्याओं को पैच करने का प्रयास करते हैं।

  • गहरी शिक्षा के लिए डिज़ाइन किए गए ऑप्टिमाइज़र का उपयोग करें, जैसे कि एडम, एडग्राड या आरएमएसप्रॉप

  • एक वजन प्रारंभिक दृष्टिकोण का उपयोग करें जो ग्लोरोट जैसे गहरी शिक्षा के साथ काम करता है।

  • बैच सामान्यीकरण परतों का उपयोग करने पर विचार करें। ऐसा कुछ नहीं जिसका मुझे बहुत अनुभव है, लेकिन मैंने अन्य लोगों को इस दृष्टिकोण के साथ अच्छा करते देखा है।

इस सब के बावजूद, XGBoost नियमित रूप से और आसानी से कम से कम ट्यूनिंग और प्रशिक्षण के प्रयासों के साथ गहरे एनएन को हरा सकता है तुलना में (समस्या और आपके पास डेटा पर पाठ्यक्रम के आधार पर)। यदि सटीकता आपके लिए सब कुछ है, हालांकि, यह संभव है - यद्यपि गारंटी नहीं दी गई है - कि गहरे एनएन और अन्य मॉडल जैसे कि XGBoost का एक पहनावा या तो अकेले की तुलना में बेहतर प्रदर्शन करेगा।


1

वर्गीकरण उद्देश्यों के लिए एक नेटवर्क उपयुक्त हो सकता है। इसके लिए, आपको एक प्रशिक्षण-सेट और आपके डेटा के एक परीक्षण-सेट को परिभाषित करने में सक्षम होना चाहिए जो उस डेटा का प्रतिनिधित्व करता है जिसे नेटवर्क उत्पादन में वर्गीकृत करने के लिए कहा जाएगा। यह निर्धारित करता है कि क्या आप एक बुरा, एक उचित या एक अच्छा काम करने वाला नेटवर्क प्राप्त कर सकते हैं।

मैं शर्तों को "गहन-शिक्षा" के रूप में भ्रामक मानता हूं: एक नेटवर्क नहीं सीखता है, आप केवल इसे प्रशिक्षित कर सकते हैं।

यह मानते हुए कि आप एक प्रशिक्षण और परीक्षण सेट बना सकते हैं, उच्च स्तर पर आप एक का उपयोग कर सकते हैं

  • बहु-परत: यदि आपके डेटा में कोई आदेश नहीं है और संरचनाओं की एक निश्चित स्थिति है।

  • पुनरावर्ती नेटवर्क: यदि वर्गीकरण के लिए डेटा का क्रम महत्वपूर्ण है

  • वार्तालाप: यदि आपके डेटा में छवियों की तरह संरचनाएं हैं, लेकिन कोई निश्चित स्थिति नहीं है।

परतों की संख्या की तरह एक अच्छा सेटअप प्राप्त करना, परीक्षण और त्रुटि की आवश्यकता है; यह एक प्रकार का काला जादू है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.