तंत्रिका नेटवर्क प्रशिक्षण के लिए स्पष्ट और निरंतर इनपुट सुविधाओं को कैसे संयोजित करें

Question

मान लें कि हमारे पास दो प्रकार की इनपुट विशेषताएं हैं, श्रेणीबद्ध और निरंतर। श्रेणीबद्ध डेटा को एक-हॉट कोड ए के रूप में दर्शाया जा सकता है, जबकि निरंतर डेटा एन-आयाम अंतरिक्ष में सिर्फ एक वेक्टर बी है। ऐसा लगता है कि केवल कॉनैट (ए, बी) का उपयोग करना एक अच्छा विकल्प नहीं है क्योंकि ए, बी पूरी तरह से विभिन्न प्रकार के डेटा हैं। उदाहरण के लिए, बी के विपरीत, ए में कोई संख्यात्मक आदेश नहीं है। इसलिए मेरा सवाल है कि इस तरह के दो प्रकार के डेटा को कैसे संयोजित किया जाए या उन्हें संभालने के लिए कोई पारंपरिक तरीका है।

वास्तव में, मैं एक भोली संरचना का प्रस्ताव करता हूं जैसा कि चित्र में प्रस्तुत किया गया है

जैसा कि आप देख रहे हैं, पहले कुछ परतों का उपयोग डेटा A को निरंतर स्थान में कुछ मध्य आउटपुट में बदलने (या मैप) करने के लिए किया जाता है और फिर इसे डेटा B के साथ सम्‍मिलित किया जाता है जो बाद की परतों के लिए निरंतर स्थान में एक नया इनपुट फीचर बनाता है। मुझे आश्चर्य है कि क्या यह उचित है या यह सिर्फ एक "परीक्षण और त्रुटि" खेल है। धन्यवाद।

Answer 1

इसे हल करने के लिए तीन मुख्य दृष्टिकोण हैं:

1. दो मॉडलों को अलग-अलग बनाना और फिर एक पहनावा एल्गोरिथ्म का प्रशिक्षण देना जो इनपुट के रूप में दो मॉडल का आउटपुट प्राप्त करता है
2. प्रीप्रोसेसिंग कदम के रूप में सभी डेटा को एकल वेक्टर / टेन्सर में समाहित करना और फिर एक सरल सिंगल इनपुट एनएन को प्रशिक्षित करना
3. आपके द्वारा प्रस्तावित कई इनपुट एनएन आर्किटेक्चर

पहनावा दृष्टिकोण सबसे सीधा विकल्प है और अच्छे परिणाम देगा, हालांकि, यह आपके द्वारा प्रस्तावित विकल्प के साथ भी काम नहीं करेगा क्योंकि पहनावा नेटवर्क केवल इनपुट के रूप में दो नेटवर्क से वर्ग संभावनाएं प्राप्त करता है और आपकी तुलना में होगा दृष्टिकोण डेटा प्रकारों के बीच अधिक जटिल रिश्तों को याद करते हैं।

दूसरा दृष्टिकोण सिद्धांत में है कि आपके प्रस्तावित दृष्टिकोण से भिन्न नहीं है, इस अंतर के साथ कि यह मानता है कि नेटवर्क पर यह स्वयं का आंकड़ा होगा कि इनपुट में दो प्रकार के डेटा शामिल हैं (क्योंकि वे दोनों एक ही वेक्टर / टेन्सर में हैं) )। नेटवर्क को सीखने में बहुत प्रशिक्षण का समय लगेगा और इससे पहले कि आप स्थानीय मिनीमा में फंस जाएं।

मेरे व्यक्तिगत अनुभव के आधार पर, आपके द्वारा प्रस्तावित नेटवर्क के रूप में सबसे अच्छा विकल्प है और यह कम से कम ट्रेन का समय होने की संभावना है और एक बार वास्तुकला प्राप्त करने के बाद आपको सही तरीके से उत्पादन के साथ-साथ नेटवर्क को प्रशिक्षित करने और बनाए रखने के लिए बहुत आसान लगेगा। आपको केवल एक एकल मॉडल को फिर से प्राप्त करना होगा।

Answer 2

जैसा कि @Tadej Magajna ने पहले ही कहा था कि इसके लिए अलग-अलग समाधान हैं। मैं केरस में तीसरे दृष्टिकोण को लागू करने के तरीके के बारे में एक पोस्ट जोड़ना चाहूंगा:

(गहरे) तंत्रिका नेटवर्क में संख्यात्मक और पाठ सुविधाओं का संयोजन

Answer 3

मैं अब तक काफी समय से आपके द्वारा प्रस्तावित भोली संरचना का उपयोग कर रहा था। एक अच्छी तरह से तैयार की गई समस्या और पर्याप्त डेटा के साथ, इस प्रकार की वास्तुकला काफी अच्छी तरह से काम करती है। हालाँकि यहाँ कुछ चीजें हैं जो मैंने सीखीं:

1. ट्री आधारित एल्गोरिदम (आरएफ, एक्सजीबी) आम तौर पर मिश्रित वर्गों के साथ अच्छा प्रदर्शन करता है जब तक कि आपके पास कुछ विशिष्ट आउटपुट आवश्यकताएं या हानि फ़ंक्शन नहीं होते हैं जो तंत्रिका नेटवर्क के माध्यम से लागू करना आसान होता है।
2. यदि तंत्रिका नेटवर्क का उपयोग करने का निर्णय लिया जाता है, तो यह आर्किटेक्चर अन्य प्रकार के स्ट्रिंग-एन्कोडिंग तरीकों की तुलना में बेहतर प्रदर्शन करता है।
3. यह दृष्टिकोण मिश्रित इनपुट टाइम-सीरीज डेटा के साथ भी काम करता है - किसी भी शास्त्रीय समय श्रृंखला के दृष्टिकोण से बहुत बेहतर है।

मुख्य डिजाइन समतल परत होगी और आप इसे वास्तुकला में कहां रखना चाहेंगे। इसके अलावा एम्बेडिंग परतों का उपयोग करने से आपको कुछ अन्य कार्यों / विज़ुअलाइज़ेशन में सीखे गए एम्बेडिंग का उपयोग करने का अतिरिक्त लाभ मिलता है।

कागेल प्रतियोगिताओं [1] में इस प्रकार की वास्तुकला का उपयोग किया गया है और प्रो। जेरेमी हॉवर्ड [2] द्वारा Fast.ai पाठ्यक्रम में भी पढ़ाया जाता है।

1. https://yashuseth.blog/2018/07/22/pytorch-neural-network-for-tabular-data-with-categorical-embeddings/
2. https://www.fast.ai/2019/01/24/course-v3/