मैंने हाल ही में कर्नेल ट्रिक के उपयोग के बारे में सीखा, जो उन आयामों में डेटा को रैखिक बनाने के प्रयास में डेटा को उच्च आयामी स्थानों में मैप करता है। क्या ऐसे कोई मामले हैं जहां मुझे इस तकनीक का उपयोग करने से बचना चाहिए? क्या यह सही कर्नेल फ़ंक्शन को खोजने की बात है?
रैखिक डेटा के लिए यह निश्चित रूप से उपयोगी नहीं है, लेकिन गैर-रैखिक डेटा के लिए, यह हमेशा उपयोगी लगता है। ट्रेनिंग टाइम और स्केलेबिलिटी के मामले में लीनियर क्लासिफायर का इस्तेमाल नॉन-लीनियर की तुलना में बहुत आसान है।
जवाबों:
रैखिक डेटा के लिए यह निश्चित रूप से उपयोगी नहीं है, लेकिन गैर-रैखिक डेटा के लिए, यह हमेशा उपयोगी लगता है। ट्रेनिंग टाइम और स्केलेबिलिटी के मामले में लीनियर क्लासिफायर का इस्तेमाल नॉन-लीनियर की तुलना में बहुत आसान है।
@BartoszKP ने पहले ही समझाया कि कर्नेल ट्रिक क्यों उपयोगी है। आपके प्रश्न को पूरी तरह से संबोधित करने के लिए, हालांकि मैं यह बताना चाहूंगा कि गैर-रैखिक रूप से वियोज्य डेटा से निपटने के लिए कर्नेल का उपयोग एकमात्र विकल्प नहीं है ।
मॉडल के परिशोधन के लिए कम से कम तीन अच्छे, सामान्य विकल्प हैं :
योग करने के लिए - कर्नेलाइजेशन एक बेहतरीन डेलीएराइजेशन तकनीक है, और आप इसका उपयोग कर सकते हैं, जब समस्या रैखिक नहीं होती है, लेकिन यह अंधा नहीं होना चाहिए "अगर" तो एप्राच। यह कम से कम कुछ दिलचस्प तरीकों में से एक है, जो समस्या और आवश्यकताओं के आधार पर विभिन्न परिणामों को जन्म दे सकता है। विशेष रूप से, ईएलएम कर्नेलित एसवीएम द्वारा दिए गए उन लोगों के समान समाधान खोजने की कोशिश करता है, जबकि एक ही समय में उन्हें परिमाण की प्रशिक्षित पंक्तियों को तेजी से प्रशिक्षित किया जा सकता है (इसलिए यह कर्नेलित एसवीएम की तुलना में बहुत बेहतर होता है)।
आप कर्नेल चाल के लिए सामान्य रूप से रैखिक तरीकों के लिए जो कीमत अदा करते हैं, वह सामान्यीकरण की सीमा को बदतर कर रहा है। एक रेखीय मॉडल के लिए इसका वीसी आयाम आयामों की संख्या के मामले में भी रैखिक होता है (उदाहरण के लिए एक परसेप्ट्रोन के लिए वीसी आयाम d + 1)।
अब, यदि आप एक उच्च आयामी स्थान के लिए एक जटिल गैर-रेखीय परिवर्तन का प्रदर्शन करेंगे, तो आपके परिकल्पना सेट का कुलपति आयाम काफी बड़ा है, क्योंकि यह अब नए, उच्च आयामी अंतरिक्ष में आयामों की संख्या के मामले में रैखिक है। और इसके साथ, सामान्यीकरण बाध्य हो जाता है।
समर्थन वेक्टर मशीनें दो कार्यों को करके कर्नेल ट्रिक का सबसे कुशल तरीके से फायदा उठाती हैं:
हार्ड-मार्जिन एसवीएम मॉडल के लिए बाध्य सामान्यीकरण समर्थन क्षेत्रों की संख्या से संबंधित है, और सॉफ्ट-मार्जिन के लिए वजन वेक्टर के मानदंड से संबंधित है - इसलिए यह पहले मामले में अप्रासंगिक हो सकता है, और दूसरे मामले में लगभग अप्रासंगिक हो सकता है। । कोई फर्क नहीं पड़ता कि कर्नेल लक्ष्य स्थान कितना "बड़ा" है, आप सामान्यीकरण के संदर्भ में कुछ भी / अधिक ढीला नहीं करते हैं (संदर्भ: (i) सी। कोर्टेस और वी। वैपनिक। वेक्टर नेटवर्क का समर्थन करते हैं। मशीन लर्निंग, 20: 273– 297, 1995 ; (ii) श्वे-टेलर, जे। क्रिस्टियानिनी, एन।, "सॉफ्ट मार्जिन एल्गोरिदम के सामान्यीकरण पर," सूचना सिद्धांत, IEEE लेनदेन अक्टूबर 2002 )।
एसवीएम को अलग-अलग विमान मिलते हैं जो मार्जिन को अधिकतम करता है, और यह आगे की परिकल्पना सेट को सरल करता है (हम हर संभव अलग करने वाले विमान पर विचार नहीं करते हैं, बस जो मार्जिन को अधिकतम करते हैं)। सरल परिकल्पना सेट भी बेहतर सामान्यीकरण सीमा की ओर जाता है (यह पहले बिंदु से संबंधित है, लेकिन यह अधिक सहज है)।
मैं आपके प्रश्न का एक गैर-तकनीकी उत्तर देने का प्रयास करूंगा।
दरअसल, रैखिक को प्राथमिकता दी जानी चाहिए और आपके द्वारा बताए गए कारणों के लिए पहली पसंद होनी चाहिए, प्रशिक्षण का समय, मापनीयता, साथ ही अंतिम मॉडल की व्याख्या करने में आसानी, व्यावहारिक या दोहरे काम करने का विकल्प, ओवरफिटिंग के लिए अधिक सहिष्णुता आदि।
यदि रैखिक मॉडल में संतोषजनक प्रदर्शन नहीं होता है, तो आप गैर-रैखिक समाधान आज़मा सकते हैं। कुछ व्यापार पर विचार करने के लिए शामिल हैं: