रैखिक तरीकों के लिए "गिरी चाल" को लागू करना?

गिरी चाल कई शिक्षण मॉडेल (जैसे में प्रयोग किया जाता है SVM )। इसे पहली बार 1964 में "पैटर्न रिकॉग्निशन लर्निंग में संभावित फ़ंक्शन विधि की सैद्धांतिक नींव" में पेश किया गया था।

विकिपीडिया परिभाषा कहती है कि यह है

एक गैर-रैखिक समस्या को हल करने के लिए एक रैखिक-श्रेणीबद्ध एल्गोरिथ्म का उपयोग करने के लिए एक विधि, गैर-रेखीय टिप्पणियों को एक उच्च-आयामी स्थान में मैप करके, जहां रैखिक वर्गीय बाद में उपयोग किया जाता है; यह नए अंतरिक्ष में एक रैखिक वर्गीकरण बनाता है जो मूल स्थान में गैर-रैखिक वर्गीकरण के बराबर है।

एक रेखीय मॉडल का एक उदाहरण जिसे गैर-रैखिक समस्याओं तक बढ़ाया गया है, वह है कर्नेल पीसीए । क्या कर्नेल ट्रिक को किसी भी रैखिक मॉडल पर लागू किया जा सकता है, या क्या इसके कुछ प्रतिबंध हैं?

machine-learning kernel-trick

— शेन
स्रोत

BTW, कर्नेल वास्तव में एसवीएम के लिए आवश्यक नहीं हैं। एसवीएम का "दिल" नरम मार्जिन अधिकतमकरण का सिद्धांत है। कर्नेल प्रतिनिधित्व में जाने से आपकी समस्या आयामी हो जाती है O (d ^ 2) के बजाय O (d) जहां m उदाहरणों की संख्या है और d आपके फीचर स्पेस का आयाम है, इसलिए यदि m ^ 2 d से अधिक है, तो आप हो सकते हैं kernels jmlr.csail.mit.edu/papers/v6/keerthi05a.html

— यारोस्लाव

@ यारोस्लाव: संदर्भ के लिए धन्यवाद। क्या आप उस "संशोधित परिमित न्यूटन विधि" के किसी भी कार्यान्वयन से अवगत हैं?

— शेन

नहीं, लेकिन कीर्थी और लैंगफोर्ड के पृष्ठों में कुछ सॉफ़्टवेयर के लिंक हैं जो संबंधित हो सकते हैं, क्योंकि वे दोनों याहू रिसर्च में काम करते थे

— यारोस्लाव बुलटोव

जवाबों:

कर्नेल चाल को केवल रैखिक मॉडल पर लागू किया जा सकता है जहां समस्या निर्माण में उदाहरण डॉट उत्पाद (सपोर्ट वेक्टर मशीन, पीसीए, आदि) के रूप में दिखाई देते हैं।

— ebony1
स्रोत

जवाब के लिए धन्यवाद। @mbq @ ebony1: IMO के लिए हमें उस साइट पर अधिक गंभीर मशीन सीखने के सवालों को पोस्ट करने का प्रयास करना होगा, ताकि उस समुदाय को अधिक आकर्षित किया जा सके।

— शेन

@ मैं पूरी तरह से सहमत हूं, लेकिन अन्य SO साइट जैसे metaoptimize.com/qa के बारे में क्या ?

— chl

@chl: यह भी एक विकल्प है, लेकिन यह StackExchange का हिस्सा नहीं है (यह एक व्यक्ति द्वारा नियंत्रित किया जाता है, और अलग-अलग सॉफ़्टवेयर पर) और मैं व्यक्तिगत रूप से इन अलग-अलग डेटा विश्लेषण समुदायों को एक स्थान पर मिलाना होगा।

— शेन

@ अच्छा, ठीक है, यह समझ में आता है।

— chl

मशीन लर्निंग स्टाॅक

— यारोस्लाव

बी। स्कोल्कोफ़ से दो और संदर्भ :

श्लोकोफ़, बी और स्मोला, एजे (2002)। गुठली से सीखना । एमआईटी प्रेस।
श्लोकोफ़, बी, स्यूडा, के।, और वर्ट, जे- पी। (2004)। कम्प्यूटेशनल जीव विज्ञान में कर्नेल तरीके । एमआईटी प्रेस।

और कर्नेल मशीनों को समर्पित एक वेबसाइट ।

— CHL
स्रोत

@ ebony1 प्रमुख बिंदु (+1) देता है, मैं एक पेपर के सह-लेखक था, जो चर्चा करता था कि सामान्यीकृत रैखिक मॉडल, जैसे लॉजिस्टिक रिग्रेशन और पॉइसन रिग्रेशन को कर्नेलाइज़ कैसे किया जाए, यह बहुत सीधा है।

GC Cawley, GJ Janacek और NLC टैलबोट, सामान्यीकृत कर्नेल मशीन, तंत्रिका नेटवर्क (IJCNN-2007) पर IEEE / INNS अंतर्राष्ट्रीय संयुक्त सम्मेलन की कार्यवाही में, पृष्ठ 1732-1737, ऑरलैंडो, फ्लोरिडा, यूएसए, 12-17 अगस्त, 2007। ( www , pdf )

मैंने एक (शोध गुणवत्ता) MATLAB टूलबॉक्स (दुख की बात है कि कोई निर्देश नहीं) लिखा था, जिसे आप यहां पा सकते हैं ।

लक्ष्य वितरण को मॉडल करने में सक्षम होना अनिश्चितता उन्मूलन आदि में बहुत उपयोगी है, इसलिए यह कर्नेल सीखने के तरीकों के अलावा एक उपयोगी (यदि काफी वृद्धि) है।

— डिक्रान मार्सुपियल
स्रोत