चरम सीखने की मशीन: यह सब क्या है?

मैं एक वर्ष से अधिक समय से चरम लर्निंग मशीन (ईएलएम) प्रतिमान को लागू करने और उपयोग करने के बारे में सोच रहा था, और अब मैं जितना अधिक करूंगा, मुझे उतना ही संदेह होगा कि यह वास्तव में एक अच्छी बात है। मेरी राय, हालांकि, वैज्ञानिक समुदाय के विपरीत प्रतीत होती है, जहां - जब एक उपाय के रूप में उद्धरण और नए प्रकाशनों का उपयोग किया जाता है - तो यह एक गर्म विषय लगता है।

ईएलएम को हुआंग एट द्वारा पेश किया गया है । अल। लगभग 2003. अंतर्निहित विचार बल्कि सरल है: एक 2-लेयर आर्टिफिशियल न्यूरल नेटवर्क से शुरू करें और बेतरतीब ढंग से पहली परत में गुणांक असाइन करें। यह, गैर-रैखिक अनुकूलन समस्या को बदल देता है जिसे आमतौर पर बैकप्रोपेगैनेशन के माध्यम से एक सरल रैखिक प्रतिगमन समस्या में बदल दिया जाता है। अधिक विस्तृत, , मॉडल है $\mathbf x \in \mathbb R^D$

f (x) = \sum_{i = 1}^{N_{hidden}} w_{i} σ (v_{i 0} + \sum_{k = 1}^{D} v_{i k} x_{k}) .

$f(\mathbf x) = \sum_{i=1}^{N_\text{hidden}} w_i \, \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,.$

अब, केवल को समायोजित किया गया है (वर्ग-त्रुटि-हानि को कम करने के लिए), जबकि के सभी यादृच्छिक रूप से चुने गए हैं। डिग्री-ऑफ-फ्रीडम में नुकसान के मुआवजे के रूप में, सामान्य सुझाव है कि बड़ी संख्या में छिपे हुए नोड्स (यानी मुक्त पैरामीटर ) का उपयोग किया जाए। $w_i$ $v_{ik}$ $w_i$

दूसरे दृष्टिकोण (वह नहीं जिसका आमतौर पर साहित्य में पदोन्नत, जो तंत्रिका नेटवर्क की ओर से आता है) से, पूरी प्रक्रिया है बस रेखीय प्रतीपगमन, लेकिन एक है जहाँ आप अपने आधार कार्यों का चयन उदाहरण के लिए बेतरतीब ढंग से, $\phi$

ϕ_{i} (x) = σ (v_{i 0} + \sum_{k = 1}^{D} v_{i k} x_{k}) .

$\phi_i(\mathbf x) = \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,.$

(सिग्मॉइड के पास कई अन्य विकल्प यादृच्छिक कार्यों के लिए संभव हैं। उदाहरण के लिए, रेडियल आधार फ़ंक्शन का उपयोग करके एक ही सिद्धांत भी लागू किया गया है।)

इस दृष्टिकोण से, पूरी विधि लगभग बहुत सरल हो जाती है, और यह वह बिंदु भी है जहां मुझे संदेह होने लगता है कि यह विधि वास्तव में एक अच्छी है (... जबकि इसका वैज्ञानिक विपणन निश्चित रूप से है)। तो, यहाँ मेरे सवाल हैं:

यादृच्छिक आधार फ़ंक्शंस का उपयोग करके इनपुट स्पेस को चीरने का विचार, मेरी राय में, कम आयामों के लिए अच्छा है। उच्च आयामों में, मुझे लगता है कि उचित संख्या में आधारभूत विकल्पों के साथ यादृच्छिक चयन का उपयोग करना अच्छा विकल्प नहीं है। इसलिए, क्या ईएलएम उच्च-आयामों में घटता है (आयामीता के अभिशाप के कारण)?
क्या आप इस राय का समर्थन / विरोधाभासी प्रयोगात्मक परिणाम जानते हैं? लिंक किए गए पेपर में केवल एक 27-आयामी प्रतिगमन डेटा सेट (PYRIM) है, जहां विधि SVMs के समान प्रदर्शन करती है (जबकि मैं एक बैकप्रॉपैजेशन ANN की तुलना देखना चाहूंगा)
आम तौर पर, मैं ELM पद्धति के बारे में आपकी टिप्पणी यहाँ देना चाहूँगा।

regression

— davidhigh
स्रोत

पूरी कहानी के लिए यहां देखें: theanonymemail.com/view/?msg=ZHEZJ1AJ

— davidhigh

जवाबों:

उच्च आयामी समस्याओं के लिए ईएलएम के उपयोग के बारे में आपका अंतर्ज्ञान सही है, मेरे पास इस पर कुछ परिणाम हैं, जिन्हें मैं प्रकाशन के लिए तैयार कर रहा हूं। कई व्यावहारिक समस्याओं के लिए, डेटा बहुत गैर-रैखिक नहीं हैं और ईएलएम काफी अच्छी तरह से करता है, लेकिन हमेशा ऐसे डेटासेट होंगे जहां आयामीता के अभिशाप का मतलब है कि वक्रता के साथ एक अच्छा आधार फ़ंक्शन खोजने का मौका जहां आपको इसकी आवश्यकता होती है छोटे, यहां तक कि कई आधार वैक्टर के साथ।

मैं व्यक्तिगत रूप से कम से कम-वर्ग समर्थन वेक्टर मशीन (या रेडियल आधार फ़ंक्शन नेटवर्क) की तरह कुछ का उपयोग करूंगा और कोशिश करूंगा कि लालची तरीके से सेट किए गए प्रशिक्षण में उन आधार वैक्टर का चयन करें (उदाहरण के लिए मेरा पेपर देखें , लेकिन अन्य / बेहतर थे दृष्टिकोण जो एक ही समय में प्रकाशित हुए थे, जैसे स्कोलॉफ़ और स्मोला द्वारा "लर्निंग विथ कर्नेल") में बहुत अच्छी पुस्तक। मुझे लगता है कि एक अनुमानित समस्या के सटीक समाधान के बजाय, सटीक समस्या के लिए एक अनुमानित समाधान की गणना करना बेहतर है, और कर्नेल मशीनों में एक बेहतर सैद्धांतिक अंडरपिनिंग है (एक निश्चित कर्नेल के लिए; ओ)।

— डिक्रान मार्सुपियल
स्रोत

+1। मैंने पहले कभी ईएलएम के बारे में नहीं सुना है, लेकिन ओपी में वर्णन से यह थोड़ा तरल स्टेट मशीन (एलएसएम) जैसा लगता है: यादृच्छिक नेटवर्क कनेक्टिविटी और केवल रीडआउट वेट का अनुकूलन। हालांकि, एलएसएम में यादृच्छिक "जलाशय" आवर्तक है, जबकि ईएलएम में यह फीडफ़वर्ड है। क्या वास्तव में समानता और अंतर है?

— अमीबा का कहना है कि मोनिका

अच्छे उत्तर के लिए धन्यवाद, कृपया उत्तर को अपडेट करें जब आपका पेपर प्रकाशित हो गया हो। कर्नेल के बारे में: बेशक आप ईएलएम का "कर्नेल" संस्करण भी हैं। बस ऊपर दिए गए सिग्मॉइड को कुछ (जरूरी नहीं कि सकारात्मक-निश्चित) कर्नेल और बहुत से का यादृच्छिक रूप से चयन करें। मूल ईएलएम के समान ही "ट्रिक" यहाँ, वही समस्या। केंद्रों को चुनने के लिए जिन तरीकों का आपने उल्लेख किया है, उनका यहां भी सीधा महत्व है (भले ही ईएलएम और एसवीएम में लक्ष्य फ़ंक्शन अलग-अलग हों) ... यह शायद इसे "पूरी तरह से अंधा" से "आधा अंधा" विधि में बदल देता है।

k (x, x_{i})

$k(\mathbf x,\mathbf x_i)$

x_{i}

$\mathbf x_i$

— davidhigh 1

@amoeba: मैं तरल राज्य मशीन को नहीं जानता था, लेकिन आप जो कहते हैं उससे लगता है कि यह वास्तव में बहुत समान है ... और निश्चित रूप से, सामान्य रूप से तेचीना अधिक सामान्य है। फिर भी, पुनरावृत्ति समस्या के लिए यादृच्छिकता का एक और अधिक जटिल रूप जोड़ता है, जो मेरी राय में शाप-की-आयामी समस्याओं का इलाज नहीं करता है (... लेकिन ठीक है, यह कौन करता है?)। उन पुनरावृत्ति वजन कुछ देखभाल के साथ या पूरी तरह से यादृच्छिक भी चुना जाता है?

— davidhigh

एक RBF कर्नेल के लिए @davidhigh, "रिपीटर प्रमेय" दर्शाता है कि प्रत्येक प्रशिक्षण नमूने पर आधार फ़ंक्शन को केंद्र में लाने से बेहतर कोई उपाय नहीं है (नियमित लागत फ़ंक्शन के बारे में कुछ उचित धारणा बनाना)। यह कर्नेल विधियों (और स्प्लिन्स) की अच्छी विशेषताओं में से एक है, इसलिए उन्हें यादृच्छिक रूप से फैलाने की कोई आवश्यकता नहीं है। वैसे, बेतरतीब ढंग से चुने गए आधार कार्यों के उत्पादन पर एक रेखीय मॉडल का निर्माण एक बहुत लंबा इतिहास रहा है, मेरा पसंदीदा एकल परत है जिसे परसेप्ट्रोन यानी eexplore.ieee.org/xpls/abs_all.jsp?number=51949&tag=1 लेकिन मैं देखता हूं। पक्षपाती हो सकता है!

— डिक्रान मार्सुपियल

@DikranMarsupial आपने प्रकाशित किया या आपके पास कुछ भी पूर्व-प्रकाशन उपलब्ध है?

— टॉम हेल 5

ईएलएम "डेटा" से आउटपुट वेट के लिए विश्लेषणात्मक रूप से हल करके सीखता है। इस प्रकार नेटवर्क में खिलाया गया बड़ा डेटा बेहतर परिणाम देगा। हालाँकि इसके लिए अधिक संख्या में छिपे हुए नोड्स की भी आवश्यकता होती है। यदि ईएलएम को बहुत कम या बिना किसी त्रुटि के साथ प्रशिक्षित किया जाता है, जब इनपुट का एक नया सेट दिया जाता है, तो यह सही आउटपुट का उत्पादन करने में असमर्थ है।

पारंपरिक तंत्रिका जाल पर ईएलएम का मुख्य लाभ इस तरह के एक बैक प्रचार का तेज़ प्रशिक्षण समय है। ज्यादातर गणना समय आउटपुट लेयर वजन को हल करने में खर्च किया जाता है जैसा कि हुआंग पेपर में बताया गया है।

— user62106
स्रोत