मान लीजिए कि मेरे पास एक सरल सिंगल लेयर न्यूरल नेटवर्क है, जिसमें एन इनपुट और एक एकल आउटपुट (बाइनरी वर्गीकरण कार्य) है। यदि मैंने आउटपुट नोड में सक्रियण फ़ंक्शन को सिग्मॉइड फ़ंक्शन के रूप में सेट किया है - तो परिणाम एक लॉजिस्टिक प्रतिगमन क्लासिफायरियर है।
इसी परिदृश्य में, यदि मैं आउटपुट सक्रियण को ReLU (रेक्टिफ़ाइड लीनियर यूनिट) में बदलता हूं, तो परिणामी संरचना एसवीएम के समान या समान है?
यदि नहीं तो क्यों?
क्या आपके पास कोई परिकल्पना है कि ऐसा क्यों हो सकता है? सक्रियता की वजह से एक एकल परसेप्ट्रोन = लॉजिस्टिक बिल्कुल कारण है - वे अनिवार्य रूप से एक ही मॉडल हैं, गणितीय रूप से (हालांकि शायद अलग-अलग प्रशिक्षित) - रैखिक भार + मैट्रिक्स गुणन पर लागू एक सिग्मॉइड है। एसवीएम काफी अलग तरीके से काम करते हैं - वे डेटा को अलग करने के लिए सबसे अच्छी लाइन की तलाश करते हैं - वे "वेटी" / "मैट्रिक्स" की तुलना में अधिक ज्यामितीय हैं। मेरे लिए, ReLUs के बारे में कुछ भी नहीं है जो मुझे सोचने के लिए = आह करना चाहिए, वे एक एसवीएम के समान हैं। (लॉजिस्टिक और लीनियर एसवीएम हालांकि इसी तरह का प्रदर्शन करते हैं)
—
मैजुश
एक svm और relu सक्रियण फ़ंक्शन का अधिकतम-मार्जिन उद्देश्य समान दिखता है। इसलिए सवाल।
—
ई।
"एसवीएम काफी अलग तरीके से काम करते हैं - वे डेटा को अलग करने के लिए सबसे अच्छी लाइन की तलाश करते हैं - वे" वेटी "/" मैट्रिक्स "की तुलना में अधिक ज्यामितीय होते हैं। थोड़ा सा हाथ लहराते हैं - सभी रैखिक क्लासिफायरफायर्स लॉजिस्टिक रिग्रेशन के लिए डेटा को अलग करने के लिए सबसे अच्छी लाइन की तलाश करते हैं। और परसेप्ट्रॉन।
—
ईस्वी सन्
