क्या कर्नेलाइज़्ड SVM के लिए ग्रेडिएंट डिसेंट संभव है (यदि ऐसा है, तो लोग द्विघात प्रोग्रामिंग का उपयोग क्यों करते हैं)?

21

कर्नेलयुक्त SVM से निपटने के दौरान लोग द्विघात प्रोग्रामिंग तकनीक (जैसे SMO) का उपयोग क्यों करते हैं? ग्रेडिएंट डिसेंट में क्या गलत है? क्या यह गुठली के साथ उपयोग करना असंभव है या क्या यह बहुत धीमा है (और क्यों?)।

यहां थोड़ा और संदर्भ दिया गया है: एसवीएम को थोड़ा बेहतर समझने की कोशिश करते हुए, मैंने निम्न लागत फ़ंक्शन का उपयोग करके एक रैखिक एसवीएम क्लासिफायर को प्रशिक्षित करने के लिए ग्रेडिएंट डिसेंट का उपयोग किया:

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \mathbf{x}^{(i)} + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

मैं निम्नलिखित सूचनाओं का उपयोग कर रहा हूं:

$\mathbf{w}$ मॉडल की विशेषता वज़न है और इसका पूर्वाग्रह पैरामीटर है। $b$
$\mathbf{x}^{(i)}$ है प्रशिक्षण उदाहरण के फीचर वेक्टर। $i^\text{th}$
$y^{(i)}$ उदाहरण के लिए लक्ष्य वर्ग (-1 या 1) है । $i^\text{th}$
$m$ प्रशिक्षण उदाहरणों की संख्या है।
$C$ नियमितिकरण हाइपरपरेट है।

मैंने इस समीकरण से (सब) ग्रेडिएंट वेक्टर ( और ) के संबंध में व्युत्पन्न किया, और ग्रेडिएंट डिसेंट ने ठीक काम किया। $\mathbf{w}$ $b$

अब मैं गैर-रैखिक समस्याओं से निपटना चाहूंगा। क्या मैं लागत समारोह में साथ सभी डॉट उत्पादों को प्रतिस्थापित कर सकता हूं , जहां कर्नेल फ़ंक्शन है (उदाहरण के लिए) गाऊसी RBF, , फिर पथरी को निकालने के लिए पथरी का उपयोग करें। a (सब) ग्रेडिएंट वेक्टर और ग्रेडिएंट डिसेंट के साथ आगे बढ़ता है? $\mathbf{u}^t \cdot \mathbf{v}$ $K(\mathbf{u}, \mathbf{v})$ $K$ $K(\mathbf{u}, \mathbf{v}) = e^{-\gamma \|\mathbf{u} - \mathbf{v}\|^2}$

यदि यह बहुत धीमा है, तो ऐसा क्यों है? क्या लागत समारोह उत्तल नहीं है? या यह इसलिए है क्योंकि ढाल बहुत तेजी से बदलता है (यह लिप्साचिट्ज निरंतर नहीं है) इसलिए एल्गोरिथ्म वंश के दौरान घाटियों में कूदता रहता है, इसलिए यह बहुत धीरे-धीरे परिवर्तित होता है? लेकिन फिर भी, यह द्विघात प्रोग्रामिंग के समय की जटिलता से भी बदतर कैसे हो सकता है, जो $O({n_\text{samples}}^2 \times n_\text{features})$ ? अगर यह स्थानीय मिनीमाता की बात है, तो स्टोकेस्टिक जीडी को नकली एनालाइज नहीं कर सकते हैं?

svm kernel-trick gradient-descent

— MiniQuark
स्रोत

6

सेट ताकि और , with , जहां मूल इनपुट मैट्रिक्स की मैपिंग है , । यह एक को मौलिक निर्माण के माध्यम से एसवीएम को हल करने की अनुमति देता है। नुकसान के लिए अपने अंकन का उपयोग करना: $\mathbf w = \phi(\mathbf x)\cdot \mathbf u$ $\mathbf w^t \phi(\mathbf x)=\mathbf u^t \cdot \mathbf K$ $\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$ $\mathbf K = \phi(\mathbf x)^t\phi(\mathbf x)$ $\phi(x)$ $\mathbf x$

J (w, b) = C \sum_{i = 1}^{m} m a x (0, 1 - y^{(i)} (u^{t} \cdot K^{(i)} + b)) + \frac{1}{2} u^{t} \cdot K \cdot u

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{u}^t \cdot \mathbf{K}^{(i)} + b)\right)} + \dfrac{1}{2} \mathbf{u}^t \cdot \mathbf{K} \cdot \mathbf{u}$

$\mathbf{K}$ एक मैट्रिक्स है, और एक मैट्रिक्स है। न ही अनंत है। $m \times m$ $\mathbf{u}$ $m \times 1$

वास्तव में, दोहरी आमतौर पर हल करने के लिए तेज़ है, लेकिन प्राण के पास इसके फायदे भी हैं, जैसे कि अनुमानित समाधान (जो दोहरे सूत्रीकरण की गारंटी नहीं है)।

अब, दोहरे इतना अधिक प्रमुख क्यों स्पष्ट नहीं है: [१]

जिन ऐतिहासिक कारणों से पिछले दशक में अधिकांश शोध दोहरे अनुकूलन के बारे में हुए हैं वे अस्पष्ट हैं । हम मानते हैं कि ऐसा इसलिए है क्योंकि SVM को पहली बार उनके हार्ड मार्जिन फॉर्मेशन [बोसर एट अल।, 1992] में पेश किया गया था, जिसके लिए एक दोहरी अनुकूलन (बाधाओं के कारण) अधिक स्वाभाविक लगता है। सामान्य तौर पर, हालांकि, सॉफ्ट मार्जिन SVM को प्राथमिकता दी जानी चाहिए, भले ही प्रशिक्षण डेटा अलग-अलग हो: निर्णय सीमा अधिक मजबूत है क्योंकि अधिक प्रशिक्षण बिंदुओं को ध्यान में रखा जाता है [चैपल एट अल।, 2000]।

चैपल ( ) का तर्क है कि दोनों ही समय में मौलिक और दोहरी अनुकूलन की जटिलता है , सबसे खराब स्थिति , लेकिन उन्होंने द्विघात और अनुमानित हिंग के नुकसान का विश्लेषण किया, इसलिए एक उचित काज हानि नहीं है, क्योंकि यह न्यूटन की विधि के साथ उपयोग करने के लिए अलग नहीं है। $\mathcal{O}\left(nn_{sv} + n_{sv}^3\right)$ $\mathcal{O}\left(n^3\right)$

_{[१] चैपल, ओ। (२०० 2007)। प्रिमल में एक सपोर्ट वेक्टर मशीन का प्रशिक्षण। तंत्रिका संगणना, 19 (5), 1155-1178।}

— Firebug
स्रोत

1

+1 शायद आप समय जटिलता पर भी विस्तार कर सकते हैं

— seanv507

@ seanv507 धन्यवाद, वास्तव में मुझे पता होना चाहिए कि, मैं जल्द ही इस जवाब को अपडेट करूंगा।

— Firebug

4

यदि हम सभी इनपुट वेट वैक्टर ( ) में एक परिवर्तन लागू करते हैं , तो हमें निम्नलिखित लागत फ़ंक्शन मिलते हैं: $\phi$ $\mathbf{x}^{(i)}$

$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$

कर्नेल ट्रिक द्वारा जगह लेती है । के बाद से वजन वेक्टर है नहीं बदल, गिरी चाल ऊपर लागत समारोह के लिए लागू नहीं किया जा सकता है । $\phi(\mathbf{u})^t \cdot \phi(\mathbf{v})$ $K(\mathbf{u}, \mathbf{v})$ $\mathbf{w}$

उपरोक्त लागत समारोह SVM उद्देश्य के मौलिक रूप से मेल खाता है :

$\underset{\mathbf{w}, b, \mathbf{\zeta}}\min{C \sum\limits_{i=1}^m{\zeta^{(i)}} + \dfrac{1}{2}\mathbf{w}^t \cdot \mathbf{w}}$

के अधीन और लिए $y^{(i)}(\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b) \ge 1 - \zeta^{(i)})$ $\zeta^{(i)} \ge 0$ $i=1, \cdots, m$

दोहरी रूप है:

$\underset{\mathbf{\alpha}}\min{\dfrac{1}{2}\mathbf{\alpha}^t \cdot \mathbf{Q} \cdot \mathbf{\alpha} - \mathbf{1}^t \cdot \mathbf{\alpha}}$

के लिए और लिए $\mathbf{y}^t \cdot \mathbf{\alpha} = 0$ $0 \le \alpha_i \le C$ $i = 1, 2, \cdots, m$

जहां एक वेक्टर 1s से भरा और है एक है तत्वों के साथ मैट्रिक्स । $\mathbf{1}$ $\mathbf{Q}$ $m \times m$ $Q_{ij} = y^{(i)} y^{(j)} \phi(\mathbf{x}^{(i)})^t \cdot \phi(\mathbf{x}^{(j)})$

अब हम को गणना करके कर्नेल ट्रिक का उपयोग कर सकते हैं : $Q_{ij}$

$Q_{ij} = y^{(i)} y^{(j)} K(\mathbf{x}^{(i)}, \mathbf{x}^{(j)})$

तो कर्नेल ट्रिक का उपयोग केवल SVM समस्या के दोहरे रूप पर किया जा सकता है (साथ ही कुछ अन्य एल्गोरिदम जैसे लॉजिस्टिक रिग्रेशन)।

अब आप इस समस्या को हल करने के लिए ऑफ-द-शेल्फ द्विघात प्रोग्रामिंग पुस्तकालयों का उपयोग कर सकते हैं, या एक अप्रतिबंधित फ़ंक्शन (दोहरी लागत फ़ंक्शन) प्राप्त करने के लिए Lagrangian गुणक का उपयोग कर सकते हैं, फिर ग्रेडिएंट डिसेंट या किसी अन्य अनुकूलन तकनीक का उपयोग करके न्यूनतम खोज कर सकते हैं। सबसे कुशल दृष्टिकोण में से एक libsvmपुस्तकालय द्वारा कार्यान्वित SMO एल्गोरिथ्म (कर्नेलयुक्त SVM के लिए) लगता है।

— MiniQuark
स्रोत

1

मुझे यकीन नहीं है कि आपने अपना जवाब कम्युनिटी विकी क्यों रखा। यह आपके प्रश्न का पूरी तरह से मान्य उत्तर की तरह लगता है।

— साइकोरैक्स का कहना है कि मोनिका

धन्यवाद @GeneralAbrial। मैंने सवाल पूछने से पहले किसी भी संदेह से बचने के लिए अपने जवाब को कम्युनिटी विकी के रूप में चिह्नित किया।

— मिनीक्वार

1

आपको हमेशा वही करना चाहिए जो आपको लगता है कि सही है, लेकिन यह आपके अपने सवाल पूछने और जवाब देने के लिए पूरी तरह से कोषेर है।

— साइकोरैक्स का कहना है कि मोनिका

प्रतीक्षा करें, क्या आप वेट वेक्टर को ताकि और , with , और फिर नमूना वजन अनुकूलन करें ?

w = ϕ (x) \cdot u

$\mathbf w = \phi(x)\cdot \mathbf u$

w^{t} ϕ (x) = u \cdot K

$\mathbf w^t \phi(x)=\mathbf u \cdot \mathbf K$

w^{t} w = u^{t} K u

$\mathbf w^t\mathbf w = \mathbf u^t\mathbf K\mathbf u$

K = ϕ^{t} ϕ

$\mathbf K = \phi^t\phi$

u

$\mathbf u$

— फायरबग

2

मैं गलत हो सकता हूं, लेकिन मैं यह नहीं देखता कि कैसे हम डॉट उत्पादों को दोहरी समस्या में बदलने के बिना गुठली के साथ बदल सकते हैं।

कर्नेल इनपुट को कुछ फीचर स्पेस में मैप करते हैं जहां हो जाता है , लॉस फ़ंक्शन तब यदि गॉसियन कर्नेल लागू किया जाता है, तो का अनंत होगा आयाम, तो । $x$ $\phi(x)$
$J(\mathbf{w}, b) = C {\displaystyle \sum\limits_{i=1}^{m} max\left(0, 1 - y^{(i)} (\mathbf{w}^t \cdot \phi(\mathbf{x}^{(i)}) + b)\right)} \quad + \quad \dfrac{1}{2} \mathbf{w}^t \cdot \mathbf{w}$
$\phi(\mathbf{x}^{(i)})$ $\mathbf{w}$

सीधे ढाल वंश का उपयोग करके अनंत आयामों के एक वेक्टर को अनुकूलित करना मुश्किल लगता है।

अपडेट
फायरबग का उत्तर प्राण निरूपण में गुठली के साथ डॉट उत्पादों को बदलने का एक तरीका देता है।

— dontloo
स्रोत