एसवीएम पर सामान्यीकरण सीमा

मैं समर्थन वेक्टर मशीनों के सामान्यीकरण की क्षमता के लिए सैद्धांतिक परिणामों में रुचि रखता हूं, उदाहरण के लिए वर्गीकरण त्रुटि की संभावना और इन मशीनों के वाप्निक-चेरोवेनेकिस (वीसी) आयाम पर सीमा। हालांकि, साहित्य के माध्यम से पढ़ने से मुझे यह आभास हुआ है कि कुछ इसी तरह के आवर्ती परिणाम लेखक से लेखक के लिए थोड़ा भिन्न होते हैं, विशेष रूप से किसी दिए गए बाध्य के लिए आवश्यक तकनीकी स्थितियों के बारे में।

निम्नलिखित में मैं एसवीएम समस्या की संरचना को याद करूंगा और मुख्य सामान्यीकरण परिणामों के राज्य 3 जो मुझे एक रूप में या किसी अन्य रूप में मिला है मैं पूरे प्रदर्शनी में 3 मुख्य संदर्भ देता हूं। $-$

समस्या सेटिंग :

मान लें कि हमारे पास स्वतंत्र और समान रूप से वितरित (iid) जोड़े का डेटा नमूना है जहां सभी , और । हम एक सपोर्ट वेक्टर मशीन (SVM) का निर्माण करते हैं जो द्वारा परिभाषित अलग-अलग हाइपरप्लेन के बीच न्यूनतम मार्जिन अधिकतम करता है , और , और बीच निकटतम बिंदु और द्वारा परिभाषित दो वर्गों को अलग करने के लिए । हम एसवीएम को सुस्त चर पेश करके नरम मार्जिन के माध्यम से कुछ त्रुटियों को स्वीकार करते हैं $(x_i,y_i)_{1\leq i\leq n}$ $i$ $x_i \in \mathbb{R}^p$ $y_i \in \{-1,1\}$ $m^*$ $\{x : w \cdot x + b = 0\}$ $w \in \mathbb{R}^p$ $b \in \mathbb{R}$ $x_1,\cdots,x_n$ $y = -1$ $y = 1$ $\xi_1,\cdots,\xi_n$ $-$ लेकिन सादगी के लिए हम गुठली की संभावना को अनदेखा करते हैं। समाधान पैरामीटर और निम्नलिखित उत्तल द्विघात अनुकूलन कार्यक्रम को हल करके प्राप्त किए जाते हैं: $w^*$ $b^*$

\begin{aligned} min_{w, b, ξ_{1}, \dots, ξ_{n}} & \frac{1}{2} ‖ w ‖^{2} + C \sum_{i = 1}^{n} ξ_{i} \\ s.t. : & y_{i} (w \cdot x_{i} + b) \geq 1 - ξ_{i} & , \forall i \in {1, \dots, n} \\ ξ_{i} \geq 0 & , \forall i \in {1, \dots, n} \end{aligned}

$\begin{align} \min_{w, \, b, \, \xi_1, \, \cdots, \, \xi_n} \; & \; \frac{1}{2}\|w\|^2 + C\sum_{i=1}^n\xi_i \\ \text{s.t.} \; : \; & \; y_i(w\cdot x_i+b) \geq 1 - \xi_i \, & , \, \forall \, i \in \{1,\cdots,n\} \\ & \; \xi_i \geq 0\, & , \, \forall \, i \in \{1,\cdots,n\} \end{align}$

हम इस मशीन की सामान्यीकरण क्षमता में रुचि रखते हैं।

वाप्निक-चेर्वोनेंकिस आयाम $VC$ :

एक पहला परिणाम (वाप्निक, 2000) के कारण होता है, जिसमें वह एक अलग हाइपरप्लेन के वीसी आयाम को काटता है, प्रमेय 5.1। दे, हमारे पास है: $R = \max_{x_i} \|x_i\|$

V C \leq min ({(\frac{R}{m^{*}})}^{2}, p) + 1

$VC \leq \min \left( \left( \frac{R}{m^*}\right)^2, \, p\right) + 1$

यह परिणाम फिर से पाया जा सकता है (बर्जेस, 1998), प्रमेय 6. हालांकि, ऐसा लगता है कि बर्गस प्रमेय, वैपनिक द्वारा एक ही परिणाम की तुलना में अधिक प्रतिबंधात्मक है, क्योंकि उसे विशेष श्रेणी के वर्गीकरण को परिभाषित करने की आवश्यकता है, जिसे गैप-टॉलरेट क्लासीफायर के रूप में जाना जाता है। जिससे एसवीएम संबंधित है प्रमेय का वर्णन करने के लिए। $-$ $-$

त्रुटियों की संभावना पर सीमा :

(वापनिक, 2000) में, पृष्ठ 139 में प्रमेय 5.2 एसवीएम सामान्यीकरण क्षमता पर निम्नलिखित सीमा देता है:

E [P_{error}] \leq \frac{1}{n} E [min (p, n_{S V}, (R ‖ w ‖)^{2})]

$\mathbb{E}[P_{\text{error}}] \leq \frac{1}{n}\mathbb{E} \left[ \min\left(p,n_{SV},(R \, \|w\|)^2 \right) \right]$

जहाँ SVM के सपोर्ट वैक्टर की संख्या है। यह परिणाम क्रमशः (बर्ज, 1998), समीकरणों (86) और (93) में फिर से मिल रहे हैं। लेकिन फिर से, बर्गेस को वैपनिक से अलग लगता है क्योंकि वह अलग-अलग प्रमेयों में अलग-अलग स्थितियों के साथ न्यूनतम फ़ंक्शन के भीतर घटकों को अलग करता है। $n_{SV}$

(Vapnik, 2000), p.133 में दिखाई देने वाला एक और परिणाम निम्नलिखित है। फिर से यह मानते हुए कि, सभी के लिए , और दे और , हम परिभाषित के बराबर होना चाहिए: $i$ $\|x_i\|^2 \leq R^2$ $h \equiv VC$ $\epsilon \in [0,1]$ $\zeta$

ζ = 4 \frac{h (ln \frac{2 n}{h} + 1) - ln \frac{ϵ}{4}}{n}

$\zeta = 4 \frac{h\left( \text{ln}\frac{2n}{h} + 1\right) - \text{ln}\frac{\epsilon}{4}}{n}$

हम SVM द्वारा misclassified प्रशिक्षण उदाहरणों की संख्या होने के लिए को भी परिभाषित करते हैं। तब संभावना के साथ हम जोर सकता है कि संभावना है कि एक परीक्षण उदाहरण के द्वारा सही ढंग से अलग नहीं किया जा जाएगा -margin hyperplane यानी SVM के साथ मार्जिन बाध्य किया गया है: $n_{\text{error}}$ $1-\epsilon$ $m^*$ $-$ $m^*$ $-$

P_{error} \leq \frac{n_{error}}{n} + \frac{ζ}{2} (1 + \sqrt{1 + \frac{4 n_{error}}{n ζ}})

$P_{\text{error}} \leq \frac{n_{\text{error}}}{n} + \frac{\zeta}{2} \left( 1 + \sqrt{1+ \frac{4 \, n_{\text{error}}}{n \, \zeta}} \right)$

हालाँकि, (हस्ती, तिब्शीरानी और फ्रीडमैन, 2009), पी .438 में, एक बहुत ही समान परिणाम पाया जाता है:

{Error}_{Test} \leq ζ

$\text{Error}_{\text{Test}} \leq \zeta$

निष्कर्ष :

ऐसा लगता है कि इन परिणामों के बीच कुछ हद तक संघर्ष है। दूसरी ओर, इन संदर्भों में से दो, हालांकि एसवीएम साहित्य में विहित, थोड़ा पुराना (1998 और 2000) होना शुरू होता है, खासकर अगर हम मानते हैं कि एसवीएम एल्गोरिथ्म में अनुसंधान नब्बे के दशक के मध्य में शुरू हुआ था।

मेरे प्रश्न हैं:

क्या ये परिणाम आज भी मान्य हैं, या वे गलत साबित हुए हैं?
क्या तब से अपेक्षाकृत ढीली परिस्थितियों के साथ तंग सीमाएं प्राप्त हुई हैं? यदि हां, तो मैं उन्हें किसके द्वारा और कहां से पा सकता हूं?
अंत में, क्या कोई संदर्भ सामग्री है जो एसवीएम के बारे में मुख्य सामान्यीकरण परिणामों को वर्गीकृत करती है?

संदर्भ :

बर्गेस, जेसी (1998)। "पैटर्न रिकग्निशन के लिए सपोर्ट वेक्टर मशीनों पर एक ट्यूटोरियल", डेटा माइनिंग एंड नॉलेज डिस्कवरी , 2: 121-167

हस्ती, टी।, तिब्शीरानी, आर। और फ्रीडमैन, जे। (2009)। सांख्यिकीय शिक्षण के तत्व , दूसरा संस्करण, स्प्रिंगर

वापनिक, वीएन (1998)। सांख्यिकीय सीखना सिद्धांत , पहला संस्करण, जॉन विले एंड संस

वाप्निक, वीएन (1999)। "सांख्यिकीय शिक्षा सिद्धांत का अवलोकन", तंत्रिका नेटवर्क पर IEEE लेनदेन , 10 (5): 988-999

वापनिक, वीएन (2000)। द नेचरल ऑफ स्टैटिस्टिकल लर्निंग थ्योरी , द्वितीय संस्करण, स्प्रिंगर

machine-learning svm vc-dimension

— डैनियल ओलिवॉ
स्रोत

एसवीएम के लिए अत्याधुनिक (2008 के रूप में) जोखिम सीमा के संदर्भ में एक संदर्भ: "सपोर्ट वेक्टर मशीनें" (इंगो स्टाइनवर्ट, एंड्रियास क्रिस्टमैन, स्प्रिंगर 2008) ।

— रजिस्टर करें

मैं उस साहित्य को नहीं जानता जिसका आप विस्तार से जिक्र कर रहे हैं, लेकिन मुझे लगता है कि सामान्यीकरण की सीमा का एक व्यापक सारांश जो आज तक होना चाहिए, वह बाउचर एट अल में पाया जा सकता है। (2004) (लिंक: https://www.researchgate.net/profile/Olivier_Bousquet/publication/238718428_Advanced_Lectures_on_Machine_Learning_ML_Summer_Schools_2003_Canberra_Australia_February_2-14_2003_Tubingen_Germany_August_4-16_2003_Revised_Lectures/links/02e7e52c5870850311000000/Advanced-Lectures-on-Machine-Learning-ML-Summer-Schools-2003- कैनबरा-ऑस्ट्रेलिया-फरवरी-2-14-2003-तुएबेन-जर्मनी-अगस्त-4-16-2003-संशोधित-व्याख्यान। पृष्ठ # पृष्ठ = 176 )

मैं निम्नलिखित विवरणों में बंधे SVM के भाग को स्केच करूँगा, विवरणों को छोड़ कर साबित करूँगा।

एसवीएम बाउंड के बारे में विशेष रूप से विस्तृत करने से पहले, हमें यह समझने की आवश्यकता है कि सामान्यीकरण सीमा क्या हासिल करने की कोशिश कर रही है।

पहले हमें यह मान लें कि सच्ची संभावना ज्ञात है, तो सबसे अच्छा संभव क्लासिफायर बेयस क्लासिफायरियर होगा, अर्थात start start case $P(Y = +1| X = x)$

\begin{aligned} g * = {\begin{cases} + 1 i f P (Y = 1 | X = x) > 0.5 \\ - 1 o t h e r w i s e \end{cases} \end{aligned}

$\begin{align} g* = \begin{cases} + 1 \ \ if P(Y = 1| X = x) > 0.5 \\ -1 \ \ otherwise \end{cases} \end{align}$

स्टैटिस्टिकल लर्निंग थ्योरी का लक्ष्य अब कक्षा (जैसे SVM) के एक क्लासिफायरियर के बीच का अंतर और बेज़ क्लासिफ़ायर, यानी start ध्यान दें कि डेटा दिया गया अपेक्षित नुकसान है और मॉडल वर्ग में सबसे अच्छा संभव क्लासिफायरियर । शब्द को अनुमान त्रुटि कहा जाता है और अक्सर ध्यान केंद्रित किया जाता है क्योंकि यह सन्निकटन त्रुटि (दूसरी अवधि) की तुलना में बहुत आसान हो सकता है। मैं यहाँ सन्निकटन त्रुटि भी छोड़ दूँगा। $C$

\begin{aligned} {\hat{g}}_{n} = a r g min_{g \in C} L_{n} (g) \end{aligned}

$\begin{align} \hat{g}_n = arg \min_{g \in C} L_n(g) \end{align}$

\begin{aligned} L ({\hat{g}}_{n}) - L (g *) = L ({\hat{g}}_{n}) - L (g_{c}^{*}) + L (g_{c}^{*}) - L (g *) . \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g*) = L(\hat{g}_n) - L(g^{*}_c) + L(g^{*}_c) - L(g*). \end{align}$

L (g) = E l (g (X), Y)

$L(g) = \mathbb{E}l(g(X),Y)$

g_{c}^{*}

$g^{*}_c$

C

$C$

Z =: L (g *) - L ({\hat{g}}_{n})

$Z =: L(g*) - L(\hat{g}_n)$

अनुमान त्रुटि आगे साथ विघटित हो सकती है अब इसे दो चरणों में बांटा जा सकता है: $Z$

\begin{aligned} Z = Z - E Z + E Z . \end{aligned}

$\begin{align} Z = Z - \mathbb{E}Z + \mathbb{E}Z. \end{align}$

बाउंड McDiarmid असमानता का उपयोग कर $Z - \mathbb{E}Z$
बाउंड साथ जटिलता $\mathbb{E}Z$ $R_n(C) = \mathbb{E}sup_{g \in C}|1/n \sum_{i=1}^{n} l(g(X_i),Y_i)|$

McDiarmids असमानता का उपयोग करके कोई यह दिखा सकता है कि यदि नुकसान फ़ंक्शन से अधिक नहीं अंतराल में हो रहा है , तो स्टेप वन रिजल्ट ऑफ ए बाउंड ऑफ जहां विश्वास स्तर है। दूसरे चरण के लिए हम दिखा सकते हैं कि यदि आपके पास असतत हानि-कार्य है, अर्थात गैर- Lipschitz जैसे 0-1 -साथ ही, आपको रेडिमैचर कॉम्प्लेक्सिटी को आगे बढ़ाने के लिए कुलपति-आयाम की आवश्यकता होगी। हालाँकि, L- लिपसिट्ज़ फ़ंक्शंस जैसे कि हिंज-लॉस के लिए यह आगे घिरा हो सकता है जहाँ $B$

\begin{aligned} Z - E Z \leq 2 B \sqrt{\frac{l n (1 / δ)}{2 n}}, \end{aligned}

$\begin{align} Z - \mathbb{E}Z \leq 2 B \sqrt{\dfrac{ln(1/\delta)}{2n}}, \end{align}$

δ

$\delta$

\begin{aligned} E Z \leq 2 R_{n} (C), \end{aligned}

$\begin{align} \mathbb{E}Z \leq 2R_n(C), \end{align}$

\begin{aligned} R_{n} (C) \leq λ L R / \sqrt{n}, \end{aligned}

$\begin{align} R_n(C) \leq \lambda L R/\sqrt{n}, \end{align}$

λ

$\lambda$ नियमित करने वाले को निरूपित करता है। चूंकि काज-हानि और (Gauchy-Schwartz असमानता के साथ साबित होता है) यह आगे सरल करता है। अंत में सभी परिणामों को एक साथ रखते हुए, हम की एक सीमा कर सकते हैं

L = 1

$L = 1$

B = 1 + λ R

$B = 1 + \lambda R$

\begin{aligned} L ({\hat{g}}_{n}) - L (g_{c}^{*}) \leq 2 (1 + λ R) \sqrt{\frac{l n (1 / δ)}{2 n}} + 4 λ L R / \sqrt{n} \end{aligned}

$\begin{align} L(\hat{g}_n) - L(g^{*}_c) \leq 2(1 + \lambda R) \sqrt{\dfrac{ln(1/\delta)}{2n}} + 4 \lambda L R/\sqrt{n} \end{align}$

— dkoehn
स्रोत