पायथन में SVM के लिए लैगरेंज गुणांक की गणना

10

मैं पायथन में एक पूर्ण एसवीएम कार्यान्वयन लिखने की कोशिश कर रहा हूं और मेरे पास कुछ मुद्दे हैं जो कि लैग्रेग गुणांकों की गणना कर रहे हैं।

पहले मुझे यह बताने की कोशिश करें कि मैं एल्गोरिथ्म से क्या समझता हूं यह सुनिश्चित करने के लिए कि मैं सही रास्ते पर हूं।

यदि $x_1, x_2, ..., x_n$ एक डाटासेट है और $y_i \in \{-1, 1\}$ की कक्षा लेबल है $x_i$ , तो

\forall i, y_{i} (w^{T} x_{i} + b) \geq 1

$\forall i, y_i(w^Tx_i + b) \geq 1$

इसलिए हमें बस एक अनुकूलन समस्या को हल करने की आवश्यकता है

$\|w\|^2$

के अधीन $y_i(w^Tx_i + b) \geq 1$

Lagrange गुणांकों के संदर्भ में, यह , और और कम से कम: $w$ $b$ $\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0$ $\geq0$

L (α, w, b) = \frac{1}{2} ‖ w ‖^{2} - \sum α_{i} (y_{i} (w^{T} x + b) - 1)

$L(\alpha, w, b) = \frac12 \|w\|^2 - \sum \alpha_i(y_i(w^Tx + b)-1)$

अब चूँकि और हम इसे साथ बाधाओं

\frac{\partial L}{\partial w} = 0 ⟹ w = \sum α_{i} y_{i} x_{i}

$\frac{\partial L}{\partial w}=0 \implies w=\sum \alpha_i y_i x_i$

\frac{\partial L}{\partial b} = 0 ⟹ \sum y_{i} α_{i} = 0

$\frac{\partial L}{\partial b}=0 \implies \sum y_i \alpha_i = 0$

L (α, w, b) = Q (α) = \sum α_{i} - \frac{1}{2} \sum \sum α_{i} α_{j} y_{i} y_{j} x_{i}^{T} x_{j}

$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j x_i^T x_j$

α_{i} \geq 0 and \sum α_{i} y_{i} = 0

$\alpha_i \geq 0 \ \text{and} \ \sum \alpha_i y_i = 0$

इसलिए मैं पायथन का उपयोग करके अनुकूलन समस्या को हल करने की कोशिश कर रहा हूं, और केवल मुफ्त पैकेज जो मुझे मिल सकता है उसे cvxopt कहा जाता है ।

मैं इसे हल करने के लिए कुछ मदद चाहूंगा, मुझे इसके बारे में कोई अच्छा उदाहरण नहीं मिल सकता है, और जब मैं सिद्धांत को समझता हूं, तो मुझे इसे कोड में अनुवाद करने में एक कठिन समय मिल रहा है (मुझे लगता है कि मैं इसके बाद से विपरीत की उम्मीद करूंगा। एक प्रोग्रामिंग पृष्ठभूमि से अधिक)।

ध्यान दें कि कुछ बिंदु पर मैं इसे कर्नेल का उपयोग करके हल करना चाहता हूं लेकिन मुझे यकीन नहीं है कि कोड में इसे हल करने के बारे में क्या निहितार्थ हैं।

L (α, w, b) = Q (α) = \sum α_{i} - \frac{1}{2} \sum \sum α_{i} α_{j} y_{i} y_{j} K (x_{i}, x_{j})

$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j K(x_i,x_j)$

किसी भी मदद की बहुत सराहना की जाएगी, मैं वास्तव में पायथन में इसे लागू करने के बारे में खो गया हूं। यदि आपके पास अनुकूलन समस्या को हल करने के लिए एक बेहतर मॉड्यूल है, तो मैं इसके बारे में भी पढ़ना चाहूंगा।

— चार्ल्स मेंग्यु
स्रोत

4

मैंने पहले भी SVM को लागू करने के लिए cvxopt का इस्तेमाल किया है, हालांकि मैटलब में अजगर नहीं है। यह निश्चित रूप से आपके उद्देश्य की पूर्ति करेगा, क्या इसका कुशल पर्याप्त इस पर निर्भर करेगा कि आप इसके लिए क्या उपयोग कर रहे हैं। सबसे कुशल एसवीएम एक क्यूपी सॉल्वर पैकेज का उपयोग नहीं करते हैं, वे एसवीएम के लिए अद्वितीय कुछ अनुकूलन का लाभ उठाते हैं। कई लोग इसे हल करने के लिए एक एसएमओ शैली एल्गोरिथ्म का उपयोग करते हैं।

LibSVM एक SVM पैकेज है जो प्रशिक्षण सहायता वेक्टर मशीनों के लिए दूसरे आदेश की जानकारी का उपयोग करके कार्य सेट चयन में एल्गोरिथ्म का उपयोग करता है । कोड खुला स्रोत है, यदि आप यह देखने में रुचि रखते हैं कि इसका कार्यान्वयन कैसे किया गया है। इसमें अजगर इंटरफ़ेस भी है।

SVMLight एक और पैकेज है, वे एक अलग एल्गोरिथ्म का उपयोग करते हैं (संदर्भ के लिए उनकी साइट देखें)। यह ओपन सोर्स भी है और इसमें अजगर इंटरफेस है।

— karenu
स्रोत

जानकारीपूर्ण उत्तर के लिए धन्यवाद (जो मुझे लगता है कि सुपरस्टार मेरा है), और आपका स्वागत है!

— एरन अहमदिया

+1 दिलचस्प जवाब और मैंने आपके महान लिंक को देखना शुरू कर दिया है जो मुझे बहुत मदद कर रहे हैं!

— चार्ल्स मेंग्यु

2

आपकी अनुकूलन समस्या का सामान्य रूप एक द्विघात कार्यक्रम है , भले ही आप कर्नेल चाल या रैखिक कर्नेल का उपयोग कर रहे हों । ऐसा लगता है कि cvxoptआप क्या करने की कोशिश कर रहे हैं क्या करने के लिए पर्याप्त होगा, लेकिन यहां पर अन्य pythonauts साथ भाग्य पड़ा है OpenOpt रूप में अच्छी तरह।

— एरन अहमदिया
स्रोत

एरन, क्या आप जानते हैं कि इप्टॉप पायथन रैपर कभी तय हो गया है?

— ज्यॉफ ऑक्सीबेरी

डेविड केचेसन के छात्रों में से एक ने इसे ओपनओप्ट के साथ काम किया (जो इसे क्वासी-न्यूटन एल्गोरिथ्म के साथ उपयोग कर सकता है), लेकिन ओएस एक्स पर ओपनऑप्ट स्टैक को प्राप्त करने में कुछ कठिनाइयों का सामना करना पड़ा है।

— एरन अहमदिया