एसवीएम में हाइपरप्लेन से दूरी की व्याख्या करना

मुझे SVM को सहज रूप से समझने में कुछ संदेह है। मान लें कि हमने SVMLight या LibSVM जैसे कुछ मानक टूल का उपयोग करके वर्गीकरण के लिए एक SVM मॉडल का प्रशिक्षण लिया है।

जब हम परीक्षण मॉडल पर भविष्यवाणी के लिए इस मॉडल का उपयोग करते हैं, तो मॉडल प्रत्येक परीक्षण बिंदु के लिए "अल्फा" मान रखने वाली फ़ाइल उत्पन्न करता है। यदि अल्फा मान सकारात्मक है तो परीक्षण बिंदु कक्षा 1 से संबंधित है, अन्यथा यह कक्षा 2 से संबंधित है। अब, क्या हम कह सकते हैं कि अधिक "अल्फा" मान वाला एक परीक्षण बिंदु "उच्च" संभावना के साथ संबंधित वर्ग का है?
पहले प्रश्न के समान, जब हमारे पास एक एसवीएम प्रशिक्षित है। हाइपर-प्लेन के पास एसवी का झूठ। तो इसका मतलब यह है कि एसवी उच्च संभावना के साथ उस वर्ग के हैं? क्या हम "हाइपरप्लेन" से दूरी के साथ एक वर्ग से संबंधित बिंदु की संभावना से संबंधित कर सकते हैं? क्या "अल्फा" मान "हाइपरप्लेन" से दूरी का प्रतिनिधित्व करता है?

आपके सहयोग के लिए धन्यवाद।

machine-learning svm max-margin

— अमित
स्रोत

मुझे लगता है कि उत्तर "नहीं" है, लेकिन मैं आपको पूरा जवाब देने के लिए एसवीएम में पर्याप्त नहीं हूं। मेरा जवाब यह है कि जब आप बर्लिन की दीवार के पूर्व की ओर होते हैं, तो ठीक है कि आप गलत पक्ष पर हैं, इससे कोई फर्क नहीं पड़ता कि आप इससे कितने दूर हैं।

— आर्थर

scikits.learn में SVC और linear_model.SGDClassifier के लिए predict_proba है, मैं केवल बाइनरी क्लासिफायरफायर के लिए मानता हूं; मैंने इसका उपयोग नहीं किया है।

— डेनिस

मुझे पहले आपके प्रश्न का उत्तर सामान्य रूप से देना चाहिए। एसवीएम एक संभाव्य मॉडल नहीं है। एक कारण यह है कि यह एक सामान्य संभावना के अनुरूप नहीं है। नियमित कम से कम वर्गों में उदाहरण के लिए आप नुकसान कार्य हो और regularizer । वेट वेक्टर को दो का योग न्यूनतम करके प्राप्त किया जाता है। हालांकि इस बात का लॉग-पीछे को अधिकतम करने के बराबर है डेटा दिया $\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$ $\|w\|_2^2$ $w$ है जो आप के उत्पाद के रूप में देख सकते हैं गॉसियन संभावना और पर एक गाऊसी पूर्व( $p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$ $w$ $Z$ यह सुनिश्चित करता है कि यह सामान्य हो जाए)। आप अपने साइन को फ़्लिप करके और इसे एक्सफ़ोलिएटिंग करके नुकसान फ़ंक्शन से गाऊसी संभावना के लिए जाते हैं। हालांकि, यदि आप एसवीएम के नुकसान-कार्य के साथ ऐसा करते हैं, तो लॉग-लाइबिलिटी एक सामान्य संभाव्य मॉडल नहीं है।

एसवीएम को एक में बदलने का प्रयास है। सबसे उल्लेखनीय एक, जो मुझे लगता है कि लिब्सवम में भी लागू किया गया है:

जॉन प्लैट: सपोर्टिस्टिक आउटपुट फॉर सपोर्ट वेक्टर मशीनें और रेगुलराइज्ड लाइकलिहुड मेथड्स (एनआईपीएस 1999) की तुलना: http://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/paper/Platt1999.pdf

$\alpha$ $\alpha$ $\sum_{i \in SV}\alpha_i k(x,x_i) + b$ (और इसलिए ठीक से बुलाया जाना चाहिए $y$ $y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$ $w$ $y$ $w$ $\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$ .

— fabee
स्रोत

thnx for your explanation...will read the paper

— Amit