0-1 नुकसान के लिए भोला बेयर्स क्लासिफायरियर क्यों है?


13

अनुभवहीन Bayes वर्गीकारक वर्गीकारक जो प्रदान करती है आइटम है x एक वर्ग के लिए C पीछे अधिकतम के आधार पर P(C|x) वर्ग की सदस्यता के लिए, और मानता है कि वस्तुओं की सुविधाओं से स्वतंत्र हैं।

0-1 नुकसान वह नुकसान है जो किसी भी मिस-वर्गीकरण को "1" का नुकसान और किसी भी सही वर्गीकरण को "0" का नुकसान देता है।

मैं अक्सर (1) पढ़ता हूं कि "Naive Bayes" क्लासिफायर, 0-1 नुकसान के लिए इष्टतम है। यह सच क्यों है?

(1) एक अनुकरणीय स्रोत: बेयस क्लासिफायर और बेस त्रुटि


2
क्या आप अपने बयान के लिए एक संदर्भ प्रदान कर सकते हैं, " मैं अक्सर पढ़ता हूं कि" नाव बेयस "क्लासिफायर, 0-1 नुकसान के लिए इष्टतम है "? जैसे, आपने अतीत में इस प्रकार का कथन कहां पढ़ा होगा
जॉन

1
संपादित, एक अनुकरणीय स्रोत जोड़ा

जवाबों:


16

वास्तव में यह बहुत आसान है: Bayes वर्गीकारक वर्ग कि सबसे बड़ा है चुनता का अनुमान किया घटित होने की संभावना (तथाकथित अधिकतम कारण का अनुमान अनुमान )। 0-1 नुकसान समारोह penalizes गलत वर्गीकरण, यानी यह समाधान सही वर्गीकरण की सबसे बड़ी संख्या है कि छोटी नुकसान प्रदान करती है। इसलिए दोनों मामलों में हम मोड का आकलन करने के बारे में बात कर रहे हैं । उस मोड को याद रखें, जो कि डेटासेट में सबसे आम मूल्य है, या सबसे संभावित मूल्य है , इसलिए दोनों ही पश्च की संभावना को अधिकतम करते हैं और 0-1 नुकसान को कम करके मोड का अनुमान लगाते हैं।

यदि आपको औपचारिक प्रमाण की आवश्यकता है, तो एंजेला जे। यू। द्वारा बायेसियन डिसीजन थ्योरी पेपर के परिचय में दिया गया है :

0-1 बाइनरी लॉस फ़ंक्शन के निम्नलिखित रूप हैं:

lx(s^,s)=1δs^s={1ifs^s0otherwise

जहां क्रॉन्कर डेल्टा फ़ंक्शन है। (...) अपेक्षित नुकसान है:δ

Lx(s^)=slx(s^,s)P(s=sx)=s(1δs^s)P(s=sx)=sP(s=sx)dssδs^sP(s=sx)=1P(s=sx)

यह सामान्य रूप से अधिकतम पश्च-अनुमान के लिए सही है। इसलिए यदि आप पश्च वितरण को जानते हैं , तो 0-1 नुकसान मानते हुए, सबसे इष्टतम वर्गीकरण नियम है कि पीछे वितरण का मोड लेना है, हम इसे एक इष्टतम बेयस क्लासिफायरियर कहते हैं । वास्तविक जीवन में हम आमतौर पर पश्च वितरण को नहीं जानते हैं, बल्कि हम इसका अनुमान लगाते हैं। Naive Bayes क्लासिफायरियर , अनुभवजन्य वितरण को देखते हुए और भविष्यवाणियों की स्वतंत्रता को देखते हुए इष्टतम क्लासिफायरियर का अनुमान लगाता है। तो भोले बेय्स क्लासिफायर स्वयं इष्टतम नहीं है, लेकिन यह इष्टतम समाधान का अनुमान लगाता है। अपने प्रश्न में आप उन दो चीजों को भ्रमित करते हैं।


मुझे लगता है कि मैं समझता हूं: इसलिए औपचारिक प्रमाण नुकसान (कार्रवाई 1) की रेखाओं के साथ कुछ होगा = 1-पी (एक्शन 2 | डेटा) <--- हम इसे कम करना चाहते हैं। इसे कम से कम करने के बाद फिर से सही वर्ग (यानी अधिकतम पी (कार्रवाई। डेटा) को अधिकतम करने के लिए बराबर है। मुझे क्या भ्रमित करता है, इसलिए हर क्लासिफायर इस संबंध में इष्टतम नहीं होगा - क्योंकि यह सबसे बुनियादी आवश्यकता लगती है। एक वर्ग के लिए एक datasample के असाइनमेंट के लिए। इसलिए यदि हमने हमेशा उच्च स्तर के साथ वर्ग के लिए हमारे datasample को निर्दिष्ट करने के लिए चुना है, तो क्या हम स्वचालित रूप से इस

@TestGuest औपचारिक प्रमाण के लिए मेरे संपादन की जाँच करें।
टिम

यह इस तरह के एक सबूत के लिए मैंने देखा है सबसे जटिल औपचारिकता :)) धन्यवाद हालांकि, मुझे आशा है कि यह दूसरों को भी मदद करता है।
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.