क्या लॉजिस्टिक रिग्रेशन की अनुमानित संभावना वर्गीकरण में विश्वास के रूप में व्याख्या की जा सकती है

Question

क्या हम किसी क्लासिफायर से प्राप्त पूर्ववर्ती संभावना की व्याख्या कर सकते हैं जो एक अनुमानित वर्ग मान और संभाव्यता (उदाहरण के लिए, लॉजिस्टिक रिग्रेशन या नैवे बेस) को किसी प्रकार के विश्वास स्कोर के रूप में प्रस्तुत करता है जो उस अनुमानित वर्ग मूल्य को सौंपा गया है?

Answer 1

अन्य उत्तर के रूप में सही ढंग से राज्य, लॉजिस्टिक प्रतिगमन और भोले Bayes जैसे मॉडल से रिपोर्ट की गई संभावनाएं वर्ग की संभावना का अनुमान हैं। यदि मॉडल सही थे, तो संभावना वास्तव में एक सही वर्गीकरण की संभावना होगी।

हालांकि, यह समझना काफी महत्वपूर्ण है कि यह भ्रामक हो सकता है क्योंकि मॉडल अनुमानित है और इस प्रकार एक सही मॉडल नहीं है। कम से कम तीन मुद्दे हैं।

• अनुमानों की अनिश्चितता।
• मॉडल मिसकैसीफिकेशन।
• पूर्वाग्रह।

अनिश्चितता बस हर जगह मौजूद तथ्य यह है कि संभावना केवल एक अनुमान है। अनुमानित वर्ग की संभावना का एक विश्वास अंतराल अनिश्चितता के बारे में कुछ विचार प्रदान कर सकता है (वर्ग की संभावना का वर्गीकरण नहीं)।

$-$$-$

यदि अनुमान प्रक्रिया (जानबूझकर) एक पक्षपाती अनुमान प्रदान करती है , तो वर्ग संभावनाएं गलत हैं। यह वह चीज है जिसे मैं लॉजिस्टिक रिग्रेशन के लिए लैस्सो और रिज जैसे नियमितीकरण विधियों के साथ देखता हूं। जबकि नियमितीकरण का एक क्रॉस-वेरिफ़ाइड विकल्प वर्गीकरण के संदर्भ में अच्छे प्रदर्शन के साथ एक मॉडल की ओर जाता है, परिणामी वर्ग संभावनाएं परीक्षण मामलों पर स्पष्ट रूप से कम (0.5 के करीब) को कम करके आंका जाता है। यह आवश्यक रूप से बुरा नहीं है, लेकिन इसके बारे में जागरूक होना महत्वपूर्ण है।

Answer 2

एक परीक्षण मामले (विशेष इनपुट) के लिए, इसकी कक्षा (बाइनरी आउटपुट के लिए लेबल 1) की भविष्यवाणी की संभावना संभावना है कि परीक्षण उदाहरण उस वर्ग का है। कई ऐसे परीक्षण मामलों में, जो अनुपात 1 वर्ग का है, वह भविष्य कहनेवाला संभावना की ओर बढ़ेगा। कॉन्फिडेंस में कॉन्फिडेंस इंटरवल की भावनाएं होती हैं, जो कुछ अलग होती हैं।

Answer 3

यदि कोई क्लासिफायरियर किसी निश्चित वर्ग की संभावना के साथ भविष्यवाणी करता है, तो उस संख्या को उस वर्गीकरण में विश्वास की डिग्री के लिए प्रॉक्सी के रूप में इस्तेमाल किया जा सकता है। आत्मविश्वास अंतराल के साथ भ्रमित होने की नहीं। उदाहरण के लिए यदि क्लासिफायर पी दो मामलों को +1 और -1 की संभावना 80% और 60% के साथ बताता है तो यह कहना सही है कि यह -1 वर्गीकरण की तुलना में +1 वर्गीकरण के बारे में अधिक सुनिश्चित है। P (1-p) द्वारा मापा गया विचरण भी अनिश्चितता का एक अच्छा उपाय है। ध्यान दें, आधारभूत आत्मविश्वास 50% 0 नहीं है।

Answer 4

2-कक्षाओं के साथ एक क्लासिफायरियर (उदाहरण के लिए एक 2 वर्ग रेखीय विभेदक या लॉजिस्टिक रिग्रेशन क्लासिफायर) को देखते हुए, दोनों वर्गों के लिए विभेदक मूल्य को इस वर्ग के लिए प्रतिकूलता का अनुमान लगाने के लिए सॉफ्टमैक्स फ़ंक्शन पर लागू किया जा सकता है।

P1 = exp (d1) / (exp (d1) + exp (d2))

जहाँ P1 कक्षा 1 के लिए उत्तरवर्ती संभाव्यता अनुमान है, d1 और d2 क्रमशः कक्षा 1 और 2 के लिए विभेदक मान हैं। इस मामले में किसी दिए गए वर्ग के लिए अनुमानित पश्च संभावना को कक्षा में आत्मविश्वास की डिग्री के रूप में लिया जा सकता है, किसी दिए गए मामले के लिए P1 1 - P2 के बराबर होगा।

Comments

यह उत्तर "आत्मविश्वास" के साथ "संभावना" की बराबरी करने लगता है जबकि @ योदा का उत्तर (सही ढंग से) दोनों को अलग करता है।

— whuber

@ मुझे लगता है कि सामान्य शब्दों में विश्वास को विश्वास की ताकत के रूप में देखा जा सकता है। इस तरह यह एक संभावना की तरह है। आत्मविश्वास और विश्वास अंतराल दो अलग-अलग चीजें हैं। हालाँकि, शब्द आत्मविश्वास के अंतराल के लिए भी आत्मविश्वास का स्तर यादृच्छिक अंतराल के लिए एक कवरेज संभावना है।

— माइकल आर। चेरिक

मैं आपकी टिप्पणी, @ मायकिल से असहमत नहीं हूं, इस अर्थ में कि "कॉन्फिडेंस स्कोर" जैसे शब्द का अर्थ लगभग कुछ भी हो सकता है (लेकिन शायद इसका उपयोग ठीक उसी कारण से किया जाना चाहिए)। फिर भी किस अर्थ में लॉजिस्टिक रिग्रेशन द्वारा "कवरेज संभावना" का मूल्य उचित है? क्या "आत्मविश्वास" का आपका प्रस्तावित उपयोग विश्वास की ताकत के साथ इसे व्यक्तिपरक "संभावना" का पर्याय बना देता है, या कुछ अंतर अभी भी कायम है? (यदि हां, तो क्या?)

— whuber

@ जब भी मुझे लगता है कि आप अपनी टिप्पणी के साथ मेरी अपेक्षा से कहीं अधिक गहराई में जा रहे हैं। मैं सिर्फ इतना कहना चाहता हूं कि सिर्फ इसलिए कि हम आमतौर पर "कॉन्फिडेंस" शब्द को कॉन्फिडेंस इंटरवल से जोड़ते हैं, इसका मतलब यह नहीं है कि ओप्स टर्म कॉन्फिडेंस स्कोर का इस्तेमाल प्रायिकता के लिए नहीं किया जा सकता है (हो सकता है कि सब्जेक्टिव स्तर के रूप में प्रायिकता के बायेसियन दृष्टिकोण की तरह) विश्वास की लेकिन जरूरी नहीं)।

— माइकल आर। चेरिक

@whuber, मैं वास्तव में 'विश्वास की ताकत' के अर्थ में क्लास लेबल में आत्मविश्वास का जिक्र कर रहा था, अर्थात किसी दिए गए वर्ग के लिए उत्तरोत्तर संभाव्यता मान जितना बड़ा होगा, उतना ही अधिक आप क्लास के पूर्वानुमान में विश्वास करते हैं। हालांकि इस जवाब को हटाकर खुश हूं।

— बिग्रीन