लॉजिस्टिक रिग्रेशन को अच्छी तरह से कैलिब्रेट क्यों किया जाता है, और इसके कैलिब्रेशन को कैसे बर्बाद करना है?

Question

परिमित अंशांकन पर दस्तावेज़ सीखते हैं वे लॉजिस्टिक प्रतिगमन की तुलना अन्य तरीकों से करते हैं और टिप्पणी करते हैं कि यादृच्छिक वन लॉजिस्टिक रिग्रेशन की तुलना में कम अच्छी तरह से कैलिब्रेटेड है।

लॉजिस्टिक रिग्रेशन को अच्छी तरह से कैलिब्रेट क्यों किया जाता है? एक लॉजिस्टिक रिग्रेशन के अंशांकन को कैसे बर्बाद कर सकता है (ऐसा नहीं कि कोई व्यक्ति कभी भी - सिर्फ एक अभ्यास के रूप में) चाहेगा?

Answer 1

यद्यपि यह प्रश्न और इसका पहला उत्तर लॉजिस्टिक रिग्रेशन मॉडल कैलिब्रेशन के सैद्धांतिक मुद्दों पर केंद्रित है, का मुद्दा:

एक लॉजिस्टिक रिग्रेशन के अंशांकन को कैसे बर्बाद कर सकता है ...?

इस पृष्ठ के भविष्य के पाठकों के लिए वास्तविक दुनिया के अनुप्रयोगों के संबंध में कुछ ध्यान देने योग्य है। हमें यह नहीं भूलना चाहिए कि लॉजिस्टिक रिग्रेशन मॉडल को अच्छी तरह से निर्दिष्ट किया जाना है, और यह मुद्दा लॉजिस्टिक रिग्रेशन के लिए विशेष रूप से परेशानी भरा हो सकता है।

सबसे पहले, यदि कक्षा सदस्यता के लॉग-ऑड्स को मॉडल में शामिल भविष्यवाणियों से रैखिक रूप से संबंधित नहीं है, तो यह अच्छी तरह से कैलिब्रेट नहीं किया जाएगा। बाइनरी लॉजिस्टिक रिग्रेशन पर हरेल का अध्याय 10 "मॉडल फिट का आकलन" के बारे में 20 पृष्ठों को समर्पित करता है ताकि कोई व्यक्ति "अधिकतम संभावना आकलनकर्ता की विषमतापूर्ण निष्पक्षता" का लाभ उठा सके, जैसा कि @wher ने इसे व्यवहार में रखा है।

दूसरा, मॉडल विनिर्देश लॉजिस्टिक प्रतिगमन में एक विशेष मुद्दा है, क्योंकि इसमें एक अंतर्निहित लोप चर चर है जो साधारण रेखीय प्रतिगमन में पृष्ठभूमि वाले लोगों के लिए आश्चर्यजनक हो सकता है। जैसा कि वह पृष्ठ यह कहता है:

छोड़े गए चर में शामिल चर पर गुणांक होगा, भले ही छोड़े गए चर शामिल चर के साथ असंबंधित हों।

उस पृष्ठ की भी एक उपयोगी व्याख्या है कि इस व्यवहार की उम्मीद क्यों की जानी है, संबंधित, विश्लेषणात्मक रूप से ट्रैक्टेबल, प्रोबेट मॉडल के लिए एक सैद्धांतिक स्पष्टीकरण के साथ । इसलिए जब तक आप यह नहीं जानते हैं कि आपने वर्ग सदस्यता से संबंधित सभी भविष्यवाणियों को शामिल किया है, तो आप गलत व्यवहार और व्यवहार में खराब अंशांकन के खतरों में भाग सकते हैं।

मॉडल विनिर्देशन के संबंध में, यह बहुत संभव है कि वृक्ष आधारित विधियां जैसे यादृच्छिक वन, जो कि भविष्यवक्ता मूल्यों की एक पूरी श्रृंखला पर रैखिकता को ग्रहण नहीं करते हैं और भविष्यवाणियों के बीच अंतःक्रियाओं को खोजने और शामिल करने की संभावना प्रदान करते हैं, बेहतर के साथ समाप्त होंगे- एक लॉजिस्टिक रिग्रेशन मॉडल की तुलना में व्यवहार में कैलिब्रेटेड मॉडल जो इंटरैक्शन शब्द या गैर-रैखिकता को पर्याप्त रूप से ध्यान में नहीं रखता है। छोड़े गए-परिवर्तनीय पूर्वाग्रह के संबंध में, यह मेरे लिए स्पष्ट नहीं है कि क्या कक्षा-सदस्यता संभावनाओं का मूल्यांकन करने के लिए कोई भी तरीका पर्याप्त रूप से उस से निपट सकता है।

Answer 2

लॉजिस्टिक रिग्रेशन एक वर्गीकरण विधि है जो मूल रूप से प्रायिकता फ़ंक्शन को इनपुट स्पेस पर पैरामीटर्स की फिटिंग से सीखती है$\pi_\theta(x)$$\theta$। यदि पूर्वानुमानित संभाव्यता को उपयुक्त हानि फ़ंक्शन के साथ सीखा जाता है, तो लॉजिस्टिक रिग्रेशन बाइनरी ईवेंट संभावनाओं का निष्पक्ष अनुमान सीखने की क्षमता रखता है, जब भी इसकी पर्याप्त क्षमता (इनपुट सुविधाएँ) हों।

लॉग लॉस ऐसे निष्पक्ष अनुमान की अनुमति देता है। इस तथ्य पर विचार करें कि लॉग लॉस फ़ंक्शन केवल बर्नौली वितरण की नकारात्मक लॉग संभावना है$z \thicksim \text{Ber}(p)$। के लिए अधिकतम संभावना अनुमान$p$ परिवर्तनशील के लिए टिप्पणियों का एक सेट दिया गया निष्पक्ष है $z$। कुछ इनपुट स्थान पर वर्गीकरण के मामले में$\mathcal{X}$एक सभी बिंदुओं के लिए एक बर्नौली वितरण होने की कल्पना कर सकता है $\mathcal{X}$। सबसे अधिक बार, आपके पास केवल 1 अवलोकन होगा$y_i$ प्रति बर्नौली वितरण, जो पर स्थित है $x_i$। सभी मनाया बर्नौली वितरण के लिए संयुक्त रूप से अधिकतम संभावना अनुमान लगाने के$y_i \thicksim \text{Ber}(\pi(x_i))$ के लिए कई बाधाओं को लागू करेगा $\pi_\theta$। चूंकि ये सभी बाधाएं निष्पक्ष अनुमानों की ओर ले जाती हैं, और जब तक कि कार्य$\pi_\theta$ सच अंतर्निहित संभावना फ़ंक्शन को फिट करने के लिए पर्याप्त रूप से लचीला है $\pi^*$, तब सीखने की प्रक्रिया सुसंगत है और जब आप अधिक डेटा प्राप्त करते हैं तो इष्टतम मॉडल में परिवर्तित हो जाएंगे। इस प्रकार, मॉडल की क्षमता (उदाहरण के लिए कम सुविधाएँ) को सीमित करना सबसे अच्छा सीखने योग्य मॉडल और सच्चे मॉडल के बीच की दूरी को बढ़ाकर एक लॉजिस्टिक प्रतिगमन के अंशांकन में बाधा डाल सकता है।

लॉजिस्टिक रिग्रेशन के साथ एक गलत अवलोकन मॉडल का उपयोग करने से असंतुलित संभावनाएं पैदा होंगी। सामान्य वितरण के साथ बाइनरी घटनाओं को मॉडलिंग करना अनुचित है, और लॉजिस्टिक प्रतिगमन के साथ संयोजन में उपयोग नहीं किया जाना चाहिए। सामान्य वितरण अवलोकन मॉडल के अनुरूप नुकसान का कार्य औसत चुकता त्रुटि है। इस प्रकार, MSE हानि का उपयोग निश्चित रूप से इसके अंशांकन में बाधा उत्पन्न करेगा।

Comments

इस साइट पर सावधानीपूर्वक कॉलिंग लॉजिस्टिक रिग्रेशन एक वर्गीकरण विधि! उत्तर के लिए धन्यवाद - ऐसा लगता है कि आप यह अनुमान लगा रहे हैं कि लॉग लॉस उद्देश्य अंशांकन का कारण है (यह मानते हुए कि मॉडल पर्याप्त रूप से लचीला है)?

— user0

एक अनुवर्ती - आप कहते हैं कि अंशांकन के लिए संभाव्यता के निष्पक्ष अनुमान की आवश्यकता होती है - इसलिए दंड में अंशांकन बर्बाद हो जाता है?

— user0

«LogisticRegression डिफ़ॉल्ट रूप से अच्छी तरह से कैलिब्रेटेड भविष्यवाणियों को लौटाता है क्योंकि यह सीधे लॉग-लॉस का अनुकूलन करता है» - scikit-learn.org/stable/modules/calibration.html

— cortax

परिभाषा के अनुसार, दंड या नियमितीकरण, एक पूर्वाग्रह इंजेक्शन है जो अक्सर अनुमान लगाने वाले के विचरण को कम करने का प्रयास करता है। एक बड़े पैमाने पर नियमितीकरण उद्देश्य समारोह के डेटा भाग पर हावी हो सकता है, और निश्चित रूप से अंशांकन को बर्बाद कर सकता है।

— कोर्टेक्स

"लॉग नुकसान का अनुकूलन" के बारे में स्किटिट-लर्न कोटेशन एक प्रभावी स्पष्टीकरण नहीं है, क्योंकि इस और निष्पक्ष होने के बीच कोई आवश्यक संबंध नहीं है। जब तक मैं गलत कर रहा हूँ, इस सवाल का सही जवाब आह्वान करने के लिए की आवश्यकता होगी asymptotic निष्पक्षता की अधिकतम संभावना आकलनकर्ता आम तौर पर रसद प्रतिगमन प्रक्रियाओं में प्रयुक्त।

— whuber