मैं एक उपयोगिता क्लाइंट के लिए लॉजिस्टिक रिग्रेशन का उपयोग कर एक प्रॉपर्टीज मॉडल का निर्माण कर रहा हूं। मेरी चिंता यह है कि कुल नमूने में से मेरे 'खराब' खाते सिर्फ 5% हैं, और बाकी सभी अच्छे हैं। मैं am खराब ’की भविष्यवाणी कर रहा हूं।
जवाबों:
मैं टिप्पणियों में अन्य उत्तरों से असहमत था, इसलिए यह उचित है कि मैं अपना खुद का जवाब दूं। चलो प्रतिक्रिया (अच्छा / बुरा खाते) हो सकता है, और covariates हो।एक्स
लॉजिस्टिक रिग्रेशन के लिए, मॉडल निम्नलिखित है:
इस बारे में सोचें कि डेटा कैसे एकत्र किया जा सकता है:
उपरोक्त मॉडल के लिए ये दोनों ठीक हैं, क्योंकि आप केवल के वितरण की मॉडलिंग कर रहे हैं । इन्हें एक संभावित अध्ययन कहा जाएगा ।
वैकल्पिक रूप से:
(आप और कुछ चर पर आधारित डेटा का चयन भी कर सकते हैं : यह एक स्तरीकृत केस-कंट्रोल अध्ययन होगा, और इसके साथ काम करने के लिए और अधिक जटिल है, इसलिए मैं यहां नहीं जाऊंगा)।एक्स
महामारी विज्ञान से एक अच्छा परिणाम है ( प्रेंटिस और पाइके (1979) देखें ) कि केस-कंट्रोल अध्ययन के लिए, लॉजिस्टिक रिग्रेशन द्वारा भावी मॉडल का उपयोग कर लॉजिस्टिक रिग्रेशन द्वारा लिए अधिकतम संभावना अनुमान लगाया जा सकता है।
तो यह आपकी समस्या के लिए कैसे प्रासंगिक है?
ठीक है, इसका मतलब है कि यदि आप अधिक डेटा एकत्र करने में सक्षम हैं, तो आप केवल खराब खातों को देख सकते हैं और फिर भी अनुमान के लिए लॉजिस्टिक रिग्रेशन का उपयोग कर सकते हैं (लेकिन आपको ओवर के लिए खाते में को समायोजित करने की आवश्यकता होगी प्रतिनिधित्व)। यह कहें कि प्रत्येक अतिरिक्त खाते के लिए इसकी लागत $ 1 है, तो यह अधिक लागत प्रभावी हो सकती है और फिर सभी खातों को देख सकता है। α
लेकिन दूसरी तरफ, आप पहले से ही सभी संभव डेटा है, तो वहाँ stratifying को कोई मतलब नहीं है: आप बस डेटा दूर फेंक दिया जाएगा (बदतर अनुमान दे रही है), और फिर अनुमान लगाने के लिए कोशिश कर रहा है की समस्या से नहीं छोड़ा जा सकता ।
असंगत रूप से, नकारात्मक पैटर्न के लिए सकारात्मक का अनुपात अनिवार्य रूप से अप्रासंगिक है। समस्या मुख्य रूप से तब उत्पन्न होती है जब आपके पास अल्पसंख्यक वर्ग के बहुत कम नमूने होते हैं जो इसके सांख्यिकीय वितरण का पर्याप्त वर्णन करते हैं। डेटासेट को बड़ा बनाना आमतौर पर समस्या को हल करता है (जहां यह संभव है)।
यदि यह संभव नहीं है, तो सबसे अच्छी बात यह है कि संतुलित डेटासेट प्राप्त करने के लिए डेटा को फिर से नमूना लेना है, और फिर प्रशिक्षण सेट और परिचालन रिश्तेदार वर्ग आवृत्तियों के बीच अंतर की भरपाई करने के लिए क्लासिफायरियर के आउटपुट में गुणक समायोजन लागू करना है। हालांकि, आप (asymptotically) इष्टतम समायोजन कारक की गणना कर सकते हैं, व्यवहार में यह क्रॉस-वैलिडेशन का उपयोग करके समायोजन को ट्यून करने के लिए सबसे अच्छा है (जैसा कि हम एक असममित एक के बजाय एक परिमित व्यावहारिक मामले से निपट रहे हैं)।
इस तरह की स्थिति में, मैं अक्सर मॉडल की एक समिति का उपयोग करता हूं, जहां प्रत्येक को सभी अल्पसंख्यक पैटर्न और अल्पसंख्यक पैटर्न के समान आकार के बहुमत पैटर्न के एक अलग यादृच्छिक नमूने पर प्रशिक्षित किया जाता है। यह बहुमत पैटर्न के एक सबसेट के चयन में बुरी किस्मत के खिलाफ गार्ड है।
सिद्धांत रूप में, आप बेहतर भेदभाव करने में सक्षम होंगे यदि "अच्छे" और "बुरे" के अनुपात लगभग समान हैं। आप स्तरीकृत नमूनाकरण, खराब मामलों की निगरानी और फिर बाद में सही अनुपात में लौटने के लिए पुन: लोड करके इस ओर बढ़ने में सक्षम हो सकते हैं।
यह कुछ जोखिम वहन करती है। विशेष रूप से आपके मॉडल को "संभावित रूप से खराब" के रूप में व्यक्तियों को लेबल करने की संभावना है - संभवतः वे जो देय होने पर अपने उपयोगिता बिलों का भुगतान नहीं कर सकते हैं। यह महत्वपूर्ण है कि ऐसा करते समय त्रुटियों का प्रभाव ठीक से पहचाना जाता है: विशेष रूप से कितने "अच्छे ग्राहकों" को मॉडल द्वारा "संभावित रूप से खराब" लेबल दिया जाएगा, और यदि आपके द्वारा विकृत नहीं किया गया है, तो आपको फिर से गलत होने की संभावना कम है स्तरीकृत नमूने द्वारा मॉडल।
ऐसे कई तरीके हैं जिनसे आप लॉजिस्टिक रिग्रेशन के बारे में सोच सकते हैं। मेरा पसंदीदा तरीका यह है कि आपकी प्रतिक्रिया चर, , प्रायिकता साथ बर्नौली वितरण का अनुसरण करती है । एक , बदले में, कुछ भविष्यवक्ताओं का एक कार्य है। अधिक औपचारिक रूप से:p i i p i
पी मैं = logit - 1 ( एक + ख 1 एक्स 1 + । । । + ख n एक्स एन ) logit - 1 = exp ( एक्स )
अब इससे कोई फर्क नहीं पड़ता कि आपके पास विफलताओं (खराब खातों) का अनुपात कम है? वास्तव में नहीं, जब तक कि आपका नमूना डेटा संतुलित है, जैसा कि कुछ लोग पहले ही इंगित कर चुके हैं। हालाँकि, यदि आपका डेटा संतुलित नहीं है, तो कुछ चयन प्रभाव आप पर ध्यान नहीं दे रहे हैं, तो अधिक डेटा प्राप्त करना लगभग बेकार हो सकता है। इस मामले में, आपको मिलान का उपयोग करना चाहिए, लेकिन संतुलन की कमी मिलान को बहुत बेकार कर सकती है। एक अन्य रणनीति एक प्राकृतिक प्रयोग खोजने की कोशिश कर रही है, इसलिए आप इंस्ट्रूमेंटल वेरिएबल या रिग्रेशन डिसकिन्युइटी डिजाइन का उपयोग कर सकते हैं।
अंतिम, लेकिन कम से कम, यदि आपके पास एक संतुलित नमूना है या कोई चयन पूर्वाग्रह नहीं है, तो आप इस तथ्य से चिंतित हो सकते हैं कि खराब खाता दुर्लभ है। मुझे नहीं लगता कि 5% दुर्लभ है, लेकिन सिर्फ मामले में, गैरी किंग द्वारा एक दुर्लभ घटना लॉजिस्टिक चलाने के बारे में कागज पर एक नज़र डालें । ज़ेलिग पैकेज में, आर में, आप एक दुर्लभ घटना लॉजिस्टिक चला सकते हैं।
ठीक है इसलिए मैं धोखाधड़ी जांच में काम करता हूं इसलिए इस तरह की समस्या मेरे लिए नई नहीं है। मुझे लगता है कि मशीन सीखने वाले समुदाय के पास असंतुलित डेटा के बारे में कहने के लिए काफी कुछ है (जैसे कि कक्षाएं असंतुलित हैं)। तो वहाँ कुछ आसान रणनीति है कि मुझे लगता है कि पहले से ही उल्लेख किया गया है, और स्वच्छ विचारों के एक जोड़े, और वहाँ से बाहर किसी तरह के एक जोड़े हैं। मैं यह जानने का नाटक भी नहीं करने जा रहा हूं कि आपकी समस्या के लिए स्पर्शोन्मुख दवाओं का क्या अर्थ है, लेकिन यह हमेशा मुझे लॉजिस्टिक रिग्रेशन में उचित परिणाम देता है। वहाँ एक कागज हो सकता है वहाँ, हालांकि यकीन नहीं है।
यहाँ मैं देख रहा हूँ के रूप में अपने विकल्प हैं:
किसी भी दर पर, मैंने इन सभी विधियों का उपयोग किया है, लेकिन मुझे लगता है कि सबसे सरल है, वैसे भी लॉजिस्टिक प्रतिगमन के लिए समस्या का फिर से वजन करना। एक बात आप अपने मॉडल की जाँच कर सकते हैं, हालांकि इसे लेना है:
-Intercept/beta
किसी दिए गए चर ceteris paribus पर निर्णय सीमा (या तो कक्षा में होने की 50% संभावना) होनी चाहिए । यदि यह समझ में नहीं आता है, उदाहरण के लिए निर्णय सीमा एक चर पर एक नकारात्मक संख्या है जो कड़ाई से सकारात्मक है, तो आपको अपने लॉजिस्टिक प्रतिगमन में पूर्वाग्रह मिला है जिसे ठीक करने की आवश्यकता है।