लॉजिस्टिक रिग्रेशन में निर्णय थ्रेशोल्ड एक हाइपरपरमीटर है?

Question

मॉडल से उत्पन्न वर्ग सदस्यता संभावनाओं पर एक सीमा का उपयोग करके (द्विआधारी) लॉजिस्टिक प्रतिगमन से अनुमानित कक्षाएं निर्धारित की जाती हैं। जैसा कि मैं इसे समझता हूं, आमतौर पर 0.5 का उपयोग डिफ़ॉल्ट रूप से किया जाता है।

लेकिन अलग-अलग होने से भविष्यवाणी के वर्गीकरण में बदलाव आएगा। क्या इसका मतलब यह है कि दहलीज एक हाइपरपरमीटर है? यदि ऐसा है, तो ऐसा क्यों है (उदाहरण के लिए) स्किकिट-लर्न की GridSearchCVविधि का उपयोग करके थ्रेसहोल्ड के ग्रिड पर आसानी से खोज करना संभव नहीं है (जैसा कि आप नियमितीकरण पैरामीटर के लिए करते हैं C)।

Comments

"जैसा कि मैं इसे समझता हूं, आमतौर पर 0.5 का उपयोग डिफ़ॉल्ट रूप से किया जाता है।" "ठेठ" शब्द के अर्थ पर निर्भर करता है। व्यवहार में, किसी को भी ऐसा नहीं करना चाहिए।

— मैथ्यू ड्र्यू

बहुत अधिक संबंधित: वर्गीकरण संभावना दहलीज

— Stephan Kolassa

सख्ती से आपका मतलब लॉजिस्टिक रिग्रेशन से नहीं है, आप का मतलब है बाइनरी वर्गीकरण के लिए दहलीज के साथ एक लॉजिस्टिक रजिस्ट्रार का उपयोग करना (आप दो वर्गों में से प्रत्येक के लिए एक रजिस्ट्रार को प्रशिक्षित कर सकते हैं, थोड़ा बीजयुक्त यादृच्छिकता या भार के कारण उन्हें रैखिक रूप से निर्भर होने से बचाने के लिए)।

— 19

Answer 1

निर्णय थ्रेशोल्ड सकारात्मकता की संख्या के बीच एक व्यापार बंद बनाता है जिसकी आप भविष्यवाणी करते हैं और आपके द्वारा भविष्यवाणी की जाने वाली नकारात्मक की संख्या - क्योंकि, तात्विक रूप से, निर्णय दहलीज बढ़ाने से उन सकारात्मकता की संख्या कम हो जाएगी जो आप अनुमान लगाते हैं और नकारात्मक संख्या बढ़ाते हैं जो आप भविष्यवाणी करते हैं।

निर्णय सीमा नहीं मॉडल ट्यूनिंग के अर्थ में एक अति पैरामीटर क्योंकि यह परिवर्तन नहीं करता है लचीलापन मॉडल की।

निर्णय सीमा के संदर्भ में "ट्यून" शब्द के बारे में आप जिस तरह से सोच रहे हैं, वह इस बात से अलग है कि हाइपर-पैरामीटर कैसे ट्यून किए गए हैं। बदल रहा है और अन्य मॉडल अति मापदंडों में परिवर्तन मॉडल$C$(उदाहरण के लिए, लॉजिस्टिक रिग्रेशन गुणांक अलग-अलग होंगे), जबकि दहलीज को समायोजित करना केवल दो काम कर सकता है: एफएन के लिए टीपी से व्यापार, और टीएन के लिए एफपी। हालाँकि, मॉडल समान रहता है, क्योंकि यह गुणांक नहीं बदलता है। (यह उन मॉडल के लिए सही है, जिनमें गुणांक नहीं हैं, जैसे कि यादृच्छिक जंगल: पेड़ों के बारे में दहलीज को बदलना नहीं है।) इसलिए संकीर्ण अर्थ में, आप सही हैं कि त्रुटियों के बीच सबसे अच्छा व्यापार बंद पाएं। "ट्यूनिंग" है, लेकिन आप यह सोचकर गलत हैं कि थ्रेशोल्ड को बदलना अन्य मॉडल हाइपर-मापदंडों से जुड़ा हुआ है, जो कि इसके द्वारा अनुकूलित है GridSearchCV।

एक और तरीका बताया गया है, निर्णय सीमा को बदलना आपके हिस्से पर एक विकल्प को दर्शाता है कि आप कितने गलत सकारात्मक और गलत नकारात्मक हैं। काल्पनिक पर विचार करें कि आपने निर्णय सीमा को -1 जैसे पूरी तरह से अनुमानित मूल्य पर सेट किया है। सभी संभावनाएं नकारात्मक हैं, इसलिए इस सीमा के साथ आप हर अवलोकन के लिए "सकारात्मक" की भविष्यवाणी करेंगे। एक निश्चित दृष्टिकोण से, यह बहुत अच्छा है, क्योंकि आपकी झूठी नकारात्मक दर 0.0 है। हालाँकि, आपकी झूठी सकारात्मक दर भी 1.0 के चरम पर है, इस लिहाज से आपकी पसंद -1 की सीमा भयानक है।

आदर्श रूप में, 1.0 की TPR और 0.0 की FPR और 0.0 की FNR होनी चाहिए। लेकिन यह आमतौर पर वास्तविक दुनिया के अनुप्रयोगों में असंभव है, इसलिए यह सवाल "फिर कितना एफपीआर मैं स्वीकार करने को तैयार हूं कि कितना एफपीआर है?" और यह roc curves की प्रेरणा है।

Comments

उत्तर के लिए धन्यवाद @ साइकोरैक्स। आपने मुझे लगभग मना लिया है। लेकिन क्या हम "कितना TPR के लिए स्वीकार करने के लिए तैयार हूँ" के विचार को हम औपचारिक रूप से स्वीकार नहीं कर सकते? जैसे लागत मैट्रिक्स का उपयोग करना। यदि हमारे पास एक लागत मैट्रिक्स है, तो ट्यूनिंग के माध्यम से इष्टतम सीमा को खोजने के लिए यह वांछनीय नहीं होगा, जैसा कि आप एक हाइपरपरमीटर ट्यून करेंगे? या इष्टतम थ्रेसहोल्ड खोजने का एक बेहतर तरीका है?

— निक

यहां जिस तरह से आप "ट्यून" शब्द का उपयोग कर रहे हैं, यह इस बात से अलग है कि हाइपर-पैरामीटर कैसे ट्यून किए गए हैं। बदल रहा है और अन्य मॉडल अति मापदंडों में परिवर्तन मॉडल (जैसे, रसद प्रतिगमन गुणांक अलग होगा) है, जबकि सीमा का समायोजन केवल दो कर सकते हैं: एफ एन के लिए टी.पी. बंद व्यापार, और तमिलनाडु के लिए एफपी (लेकिन मॉडल ही रहता है - समान गुणांक, आदि)। आप सही हैं, कि आप त्रुटियों के बीच सबसे अच्छा व्यापार बंद खोजना चाहते हैं, लेकिन आप गलत हैं कि इस तरह की ट्यूनिंग अंदर होती है । $C$GridSearchCV

— साइकोरैक्स का कहना है कि मोनिका

@ साइकोरेक्स मूल रूप से एक ही काम कर रही दहलीज और इंटरसेप्ट (पूर्वाग्रह शब्द) नहीं है? यानी आप थ्रेशोल्ड को 0.5 पर नियत रख सकते हैं लेकिन उसके अनुसार इंटरसेप्ट को बदल सकते हैं; यह "मॉडल को बदल देगा" (आपकी पिछली टिप्पणी के अनुसार) लेकिन बाइनरी भविष्यवाणियों के संदर्भ में समान प्रभाव होगा। क्या ये सही है? यदि हां, तो मुझे यकीन नहीं है कि "मॉडल को बदलने" और "निर्णय नियम को बदलने" के बीच का सख्त अंतर इस मामले में बहुत सार्थक है।

— अमीबा का कहना है कि मोनिका

@amoeba यह एक हालांकि उत्तेजक टिप्पणी है। मुझे इस पर विचार करना होगा। मुझे लगता है कि आपके सुझाव की मात्रा "0.5 की सीमा पर रखें और इंटरसेप्टर को हाइपरपरमीटर के रूप में समझें, जिसे आप ट्यून करते हैं।" आपको ऐसा करने से रोकने के लिए गणितीय रूप से कुछ भी नहीं है, इस अवलोकन को छोड़कर कि मॉडल अब इसकी संभावना को अधिकतम नहीं करता है। लेकिन MLE को प्राप्त करना कुछ विशिष्ट संदर्भों में प्राथमिकता नहीं हो सकता है।

— साइकोरैक्स का कहना है कि मोनिका

Answer 2

लेकिन अलग-अलग होने से भविष्यवाणी के वर्गीकरण में बदलाव आएगा। क्या इसका मतलब यह है कि दहलीज एक हाइपरपरमीटर है?

हाँ, यह करता है, sorta। यह आप के निर्णय नियम का एक हाइपरपरेट है , लेकिन अंतर्निहित प्रतिगमन नहीं है।

यदि ऐसा है, तो ऐसा क्यों है (उदाहरण के लिए) स्किकिट-लर्न की ग्रिडसर्च सीवी विधि का उपयोग करके थ्रेसहोल्ड के ग्रिड पर आसानी से खोज करना संभव नहीं है (जैसा कि आप नियमितीकरण पैरामीटर सी के लिए करते हैं)।

यह स्केलेर में एक डिज़ाइन त्रुटि है। अधिकांश वर्गीकरण परिदृश्यों के लिए सबसे अच्छा अभ्यास अंतर्निहित मॉडल (जो संभावनाओं की भविष्यवाणी करता है) को इन संभावनाओं की गुणवत्ता के कुछ उपाय (जैसे कि लॉजिस्टिक रिग्रेशन में लॉग-लॉस) का उपयोग करके फिट करना है। बाद में, आपके वर्गीकरण नियम के कुछ व्यावसायिक उद्देश्य को अनुकूलित करने के लिए इन संभावनाओं पर निर्णय सीमा निर्धारित की जानी चाहिए। लाइब्रेरी को गुणवत्ता के कुछ माप के आधार पर निर्णय सीमा को अनुकूलित करना आसान बनाना चाहिए, लेकिन मुझे विश्वास नहीं है कि यह अच्छी तरह से करता है।

मुझे लगता है कि यह उन स्थानों में से एक है जिसे स्केलेर ने गलत पाया। लाइब्रेरी में एक विधि शामिल है, predictसभी वर्गीकरण मॉडल पर जो थ्रेसहोल्ड पर है 0.5। यह विधि बेकार है, और मैं इसे कभी भी लागू नहीं करने के लिए दृढ़ता से वकालत करता हूं। यह दुर्भाग्यपूर्ण है कि स्केलेरोन बेहतर वर्कफ़्लो को प्रोत्साहित नहीं कर रहा है।

Comments

मैं predictएक कटऑफ के रूप में 0.5 की विधि के डिफ़ॉल्ट विकल्प के बारे में आपके संदेह को भी साझा करता हूं , लेकिन GridSearchCVउन scorerवस्तुओं को स्वीकार करता है जो मॉडल को आउट-ऑफ-सैंपल क्रॉस-एंट्रोपी नुकसान के संबंध में ट्यून कर सकते हैं। क्या मुझे आपकी बात याद आ रही है?

— साइकोरैक्स का कहना है कि मोनिका

सही, सहमत है कि सबसे अच्छा अभ्यास है, लेकिन यह उपयोगकर्ताओं को निर्णय सीमा को ट्यून करने के लिए प्रोत्साहित नहीं करता है।

— मैथ्यू ड्र्यू

पकड़ लिया। मैं समझता हूं तुम्हारा क्या मतलब है!

— साइकोरैक्स ने

@ साइकोरैक्स ने स्पष्ट करने के लिए संपादन करने की कोशिश की!

— मैथ्यू Drury