वर्गीकरण संभावना सीमा

Question

मेरे पास सामान्य तौर पर वर्गीकरण के संबंध में एक प्रश्न है। च एक क्लासिफायरियर होने दें, जो कुछ डेटा डी को दिए गए संभावनाओं के एक सेट को आउटपुट करता है। आम तौर पर, कोई भी कहेगा: ठीक है, अगर पी (सी | डी)> 0.5, हम एक कक्षा 1 को असाइन करेंगे, अन्यथा 0 (इसे बाइनरी होने दें वर्गीकरण)।

मेरा प्रश्न यह है कि क्या होगा अगर मुझे पता चले, कि अगर मैं 1 को भी संभावनाओं के रूप में वर्गीकृत करता हूं, तो इससे बड़ा: यानी 0.2, क्लासिफायर बेहतर प्रदर्शन करता है। क्या वर्गीकरण करते समय इस नई सीमा का उपयोग करना वैध है?

मैं एक छोटे सिग्नल को छोड़ने वाले डेटा के संदर्भ में बाध्य कम वर्गीकरण के लिए आवश्यकता की व्याख्या करूंगा; अभी भी वर्गीकरण समस्या के लिए महत्वपूर्ण है।

मुझे लगता है कि यह ऐसा करने का एक तरीका है, फिर भी अगर यह सही सोच नहीं है, तो कुछ डेटा परिवर्तन क्या होंगे, जो एक समान तरीके से व्यक्तिगत विशेषताओं पर जोर देते हैं, ताकि दहलीज 0.5 पर रह सके?

Comments

आपके पास पहले से ही कुछ उत्कृष्ट उत्तर हैं, इसलिए मुझे केवल यह कहना चाहिए: आपका "सामान्य रूप" सामान्य रूप से सामान्य नहीं होना चाहिए। मुझे यकीन नहीं है कि जहां "0.5 पर दहलीज" चीज मानक बन गई, और मुझे पता है कि कुछ, अन्यथा उत्कृष्ट, सॉफ्टवेयर है जो विचार को प्रोत्साहित करता है, लेकिन यह सामान्य रूप से बहुत खराब अभ्यास है।

— मैथ्यू

@MatthewDrury: जब तक, निश्चित रूप से, स्कोर कोई महत्वपूर्ण गलती नहीं करने के लिए अच्छी तरह से कैलिब्रेटेड प्रासंगिक पश्चगामी संभावना है (उत्तरार्द्ध गर्भपात की विभिन्न लागतों का ख्याल रखेगा)।

— cbeleites मोनिका

Answer 1

फ्रैंक हरेल ने अपने ब्लॉग पर इस बारे में लिखा है: वर्गीकरण बनाम भविष्यवाणी , जिसे मैं पूरे दिल से मानता हूं।

अनिवार्य रूप से, उनका तर्क यह है कि आपके व्यायाम का सांख्यिकीय घटक तब समाप्त होता है जब आप अपने नए नमूने के प्रत्येक वर्ग के लिए एक संभावना का उत्पादन करते हैं। उस सीमा को चुनना जिसके आगे आप एक नए अवलोकन को 1 बनाम 0 के रूप में वर्गीकृत करते हैं, वह आँकड़ों का हिस्सा नहीं है । यह निर्णय घटक का हिस्सा है । और यहां, आपको अपने मॉडल के संभाव्य आउटपुट की आवश्यकता है - लेकिन यह भी जैसे विचार:

• कक्षा 1 बनाम 0 के रूप में एक नए अवलोकन का इलाज करने का निर्णय लेने के परिणाम क्या हैं? क्या तब मैं सभी 1s को एक सस्ता मार्केटिंग मेल भेज सकता हूँ? या क्या मैं बड़े दुष्प्रभावों के साथ एक आक्रामक कैंसर उपचार लागू करता हूं?
• एक "सच" 0 को 1 के रूप में मानने के क्या परिणाम हैं, और इसके विपरीत? क्या मैं एक ग्राहक को टिकटिक दूंगा? किसी को अनावश्यक चिकित्सा उपचार के अधीन करें?
• क्या मेरे "वर्ग" वास्तव में असतत हैं? या क्या वास्तव में एक निरंतरता (जैसे, रक्तचाप) है, जहां नैदानिक ​​थ्रेसहोल्ड वास्तव में संज्ञानात्मक शॉर्टकट हैं? यदि ऐसा है, तो मैं अभी "थ्रेडिफ़ाइंग" की दहलीज से कितनी दूर हूं?
• या कक्षा 1 होने के लिए कम-लेकिन-सकारात्मक संभावना है वास्तव में "अधिक डेटा प्राप्त करें", "एक और परीक्षण चलाएं"?

इसलिए, अपने प्रश्न का उत्तर देने के लिए: अपने वर्गीकरण के अंतिम उपभोक्ता से बात करें, और उपरोक्त प्रश्नों के उत्तर प्राप्त करें। या उसे या उसके लिए अपने संभावित उत्पादन की व्याख्या करें, और उसे अगले चरणों के माध्यम से चलने दें।

Comments

इस उत्कट उत्तर के लिए बहुत-बहुत धन्यवाद। मैं स्वयं इस समस्या का अध्ययन करूंगा - मुझे यकीन है कि मैं किसी तरह इस संपत्ति को सांख्यिकीय शिक्षण भाग में परिवर्तित कर सकता हूं।

— sdgaw erzswer 10

वाह, काश मैं इसमें कुछ जोड़ पाता लेकिन कुछ भी नहीं मिला, बकाया जवाब!

— The_SJC

बहुत अच्छा जवाब: सवाल हाजिर हैं! हालाँकि, मेरा पेशा आवेदन पक्ष में है, चाहे निर्णय सीमा पता लगाना आँकड़े कहलाता है या नहीं - यह पूरी तरह से मेरे पेशेवर कर्तव्यों के भीतर आता है ... और मेरे लिए यह "पूर्व-प्रसंस्करण" की तरह ही मॉडल का हिस्सा है मॉडल - इस कारण से भी कि उन सभी निर्णयों को सत्यापन प्रक्रिया में शामिल किया जाना चाहिए।

— cbeleites मोनिका

Answer 2

चरण का जवाब बहुत अच्छा है। यह मूल रूप से इस बात पर निर्भर करता है कि आप क्लासिफायर के साथ क्या करना चाहते हैं।

बस कुछ उदाहरण जोड़ रहे हैं।

एक उद्देश्य सीमा को परिभाषित करने के लिए सबसे अच्छा दहलीज खोजने का एक तरीका है। बाइनरी वर्गीकरण के लिए, यह सटीकता या उदाहरण के लिए एफ 1-स्कोर हो सकता है। आपके द्वारा चुने जाने के आधार पर, सबसे अच्छी सीमा अलग होगी। एफ 1-स्कोर के लिए, यहां एक दिलचस्प जवाब है: एफ 1 ऑप्टिमल थ्रेशोल्ड क्या है? इसकी गणना कैसे करें? । लेकिन यह कहना कि "मैं एफ 1-स्कोर का उपयोग करना चाहता हूं" वह जगह है जहां आप वास्तव में पसंद करते हैं। यह विकल्प अच्छा है या नहीं यह अंतिम उद्देश्य पर निर्भर करता है।

एक और तरीका यह देखने के लिए है कि अन्वेषण और शोषण के बीच व्यापार-बंद का सामना करना पड़ रहा है (स्टीफ़न का अंतिम बिंदु): बहु-सशस्त्र दस्यु ऐसी समस्या का एक उदाहरण है: आपको जानकारी प्राप्त करने और सबसे अच्छा विकल्प चुनने के दो परस्पर विरोधी उद्देश्यों से निपटना होगा। । एक बायेसियन रणनीति प्रत्येक डाकू को यादृच्छिक रूप से चुनने की संभावना के साथ है कि यह सबसे अच्छा है। यह बिल्कुल वर्गीकरण नहीं है, लेकिन एक समान तरीके से आउटपुट संभावनाओं से निपटना है।

यदि एल्गोरिथ्म निर्णय लेने में क्लासिफायरियर केवल एक ईंट है, तो सर्वश्रेष्ठ थ्रेशोल्ड एल्गोरिथम के अंतिम उद्देश्य पर निर्भर करेगा। पूरी प्रक्रिया के उद्देश्य समारोह के संबंध में इसका मूल्यांकन और ट्यून किया जाना चाहिए।

Comments

एक और शानदार जवाब के लिए धन्यवाद। यदि मैं सही ढंग से समझता हूं, अगर मैं पाइपलाइन में अंतिम चरण के साथ काम कर रहा हूं, तो यह सीधे सीमा का अनुकूलन करने के लिए पूरी तरह से वैध है।

— sdgaw erzswer

@sdgawerzswer: हाँ। और ए) सुनिश्चित करें कि आप सही प्रश्न के उत्तर का अनुकूलन करते हैं और बी) सुनिश्चित करें कि आप बाकी मॉडल के साथ मिलकर उस निर्णय (और सीमा खोजने) को मान्य करते हैं।

— cbeleites मोनिका

Answer 3

संभाव्यता की गणना कैसे की जाती है, इस पर विचार करने में संभवतः कुछ मूल्य है। इन दिनों, क्लासिफायर एक पूर्वाग्रह वेक्टर का उपयोग करते हैं, जो एक मैट्रिक्स (रैखिक बीजगणित) से गुणा किया जाता है। जब तक वेक्टर में कोई भी गैर-शून्य मान नहीं होते हैं, तब तक संभावना (वेक्टर और मैट्रिक्स का उत्पाद) 0 कभी नहीं होगा।

यह उन लोगों की वास्तविक दुनिया में भ्रम का कारण बनता है जो रैखिक बीजगणित नहीं लेते थे, मुझे लगता है। वे इस तथ्य से परेशान हैं कि आइटम के लिए संभावना स्कोर हैं जो उन्हें लगता है कि 0. होना चाहिए। दूसरे शब्दों में, वे उस इनपुट के आधार पर निर्णय से सांख्यिकीय इनपुट को भ्रमित कर रहे हैं। मनुष्य के रूप में, हम कह सकते हैं कि 0.0002234 की संभावना के साथ कुछ 0 के समान है, अधिकांश "व्यावहारिक" मामलों में। उच्च संज्ञानात्मक विज्ञान चर्चाओं में, शायद, इस बारे में एक दिलचस्प चर्चा है कि पूर्वाग्रह वेक्टर ऐसा क्यों करता है, या बल्कि, यह संज्ञानात्मक अनुप्रयोगों के लिए मान्य है।

Answer 4

कोई गलत सीमा नहीं है। आपके द्वारा चुनी गई दहलीज आपके उद्देश्य में आपके उद्देश्य पर निर्भर करती है, या इसके बजाय कि आप किसका पक्ष लेना चाहते हैं, उदाहरण के लिए सटीक बनाम रिकॉल (इसे ग्राफ करने की कोशिश करें और अपने चयन के विभिन्न वर्गीकरण मॉडल की तुलना करने के लिए इसके जुड़े एयूसी को मापें)।

मैं आपको सटीक बनाम याद करने का यह उदाहरण दे रहा हूं, क्योंकि मेरी अपनी समस्या का मामला मैं अभी काम कर रहा हूं, मैं न्यूनतम सटीकता (या पीपीवी पॉजिटिव प्रेडिक्टिव वैल्यू) के आधार पर अपनी सीमा का चयन करता हूं, मैं चाहता हूं कि जब मेरा मॉडल भविष्यवाणी करे, लेकिन मैं नकारात्मक के बारे में ज्यादा परवाह नहीं है। जैसे कि मैं अपने मॉडल को प्रशिक्षित करने के बाद एक बार वांछित सटीकता से मेल खाता है। परिशुद्धता मेरे अवरोध है और रिकॉल मेरे मॉडल का प्रदर्शन है, जब मैं अन्य वर्गीकरण मॉडल की तुलना करता हूं।