कक्षा की संभावनाओं की भविष्यवाणी करने के लिए मशीन सीखना


20

मैं उन क्लासिफ़ायर की तलाश कर रहा हूं जो आउटपुट संभावनाएं हैं जो उदाहरण दो वर्गों में से एक से संबंधित हैं।

मुझे लॉजिस्टिक रिग्रेशन और भोले-भाले लोगों का पता है, लेकिन क्या आप मुझे दूसरों के बारे में बता सकते हैं जो समान तरीके से काम करते हैं? यही है, ऐसे क्लासिफायर जो भविष्यवाणी करते हैं कि वे कौन से उदाहरण हैं, किस वर्ग के नहीं हैं, लेकिन संभावना है कि उदाहरण एक विशेष वर्ग के लिए उपयुक्त हैं?

किसी भी विचार के लिए बोनस अंक आप इन अलग-अलग क्लासिफायर के फायदे और नुकसान पर साझा कर सकते हैं (लॉजिस्टिक प्रतिगमन और भोले बेयस सहित)। उदाहरण के लिए, क्या बहु-श्रेणी वर्गीकरण के लिए कुछ बेहतर हैं?

जवाबों:


5

एसवीएम लॉजिस्टिक रिग्रेशन से निकटता से जुड़ा हुआ है, और इसका उपयोग हाइपरप्लेन (प्रत्येक बिंदु के स्कोर) की दूरी के आधार पर संभावनाओं की भविष्यवाणी करने के लिए किया जा सकता है। आप इसे स्कोर बनाकर करते हैं -> संभावना मैपिंग किसी तरह, जो समस्या के एक आयामी होने के कारण अपेक्षाकृत आसान है। एक तरीका डेटा के लिए एक एस-वक्र (जैसे लॉजिस्टिक वक्र, या उसके ढलान) को फिट करना है। एक और तरीका यह है कि डेटा को अधिक सामान्य संचयी वितरण फ़ंक्शन को फिट करने के लिए आइसोटोनिक प्रतिगमन का उपयोग किया जाए।

एसवीएम के अलावा, आप किसी भी विधि के लिए एक उपयुक्त हानि फ़ंक्शन का उपयोग कर सकते हैं जिसे आप ढाल-आधारित विधियों का उपयोग करके फिट कर सकते हैं, जैसे कि गहरे नेटवर्क।

वर्गीकरण को डिजाइन करते समय इन दिनों संभावनाओं की भविष्यवाणी करना कुछ ध्यान में नहीं लिया जाता है। यह एक अतिरिक्त है जो वर्गीकरण प्रदर्शन से विचलित करता है, इसलिए इसे छोड़ दिया गया है। हालाँकि, आप वर्गीकरण संभावनाओं का एक निश्चित सेट जानने के लिए किसी भी बाइनरी क्लासिफायरियर का उपयोग कर सकते हैं (जैसे "p में [0, 1/4], या [1/4, 1/2], या ...") के साथ। लैंगफोर्ड और ज़द्रोज़नी की कमी "।


4
"क्लासिफ़ डिज़ाइन करते समय इन दिनों संभावनाओं पर ध्यान नहीं दिया जाता है"। मैं अनिश्चित हूँ अगर यह 2013 में सच था, लेकिन यह 2018 में लगभग निश्चित रूप से गलत है।
मैथ्यू ड्र्यू

9

एक अन्य संभावना तंत्रिका नेटवर्क है, यदि आप सिग्मोएडल आउटपुट इकाइयों के साथ लागत कार्यात्मक के रूप में क्रॉस-एन्ट्रोपी का उपयोग करते हैं। आप जो अनुमान लगा रहे हैं, वह आपको प्रदान करेगा।

तंत्रिका नेटवर्क, साथ ही लॉजिस्टिक प्रतिगमन, भेदभावपूर्ण वर्गीकरण हैं, जिसका अर्थ है कि वे प्रशिक्षण डेटा पर सशर्त वितरण को अधिकतम करने का प्रयास करते हैं। असीम रूप से, अनन्त नमूनों की सीमा में, दोनों अनुमान समान सीमा तक पहुंचते हैं।

आपको इस प्रश्न में इस प्रश्न पर एक विस्तृत विश्लेषण मिलेगा । टेकअवे विचार यह है कि भले ही जेनेरेटिव मॉडल में एक उच्च स्पर्शोन्मुख त्रुटि हो, लेकिन यह भेदभावपूर्ण मॉडल की तुलना में बहुत अधिक तेजी से इस विषम त्रुटि को प्राप्त कर सकता है। इसलिए, कौन सा लेना है, यह आपकी समस्या, हाथ में डेटा और आपकी विशेष आवश्यकताओं पर निर्भर करता है।

अंतिम, सशर्त संभावनाओं के अनुमानों को एक पूर्ण स्कोर के रूप में देखते हुए, जिस पर आधार निर्णय (यदि आप बाद में हैं) आधार सामान्य रूप से ज्यादा मायने नहीं रखता है। क्या महत्वपूर्ण है, एक ठोस नमूना दिया जाता है, क्लासिफायरियर द्वारा सर्वश्रेष्ठ उम्मीदवारों की कक्षाओं के उत्पादन और संबंधित संभावनाओं की तुलना करना। यदि सर्वश्रेष्ठ दो स्कोर के बीच अंतर अधिक है, तो इसका मतलब है कि क्लासिफायर अपने उत्तर के बारे में बहुत आश्वस्त है (जरूरी नहीं कि सही हो)।


2

कई हैं - और क्या सबसे अच्छा काम करता है यह डेटा पर निर्भर करता है। धोखा देने के भी कई तरीके हैं - उदाहरण के लिए, आप किसी भी क्लासिफायर के आउटपुट पर प्रायिकता अंशांकन कर सकते हैं जो स्कोर के कुछ अंश देता है (जैसे: वेट वेक्टर और इनपुट के बीच एक डॉट उत्पाद)। इसका सबसे आम उदाहरण प्लॉट का स्केलिंग कहा जाता है।

अंतर्निहित मॉडल के आकार की बात भी है। यदि आपके पास अपने डेटा के साथ बहुपद बातचीत है, तो वेनिला लॉजिस्टिक प्रतिगमन इसे अच्छी तरह से मॉडल करने में सक्षम नहीं होगा। लेकिन आप लॉजिस्टिक रिग्रेशन के कर्नेल संस्करण का उपयोग कर सकते हैं ताकि मॉडल डेटा को बेहतर तरीके से फिट कर सके। यह आमतौर पर संभावना आउटपुट के "अच्छाई" को बढ़ाता है क्योंकि आप क्लासिफायरियर की सटीकता में भी सुधार कर रहे हैं।

आमतौर पर, प्रायिकता देने वाले अधिकांश मॉडल आमतौर पर एक लॉजिस्टिक फ़ंक्शन का उपयोग करते हैं, इसलिए इसकी तुलना करना कठिन हो सकता है। यह सिर्फ व्यवहार में अच्छी तरह से काम करता है, बायेसियन नेटवर्क एक विकल्प है। Naive Bayes किसी भी अच्छे होने के लिए अपनी संभावनाओं के लिए बहुत सरल बनाता है - और यह आसानी से किसी भी उचित डेटा सेट पर मनाया जाता है।

अंत में, यह आमतौर पर उस मॉडल को चुनकर आपके संभाव्यता अनुमानों की गुणवत्ता को बढ़ाना आसान होता है जो डेटा का बेहतर प्रतिनिधित्व कर सकते हैं। इस मायने में, यह बहुत ज्यादा मायने नहीं रखता है कि आपको संभावनाएं कैसे मिलती हैं। यदि आप लॉजिस्टिक रिग्रेशन के साथ 70% सटीकता प्राप्त कर सकते हैं, और एक एसवीएम के साथ 98% - तो सिर्फ एक "पूर्ण विश्वास" संभावना देने से आप सबसे अधिक स्कोरिंग तरीकों से "बेहतर" परिणाम प्राप्त करेंगे, भले ही वे वास्तव में संभावनाएं नहीं हैं (और तब आप पहले मेरे द्वारा बताए गए अंशांकन कर सकते हैं, जिससे वे वास्तव में बेहतर हो जाएंगे)।

एक सटीक क्लासिफ़ायर प्राप्त करने में असमर्थ होने के संदर्भ में एक ही प्रश्न अधिक दिलचस्प है, लेकिन मुझे यकीन नहीं है कि ऐसे परिदृश्य में किसी ने अध्ययन किया / तुलना की।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.