एक सिक्का उछालकर क्लासिफायर का संयोजन


15

मैं एक मशीन लर्निंग कोर्स का अध्ययन कर रहा हूं और व्याख्यान स्लाइड में वह जानकारी है जो मुझे अनुशंसित पुस्तक के साथ विरोधाभास लगती है।

समस्या निम्न है: तीन वर्गीकरण हैं:

  • क्लासिफायर A थ्रेसहोल्ड की निचली श्रेणी में बेहतर प्रदर्शन प्रदान करता है,
  • उच्च श्रेणी के थ्रेसहोल्ड में बेहतर प्रदर्शन प्रदान करने वाला क्लासिफायर B
  • क्लासिफायर सी जो हमें एक पी-सिक्का फ्लिप करके और दो क्लासिफायरियर से चयन करके मिलता है।

आरओसी वक्र पर देखे गए क्लासिफायर सी का प्रदर्शन क्या होगा?

व्याख्यान में कहा गया है कि सिर्फ इस सिक्के को उछालने से, हमें क्लासिफायर ए और बी के आरओसी वक्र के जादुई " उत्तल पतवार " मिलने वाले हैं।

मुझे यह बात समझ में नहीं आती। बस एक सिक्का उछालने से, हम जानकारी कैसे प्राप्त कर सकते हैं?

व्याख्यान स्लाइड

व्याख्यान स्लाइड

किताब क्या कहती है

अनुशंसित पुस्तक ( डेटा खनन ... इयान एच। विटन द्वारा, आइब फ्रैंक और मार्क ए। हॉल ) दूसरी ओर कहा गया है कि:

इसे देखने के लिए, विधि A के लिए एक विशेष संभाव्यता कटऑफ चुनें, जो क्रमशः t और fA की सही और झूठी सकारात्मक दर देता है, और पद्धति B के लिए एक और कटऑफ जो tB और fB देता है। यदि आप इन दो योजनाओं का उपयोग यादृच्छिकता पर p और q के साथ करते हैं, जहाँ p + q = 1 है, तो आपको p की सही और झूठी सकारात्मक दरें मिलेंगी। टीए + क्यू। टीबी और पी। एफए + क्यू। अमेरिकन प्लान। यह बिंदु (tA, fA) और (tB, fB) को मिलाने वाली सीधी रेखा पर स्थित एक बिंदु का प्रतिनिधित्व करता है, और p और q भिन्न करके आप इन दो बिंदुओं के बीच की पूरी रेखा का पता लगा सकते हैं।

मेरी समझ में, पुस्तक जो कहती है वह यह है कि वास्तव में जानकारी हासिल करने और उत्तल पतवार तक पहुंचने के लिए हमें बस एक पी-कॉइन को फ़्लिप करने की तुलना में अधिक उन्नत कुछ करने की आवश्यकता है।

AFAIK, सही तरीका (जैसा कि पुस्तक द्वारा सुझाया गया है) निम्नलिखित है:

  1. हमें क्लासिफायर A के लिए एक इष्टतम सीमा Oa मिलनी चाहिए
  2. हमें क्लासिफायर बी के लिए एक इष्टतम थ्रेशोल्ड ओबी खोजना चाहिए
  3. C को निम्नानुसार परिभाषित करें:

    • यदि टी <ओए, टी के साथ क्लासिफायर ए का उपयोग करें
    • यदि t> Ob, t के साथ classifier B का उपयोग करते हैं
    • यदि Oa <t <Ob, जहाँ हम Oa और Ob के बीच एक रेखीय संयोजन के रूप में प्रायिकता द्वारा Oa और B को Ob के साथ Classifier A के साथ लेते हैं।

क्या ये सही है? यदि हाँ, तो स्लाइड के सुझाव की तुलना में कुछ महत्वपूर्ण अंतर हैं।

  1. यह एक साधारण सिक्का नहीं है, लेकिन एक अधिक उन्नत एल्गोरिथ्म है जिसे मैन्युअल रूप से परिभाषित बिंदुओं की आवश्यकता होती है और हम किस क्षेत्र में आते हैं इसके आधार पर चुनता है।
  2. यह कभी भी ओए और ओब के बीच थ्रेशोल्ड वैल्यू वाले क्लासिफायर ए और बी का उपयोग नहीं करता है।

क्या आप मुझे इस समस्या को समझा सकते हैं और इसे समझने का सही तरीका क्या है , अगर मेरी समझ सही नहीं थी?

क्या होगा अगर हम सिर्फ एक पी-सिक्का फ्लिप करेंगे जैसे स्लाइड का सुझाव होगा? मुझे लगता है कि हम एक आरओसी वक्र प्राप्त करेंगे जो ए और बी के बीच है, लेकिन किसी दिए गए बिंदु पर बेहतर से बेहतर "कभी नहीं"।

जहां तक ​​मैं देख सकता हूं, मुझे वास्तव में समझ नहीं आ रहा है कि स्लाइड कैसे सही हो सकती है। बाएं हाथ की ओर संभाव्य गणना मेरे लिए मायने नहीं रखती है।

अद्यतन: उत्तल पतवार विधि का आविष्कार करने वाले मूल लेखक द्वारा लिखा गया लेख मिला: http://www.bmva.org/bmvc/1998/pdf/p082.pdf


आपके द्वारा पोस्ट की गई स्लाइड और पुस्तक अंश दोनों के मेरे पढ़ने से, वे सटीक एक ही बात का वर्णन करते प्रतीत होते हैं, और स्लाइड त्रुटि में नहीं हैं।
कार्डिनल

ध्यान दें कि स्लाइड में बताए गए तथ्य के बारे में खुद को समझाने के लिए सिमुलेशन का निर्माण करना भी मुश्किल नहीं है। एकमात्र कठिनाई जो आपके पास हो सकती है, दो आरओसी वक्रों का निर्माण करना जो लगभग उसी तरह दिखते हैं, लेकिन यह प्रबंधनीय है, कहते हैं, अवलोकनों और कुछ उप-अपनाने के निर्णय नियमों को उत्पन्न करने के लिए गाऊसी मिश्रण मॉडल का उपयोग करना।
कार्डिनल

जवाबों:


12

(संपादित)

व्याख्यान स्लाइड सही हैं।

विधि ए में एक "इष्टतम बिंदु" है जो क्रमशः (ग्राफ़ में टीपीए, एफपीए) की सही और झूठी सकारात्मक दर देता है। यह बिंदु एक सीमा के अनुरूप होगा, या सामान्य रूप से अधिक [*] ए के लिए एक इष्टतम निर्णय सीमा। सभी एक ही बी के लिए जाता है (लेकिन सीमा और सीमाएं संबंधित नहीं हैं)।

यह देखा गया है कि जब हम "सच्ची सकारात्मकता को अधिकतम करना चाहते हैं" (उत्सुक रणनीति) को प्राथमिकता देते हैं, तो क्लासिफायर ए वरीयता के तहत अच्छा प्रदर्शन करता है।

आपके पहले प्रश्न का उत्तर, मूल रूप से हां है, सिवाय इसके कि सिक्के की संभावना (कुछ अर्थों में) मनमानी है। अंतिम क्लासिफायर होगा:

एक्सएक्सपी

(सही किया गया: वास्तव में, व्याख्यान पूरी तरह से सही हैं, हम किसी भी मामले में बस सिक्का फ्लिप कर सकते हैं। आरेख देखें)

आप किसी भी निश्चित उपयोग कर सकते हैंपी सीमा में (0,1) कर सकते हैं, यह इस बात पर निर्भर करता है कि आप अधिक या कम रूढ़िवादी बनना चाहते हैं, अर्थात यदि आप किसी एक बिंदु के निकट या बीच में अधिक होना चाहते हैं।

[*] आपको यहां सामान्य होना चाहिए: यदि आप एकल स्केलर सीमा के संदर्भ में सोचते हैं, तो यह सब समझ में नहीं आता है; थ्रेशोल्ड-आधारित क्लासिफायर के साथ एक आयामी विशेषता आपको ए और बी के रूप में अलग-अलग क्लासिफायर होने की स्वतंत्रता की पर्याप्त डिग्री नहीं देती है, जो कि मुक्त पैरामीटर्स (निर्णय सीमा = सीमा) भिन्न होने पर अलग-अलग घटता के साथ प्रदर्शन करती है। दूसरे शब्दों में: ए और बी को "तरीके" या "सिस्टम" कहा जाता है, न कि "क्लासिफायर"; क्योंकि A एक पूरे वर्ग का परिवार है, कुछ पैरामीटर (स्केलर) द्वारा पैरामीरिड किया गया है जो केवल एक स्केलर न होकर एक निर्णय सीमा निर्धारित करता है]

मैंने इसे और अधिक स्पष्ट करने के लिए कुछ आरेख जोड़े:

यहाँ छवि विवरण दर्ज करें

टीटीटीटी=2टीटीबी=4

इस परिदृश्य में, फिर, कोई कह सकता है कि भरी हुई नारंगी रेखा "इष्टतम ए क्लासिफायर" (उसके परिवार के अंदर) है, और बी के लिए भी यही है। लेकिन कोई यह नहीं बता सकता है कि नारंगी रेखा नीले रंग की रेखा से बेहतर है: एक प्रदर्शन करता है बेहतर जब हम झूठी सकारात्मकता के लिए उच्च लागत का आश्वासन देते हैं, तो दूसरा जब गलत नकारात्मक बहुत अधिक महंगा होता है।

यहाँ छवि विवरण दर्ज करें

अब, ऐसा हो सकता है कि ये दोनों क्लासिफायर हमारी ज़रूरतों के लिए बहुत चरम पर हों, हम चाहेंगे कि दोनों प्रकार की त्रुटियों में समान भार हो। हम एक प्रदर्शन को प्राप्त करने के लिए क्लासिफायर ए (नारंगी डॉट) या बी (ब्लू डॉट) का उपयोग करने के बजाय पसंद करेंगे कि यह उनके बीच में है। जैसा कि पाठ्यक्रम में कहा गया है, कोई भी एक सिक्का उछालने से उस परिणाम को प्राप्त कर सकता है और यादृच्छिक पर किसी एक वर्ग का चयन कर सकता है।

बस एक सिक्का उछालने से, हम जानकारी कैसे प्राप्त कर सकते हैं?

हम जानकारी हासिल नहीं करते। हमारा नया रैंडमाइज्ड क्लासिफायर ए या बी से केवल "बेहतर" नहीं है, यह प्रदर्शन ए और बी के औसत की तरह है, प्रत्येक प्रकार की त्रुटि के लिए सौंपी गई लागतों के संबंध में। यह हमारी लागत के आधार पर हमारे लिए फायदेमंद हो सकता है या नहीं।

AFAIK, सही तरीका (जैसा कि पुस्तक द्वारा सुझाया गया है) निम्नलिखित है ... क्या यह सही है?

ज़रुरी नहीं। सही तरीका बस यह है: संभावना के साथ एक सिक्का फ्लिप करेंपी


@ एलोनबॉय का मानना ​​है कि एक्स थ्रेशोल्ड है और एक्स क्लासिफायर ए के कम मूल्यों के लिए सबसे अच्छा काम करता है। एक्स क्लासिफायरियर बी के उच्च मूल्यों के लिए सबसे अच्छा काम करता है। मेरे हिसाब से दिए गए झूठे सकारात्मक दर के लिए मेरा मतलब है कि सकारात्मक सकारात्मक दर सबसे ज्यादा है। अगर हम सभी जानते हैं कि A एक बिंदु पर सबसे अच्छा काम करता है, जहां वे ऊपर और सभी थ्रेसहोल्ड के लिए B को पार करते हैं, तो कोई भी एल्गोरिथ्म जो FPa और FPb के बीच के क्षेत्र में 1 से A से कम वजन देता है, जहां A उच्चतर टीपी प्रदर्शन नहीं कर सकता है। साथ ही ए। तो इस तरह के एक एल्गोरिथ्म सी को उस क्षेत्र में ए से नीचे गिरना है।
माइकल आर। चेरिक

इसी तरह एफपीए और एफपीबी के बीच के क्षेत्र में जहां टीपी बी से अधिक नहीं के साथ बी एल्गोरिथ्म के लिए अधिक है, बी से बेहतर प्रदर्शन करेंगे। टीपीसी के लिए सूत्र सही है लेकिन टीपीबी और टीपीए के बीच एक निश्चित भारित औसत टीपीए से अधिक नहीं हो सकता है। और टीपीबी। इसके बीच गिरना पड़ता है। लेकिन आरेख हमेशा एफपीए और एफपीबी से पूरे क्षेत्र में टीपीसी और टीपीबी से ऊपर टीपीसी दिखाता है। क्या आपको यहां कुछ दिखाई देता है जो हम याद कर रहे हैं? मुझे आपके उत्तर में यह नहीं मिला।
माइकल आर। चेरिक 15'12

1
ठीक है प्रकाश बल्ब बंद हो गया! एक्स एक स्केलर थ्रेशोल्ड के बजाय आपके दिमाग में एक वेक्टर है। क्या सच में कुछ बदलता है? FP aixs एक अदिश संभाव्यता है। मेरा पार बिंदु ए और बी के लिए समानता का एफपी बिंदु है। कई वैक्टर एक्स हो सकते हैं जो इसके लिए नेतृत्व करते हैं। मैं सिर्फ यह कह रहा हूं कि एफपीए और एफपीबी के बीच एफपी अक्ष के साथ किसी भी बिंदु पर। TPc = p TPa + (1-p) TPb। भूखंड में लाइन टीपी बनाम एफपी विमान में है। ओ और ए (B) दोनों के लिए वक्र रेखा से ऊपर के बिंदुओं से कैसे गुजर सकते हैं क्योंकि ओपी ने सवाल किया था (मुझे ठीक से लगता है)?
माइकल आर। चेरिक

1
@ मिचेल: मुझे लगता है कि ए और बी अलग-अलग तरीके हैं जो अलग-अलग सीमा निर्णय देते हैं। प्रत्येक में एक समायोज्य पैरामीटर होता है (1 डी में एक सीमा होती है), पैरामीटर स्वतंत्र होते हैं, और (प्रत्येक के लिए) क्लासिफायरियर का एक परिवार देते हैं। मैं स्पष्ट करने की कोशिश करने के लिए आरेख बनाने की कोशिश करूंगा, पकड़ कर रखूंगा।
'17:44 पर leonbloy

1
मैं leonbloy कि सुंदर विवरण के लिए एक upvote दिया। लेकिन मुझे कार्डिनल की अंतिम टिप्पणी पसंद है क्योंकि यह तर्क मेरे लिए स्पष्ट है और मेरी नवीनतम सोच से सहमत है। @leobloy आपके आरेख से गायब होने वाली एक चीज़ यादृच्छिक नियम के लिए बिंदुओं का एक भूखंड है जो दोनों व्यक्तियों को हरा देती है। मुझे लगता है कि आप नए नियम को एक के रूप में वर्णित कर सकते हैं जो दो त्रुटियों को अलग-अलग तरीके से तौलता है लेकिन यह आवश्यक नहीं है और मुझे लगता है कि यदि आप उस तर्क को छोड़ देते हैं तो मैं कम भ्रमित हो सकता हूं।
माइकल आर। चेरिक

2

मैं आपके तर्क से सहमत हूं। यदि आप अंक एक और बी के बीच के सिक्के के फ़्लिपिंग द्वारा क्लासिफायर का उपयोग करते हैं, तो आप क और बी के बीच में अपनी बात हमेशा बेहतर क्लासिफ़ायरर से नीचे और एक के ऊपर एक घटिया होंगे और संभवतः दोनों के ऊपर नहीं! आरेख के साथ कुछ गलत होना चाहिए। उस बिंदु पर जहां 2 आरओसी वक्र यादृच्छिक चयन एल्गोरिदम को पार करते हैं, दोनों एल्गोरिदम के समान प्रदर्शन होगा। यह उस तरह से ऊपर नहीं होगा जिस तरह से आरेख इसे चित्रित करता है।


1
मेरा मानना ​​है कि स्लाइड सही है। यदि आप दो अलग-अलग थ्रेसहोल्ड के साथ दो अलग-अलग निर्णय प्रक्रियाओं का उपयोग करते हैं और फिर एक यादृच्छिक निर्णय लेते हैं, तो आपको एक उत्तल संयोजन मिलेगा, जो दोनों के बीच में एक बिंदु देगा। यह बिंदु एक ही झूठी सकारात्मक दर पर घटता के दोनों ( ! ) से ऊपर हो सकता है । ऐसा इसलिए है क्योंकि प्रत्येक प्रक्रिया के लिए उपयोग की जाने वाली सीमा उस बिंदु पर अलग है।
कार्डिनल

1
तो उत्तल संयोजन में ए और बी ए और बी से अलग है जो व्यक्तिगत रूप से उस झूठी सकारात्मक दर पर चुने जाते हैं। मुझे लगता है कि आरेख भ्रमित कर रहा था क्योंकि मैंने नहीं देखा कि ए और बी को क्लासिफायरफायर के एक परिवार से चुना गया था।
माइकल आर। चेरिक

1
बी

मेरा मानना ​​है कि यह उत्तर सही है, कार्डिनल की टिप्पणी के साथ जोड़ा गया है! चौराहे क्षेत्र से बाहर निकलना हो सकता है, लेकिन यह एक तरीका नहीं है। मैंने उस आदमी से मूल पेपर पाया है जिसने इस पद्धति का आविष्कार किया था, और यह इसे बहुत अच्छी तरह से समझाता है! bmva.org/bmvc/1998/pdf/p082.pdf
19-13

@zsero: मेरा मानना ​​है कि यहां तक ​​कि माइकल भी स्वीकार करेंगे कि यह उत्तर उस समय आरेख की समझ पर आधारित था जब उत्तर पोस्ट किया गया था और टिप्पणियों और अन्य उत्तर के आने के बाद से उसकी व्याख्या बदल गई है। जैसा कि चित्र में दर्शाया गया है, कोई पहले वक्र पर एक बिंदु और दूसरे पर एक बिंदु के बीच किसी भी रेखा पर किसी भी बिंदु को यादृच्छिकरण के माध्यम से प्राप्त कर सकता है, भले ही परिणामी सच्ची सकारात्मक दर किसी दिए गए झूठी सकारात्मक दर के लिए अन्य दो घटता पर हावी हो।
कार्डिनल
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.