हां, कप्पा के बारे में आपकी धारणा सही लगती है। काप्पा सिंगल के रूप में, स्केलर मेट्रिक्स ज्यादातर और अन्य सिंगल, स्केलर मेट्रिक्स पर सटीकता की तरह फायदा होता है, जो छोटी कक्षाओं के पूर्वानुमान प्रदर्शन (किसी बहुत बड़े वर्ग के प्रदर्शन से छाया हुआ) को प्रतिबिंबित नहीं करेगा। कप्पा ने इस समस्या को और अधिक शान से हल किया, जैसा आपने बताया।
अपने प्रदर्शन को मापने के लिए कप्पा जैसी मीट्रिक का उपयोग करना जरूरी नहीं होगा कि आपका मॉडल डेटा के लिए कैसे फिट बैठता है। आप कई मैट्रिक्स का उपयोग करके किसी भी मॉडल के प्रदर्शन को माप सकते हैं, लेकिन मॉडल कैसे फिट बैठता है डेटा अन्य मापदंडों (जैसे हाइपरपैरामीटर) का उपयोग करके निर्धारित किया जाता है। इसलिए आप अपनी बहुत असंतुलित समस्या के लिए एक सर्वोत्तम अनुकूल मॉडल प्रकार और कई विकल्पों के बीच हाइपरपरमेट्रीज़ेशन का चयन करने के लिए उदाहरण के लिए काप्पा का उपयोग कर सकते हैं - लेकिन सिर्फ कप्पा की गणना करने से ही यह नहीं बदलेगा कि आपका मॉडल आपके असंतुलित डेटा को कैसे फिट करता है।
विभिन्न मेट्रिक्स के लिए: कप्पा और सटीक / रिकॉल के अलावा, वास्तविक सकारात्मक और वास्तविक नकारात्मक दरों TPR / TNR, और ROC घटता और वक्र AUC के तहत क्षेत्र पर एक नज़र डालें। आपकी समस्या के लिए कौन सी उपयोगी हैं, यह ज्यादातर आपके लक्ष्य के विवरण पर निर्भर करेगा। उदाहरण के लिए, टीपीआर / टीएनआर और सटीक / रिकॉल में परिलक्षित विभिन्न जानकारी: क्या आपका लक्ष्य धोखाधड़ी का एक उच्च हिस्सा है जो वास्तव में इस तरह का पता लगाया जा रहा है, और वैध लेनदेन का एक उच्च हिस्सा इस तरह का पता लगाया जा रहा है, और / या शेयर को कम से कम किया जा रहा है सभी अलार्म में झूठी अलार्म (जो आपको स्वाभाविक रूप से "एन मास" ऐसी समस्याओं के साथ मिलेगी)?
अप- / डाउनसमलिंग के लिए: मुझे लगता है कि "यदि आवश्यक हो तो" का कोई विहित उत्तर नहीं है। वे आपकी समस्या को स्वीकार करने का एक और तरीका हैं। तकनीकी रूप से: हाँ, आप उनका उपयोग कर सकते हैं, लेकिन देखभाल के साथ उनका उपयोग करें, विशेष रूप से अपसमर्पण (आप इसे नोटिस किए बिना अवास्तविक नमूने बनाना समाप्त कर सकते हैं) - और ध्यान रखें कि दोनों वर्गों के नमूनों की आवृत्ति कुछ हद तक यथार्थवादी नहीं है "जंगली में" "भविष्यवाणी के प्रदर्शन पर भी नकारात्मक प्रभाव पड़ सकता है। कम से कम अंतिम, आयोजित-आउट परीक्षण सेट को फिर से नमूनों की वास्तविक जीवन आवृत्ति को प्रतिबिंबित करना चाहिए। नीचे पंक्ति: मैंने ऐसे दोनों मामलों को देखा है, जो कर रहे हैं या नहीं कर रहे हैं- / या डाउनसमलिंग के परिणामस्वरूप बेहतर अंतिम परिणाम प्राप्त हुए हैं, इसलिए यह एक ऐसी चीज़ है जिसे आपको आज़माने की आवश्यकता हो सकती है (लेकिन अपने परीक्षा सेट (एस) में हेरफेर न करें!) ।