शुद्धता की गणना कैसे करें?

Question

क्लस्टर विश्लेषण में हम शुद्धता की गणना कैसे करते हैं? क्या है समीकरण?

मैं यह करने के लिए एक कोड की तलाश नहीं कर रहा हूं।

चलो $\omega_k$ क्लस्टर कश्मीर, और हो $c_j$ हो वर्ग जे।

तो शुद्धता व्यावहारिक रूप से सटीकता है? ऐसा लगता है कि नमूना आकार पर क्लस्टर प्रति सही मायने में वर्गीकृत वर्ग की राशि को समेट रहा था।

समीकरण स्रोत

सवाल यह है कि आउटपुट और इनपुट के बीच क्या संबंध है?

अगर वहाँ वास्तव में सकारात्मक (टीपी), सच में नकारात्मक (TN), गलत तरीके से सकारात्मक (FP), गलत तरीके से नकारात्मक (FN) है। क्या यह ?$Purity = \frac{TP_K}{(TP+TN+FP+FN)}$

Comments

अगर आपको बस एक त्वरित परिभाषा की आवश्यकता है: शीर्ष गूगल खोज क्लस्टरिंग शुद्धता पर ** लिंक यहां दी गई है जो गणितीय परिभाषा देती है। (** मेरे लिए, कम से कम - आपके अलग-अलग परिणाम भिन्न हो सकते हैं)

— Glen_b -Reinstate Monica

मुझे पता नहीं है कि 'पवित्रता' से आपका क्या तात्पर्य है, लेकिन डेविड कोलक्वाउन ने पीपी पर द्विपद नमूने के उदाहरण के रूप में "हृदय की शुद्धता का काला जादुई परख" का उपयोग किया है। 111-114 उनकी उत्कृष्ट पाठ्यपुस्तक व्याख्यान विद्या बायस्टैटिस्टिक्स (1971) जो कि है। लेखक की वेबसाइट से एक नि: शुल्क पीडीएफ के रूप में उपलब्ध है: dcscience.net भले ही यह आपके प्रश्न के लिए अप्रासंगिक हो, यह एक शानदार कहानी है।

— माइकल ल्यू

वर्गीकरण के पेड़ों में अशुद्धता को मापने के लिए कुछ कार्य हैं: पुनरुत्थान त्रुटि, जिन-सूचकांक और एन्ट्रॉपी। (वर्गीकरण के पेड़ एक विशिष्ट प्रकार के क्लस्टरिंग करते हैं, इसलिए मुझे लगता है कि यह प्रासंगिक होना चाहिए।) आशा है कि यह मदद करता है!

— एंजेलोर्फ

Answer 1

क्लस्टर विश्लेषण के संदर्भ में, शुद्धता क्लस्टर गुणवत्ता का एक बाहरी मूल्यांकन मानदंड है। यह इकाई श्रेणी [0..1] में सही ढंग से वर्गीकृत की गई वस्तुओं (डेटा बिंदु) की कुल संख्या का प्रतिशत है।

$$Purity = \frac 1 N \sum_{i=1}^k max_j | c_i \cap t_j |$$

जहाँ $N$ = वस्तुओं की संख्या (डेटा पॉइंट), $k$ = समूहों की संख्या, $c_i$ , $C$ में क्लस्टर है और $t_j$ वर्गीकरण जो क्लस्टर के लिए अधिकतम संख्या अधिक है है $c_i$

जब हम "सही ढंग से" कहते हैं कि प्रत्येक क्लस्टर $c_i$ ने वस्तुओं के एक समूह को उसी वर्ग के रूप में पहचाना है जिसे जमीनी सच्चाई ने संकेत दिया है। हम जमीनी सच्चाई वर्गीकरण का उपयोग $t_i$ काम शुद्धता के उपाय के रूप में उन वस्तुओं की, हालांकि ऐसा करने हमें पता होना चाहिए जो क्लस्टर $c_i$ जो जमीनी सच्चाई वर्गीकरण नक्शे $t_i$ । यदि यह 100% सही थे तो प्रत्येक $c_i$ वास्तव में 1 करने के लिए नक्शे होगा $t_i$ , लेकिन वास्तव में हमारे $c_i$कुछ ऐसे बिंदु शामिल हैं जिनकी जमीनी सच्चाई ने उन्हें कई अन्य वर्गीकरणों के रूप में वर्गीकृत किया है। स्वाभाविक रूप से तो हम देख सकते हैं का उपयोग करके कि उच्चतम क्लस्टरिंग गुणवत्ता प्राप्त की जाएगी $c_i$ करने के लिए $t_i$ मानचित्रण जो सही वर्गीकरण की सबसे अधिक संख्या अर्थात $c_i \cap t_i$ । यही कारण है कि जहां है $max$ समीकरण में से आता है।

पवित्रता की गणना करने के लिए सबसे पहले अपनी उलझन मैट्रिक्स बनाएं। यह प्रत्येक क्लस्टर $c_i$ माध्यम से लूप करके किया जा सकता है और गिनती कर सकता है कि कितनी वस्तुओं को प्रत्येक वर्ग $t_i$ रूप में वर्गीकृत किया गया था ।

   |  T1 |  T2  |  T3
---------------------
C1 |  0  |  53  |  10
C2 |  0  |  1   |  60
C3 |  0  |  16  |  0

तब के लिए प्रत्येक समूह $c_i$ , इसकी पंक्ति से अधिकतम मान का चयन करें, उन्हें एक साथ योग करें और अंत में डेटा बिंदुओं की कुल संख्या से विभाजित करें।

Purity = (53 + 60 + 16) / 140 = 0.92142

Comments

क्या आप एंट्रॉपी के लिए भी जवाब दे सकते हैं?

— मॉन्स्टरमोरपीजी

यहाँ मेरा सवाल: stackoverflow.com/questions/35709562/…

— मॉन्स्टरमोरपीजी

$t_j$$max_{j}$