K- साधन क्लस्टरिंग में समूहों की संख्या को कैसे परिभाषित करें?

क्या इष्टतम क्लस्टर संख्या निर्धारित करने का कोई तरीका है या क्या मुझे विभिन्न मूल्यों की कोशिश करनी चाहिए और सर्वोत्तम मूल्य तय करने के लिए त्रुटि दर की जांच करनी चाहिए?

clustering unsupervised-learning

— berkay
स्रोत

@berkay आप इस असुरक्षित विधि के लिए त्रुटि दर कैसे निर्धारित करते हैं? (या आप एसएस के भीतर मतलब है?)

— chl

@chl, मैं सभी समूहों या समग्र सटीकता के लिए चुकता त्रुटियों का योग का उपयोग कर सकता हूं (इस मामले में मुझे कक्षा के लेबल पता हैं।)

— berkay

@berkay नंबर समूहों को खोजने के लिए एक सरल एल्गोरिथ्म है क्लस्टर की बढ़ती संख्या पर के-साधनों के 20 रन के लिए औसत WSS की गणना करना (2 के साथ शुरू, और 9 या 10 के साथ समाप्त होना), और उस समाधान को रखें इस समूह में न्यूनतम WSS सेट। एक अन्य विधि गैप आँकड़ा है । लेकिन अगर आपके पास पहले से ही इंस्टेंस के लेबल हैं, तो आप एक असुरक्षित पद्धति की कोशिश क्यों कर रहे हैं?

— chl

@ धन्यवाद, अच्छा सवाल, हम अनुमानों की विशेषताओं के आधार पर अनुमान लगा सकते हैं, मैं नई घुसपैठ विशेषताओं का विश्लेषण कर रहा हूं, कानूनी अनुप्रयोगों की नकल कर रहा हूं।

— बर्काय

मैंने Rयहाँ पर आधा दर्जन तरीकों (उपयोग करके ) के साथ एक समान क्यू का उत्तर दिया है: stackoverflow.com/a/15376462/1036500

— बेन

मेरे द्वारा उपयोग की जाने वाली विधि CCC (क्यूबिक क्लस्टरिंग क्राइटेरिया) का उपयोग करना है। मैं CCC को अधिकतम करने के लिए बढ़ाता हूं क्योंकि मैं 1 से समूहों की संख्या बढ़ाता हूं, और फिर निरीक्षण करता हूं कि CCC कम होने लगती है। उस समय मैं अधिकतम (स्थानीय) समूहों की संख्या लेता हूं। यह मुख्य घटकों की संख्या को चुनने के लिए एक स्कोरी प्लॉट का उपयोग करने के समान होगा।

SAS तकनीकी रिपोर्ट A-108 घन क्लस्टरिंग मानदंड ( पीडीएफ )

= अवलोकन की संख्या = क्लस्टर संख्या = चर की संख्या = समूहों की संख्या = डेटा मैट्रिक्स = क्लस्टर का मैट्रिक्स का अर्थ है = क्लस्टर सूचक ( यदि अवलोकन हो तो , क्लस्टर , 0 अन्यथा) $n$
$n_k$ $k$
$p$
$q$
$X$ $n\times p$
$M$ $q\times p$
$Z$ $z_{ik}=1$ $i$ $k$

: मान लीजिए प्रत्येक चर मतलब 0 है
, $Z’Z = \text{diag}(n_1, \cdots, n_q)$ $M = (Z’Z)-1Z’X$

(कुल) मैट्रिक्स = = (समूहों के बीच) मैट्रिक्स = = (समूहों के भीतर) मैट्रिक्स = = $SS$ $T$ $X’X$
$SS$ $B$ $M’ Z’Z M$
$SS$ $W$ $T-B$

(ट्रेस = विकर्ण तत्वों का योग) $R^2 = 1 – \frac{\text{trace(W)}}{\text{trace}(T)}$

एक लंबे कॉलम में स्टैक स्तंभ। पर वापसी क्रोनेकर उत्पाद की के साथ पहचान मैट्रिक्स कंप्यूट इस प्रतिगमन के लिए - एक ही $X$
$Z$ $p\times p$
$R^2$ $R^2$

सीसीसी विचार तुलना करने के लिए है आप के साथ समूहों के एक सेट के लिए मिल आप में अंक की एक समान रूप से वितरित सेट क्लस्टरिंग द्वारा मिलेगा आयामी अंतरिक्ष। $R^2$ $R^2$ $p$

— राल्फ विंटर्स
स्रोत

सीसीसी के अलावा अन्य मापदंड भी हैं। मुख्य डेटा को देखने के लिए, डेटा सेट में क्लस्टर की संख्या निर्धारित करने पर एक नज़र डालें ।

— विंसेंट लाबटूट