क्या निकटतम पड़ोसी टी-एसएनई से कोई मतलब रखता है?

Question

यहाँ पर उत्तर में कहा गया है कि t-SNE में आयाम निरर्थक हैं , और यह कि अंकों के बीच की दूरी समानता का माप नहीं है ।

हालाँकि, क्या हम टी-एसएनई स्पेस में निकटतम पड़ोसियों के आधार पर एक बिंदु के बारे में कुछ भी कह सकते हैं? यह इस बात का उत्तर देता है कि अंक जो बिल्कुल समान हैं, उन बिंदुओं का पता नहीं चलता है, अंक के बीच की दूरी का अनुपात निम्न और उच्च आयामी प्रतिनिधित्व के बीच समान है।

उदाहरण के लिए, नीचे दी गई छवि मेरे एक डेटासेट (15 वर्ग) पर टी-एसएनई दिखाती है।

क्या मैं कह सकता हूं कि cro 479(शीर्ष दाएं) एक बाहरी है? क्या fra 1353(नीचे बाईं ओर) वर्ग cir 375में अन्य छवियों की तुलना में अधिक समान है fra, आदि? या ये सिर्फ कलाकृतियाँ हो सकती हैं, उदाहरण fra 1353के लिए कुछ समूहों के दूसरी तरफ अटक गए और अन्य fraवर्ग के माध्यम से अपना रास्ता नहीं बना सके ?

Comments

datascience.stackexchange.com/a/10820/35644

— आदित्य

lvdmaaten.github.io/tsne

— आदित्य

Answer 1

नहीं, यह आवश्यक नहीं है कि यह मामला है, हालांकि, यह एक जटिल तरीके से, टी-एसएनई का लक्ष्य है।

उत्तर के मांस में प्रवेश करने से पहले, आइए गणितीय और सहज रूप से, कुछ बुनियादी परिभाषाओं पर एक नज़र डालें।

निकटतम पड़ोसी : एक मीट्रिक स्पेस और वैक्टर का एक सेट पर , ने एक नया वेक्टर , हम इस तरह के बिंदुओं को खोजना चाहते हैं। सहज रूप से, यह में आदर्श की एक उपयुक्त परिभाषा का उपयोग करके दूरियों का न्यूनतम है ।$\mathbb{R}^d$$X_1, ..., X_n \in \mathbb{R}^d$$x \in \mathbb{R}^d$$|| X_1 - x || \le ... \le ||X_n - x ||$$\mathbb{R}^d$

अब आ रहा है कि क्या निकटतम पड़ोसी वास्तव में आयामीता में कमी करते हुए बात करते हैं। आमतौर पर मेरे उत्तरों में, मैं गणित, कोड और अंतर्ज्ञान के साथ कुछ को तर्कसंगत बनाने का इरादा रखता हूं। आइए हम पहले चीजों के सहज पहलू पर विचार करें। यदि आपके पास एक बिंदु है जो दूसरे बिंदु से दूरी है, तो t-sne एल्गोरिथ्म की हमारी समझ से हम जानते हैं कि यह दूरी संरक्षित है क्योंकि हम उच्च आयामों में संक्रमण करते हैं। आइए हम आगे यह मानें कि एक बिंदु किसी आयाम में का निकटतम पड़ोसी है । परिभाषा के अनुसार, और में दूरी के बीच एक संबंध है$d$$y$$x$$d$$d$$d + k$। तो, हमारा अपना अंतर्ज्ञान है जो कि दूरी को विभिन्न आयामों में बनाए रखा जाता है, या कम से कम, यही वह है जिसका हम उद्देश्य रखते हैं। आइए इसे कुछ गणित के साथ सही ठहराने की कोशिश करें।

इस उत्तर में मैं t-sne में शामिल गणित के बारे में बात करता हूं, यद्यपि विस्तार में नहीं ( t-SNE: क्यों समान डेटा मान नेत्रहीन रूप से बंद नहीं हैं? )। यहां गणित क्या है, मूल रूप से इस संभावना को अधिकतम कर रहा है कि दो बिंदु अनुमानित स्थान के करीब बने रहे क्योंकि वे मूल स्थान में हैं यह मानते हुए कि अंकों का वितरण घातीय है। तो, इस समीकरण को देखते हुए । ध्यान दें कि प्रायिकता दो बिंदुओं के बीच की दूरी पर निर्भर है, इसलिए आगे वे जितनी अलग हैं, उतनी ही अलग हो जाती हैं, क्योंकि वे कम आयामों के लिए अनुमानित होती हैं। ध्यान दें कि यदि वे$p_{j | i} = \frac{exp(\frac{-||x_j - x_i||^2}{2\sigma^2})}{\sum_{k \neq i}{exp(\frac{-||x_j - x_i||^2}{2\sigma^2})}}$$\mathbb{R}^k$, एक अच्छा मौका है कि वे अनुमानित आयाम में करीब नहीं होंगे। तो अब, हमारे पास गणितीय औचित्य है कि अंक "पास" क्यों रहना चाहिए। लेकिन फिर से, चूंकि यह एक घातीय वितरण है, अगर ये बिंदु काफी दूर हैं, तो इस बात की कोई गारंटी नहीं है कि निकटतम पड़ोसी संपत्ति को बनाए रखा जाता है, हालांकि, यह उद्देश्य है।

अब अंत में एक स्वच्छ कोडिंग उदाहरण है जो इस अवधारणा को भी प्रदर्शित करता है।

from sklearn.manifold import TSNE
from sklearn.neighbors import KNeighborsClassifier
X = [[0],[1],[2],[3],[4],[5],[6],[7],[8],[9]]
y = [0,1,2,3,4,5,6,7,8,9]
neighs = KNeighborsClassifier(n_neighbors=3)
neighs.fit(X, y)
X_embedded = TSNE(n_components=1).fit_transform(X)
neighs_tsne = KNeighborsClassifier(n_neighbors=3)
neighs_tsne.fit(X_embedded, y)
print(neighs.predict([[1.1]]))
>>>[0]
print(neighs_tsne.predict([[1.1]]))
>>>[0]

हालांकि यह एक बहुत ही भोली मिसाल है और जटिलता को प्रतिबिंबित नहीं करती है, यह कुछ सरल उदाहरणों के लिए प्रयोग द्वारा काम करती है।

संपादित करें: इसके अलावा, प्रश्न के संबंध में कुछ बिंदुओं को जोड़ना, इसलिए यह आवश्यक नहीं है कि यह मामला है, यह हो सकता है, हालांकि, गणित के माध्यम से इसे तर्कसंगत बनाने से यह साबित होगा कि आपके पास कोई ठोस परिणाम नहीं है (कोई निश्चित हां या नहीं) ।

मुझे आशा है कि इसने TSNE के साथ आपकी कुछ चिंताओं को दूर किया।

Comments

अच्छे उत्तर के लिए धन्यवाद। संक्षेप में: उच्च समानता वाले बिंदुओं के पास रहने की उच्च संभावना है। मैं अनुमान लगा रहा हूं कि संभावना पैरामीटर गणना के लिए कितने बिंदुओं का उपयोग किया जाता है, इस बात को नियंत्रित करता है कि अगर खराबता कम है तो क्लस्टर असंतुष्ट हो सकते हैं। क्या आप जल्दी अतिशयोक्ति पर टिप्पणी कर सकते हैं? इसके अलावा, मुझे लगता है कि टीएसएनई स्पेस का उपयोग करते हुए पॉइंट्स की संभावना, आउटलेयर या मिसकैलिफ़ाइड (उनके सभी एनएन को एक अन्य वर्ग में होने) होने की संभावना बढ़ जाती है, अगर वे रैंडम इनिशियलाइज़ेशन के साथ कई टीएसएनई के बाद संगत हैं?

— ज्यामितीय

हां, चिंता एक प्रमुख कारक है जो प्रभावित करती है कि एक दूसरे के कितने करीब रहते हैं। प्रारंभिक अतिशयोक्ति, सहज रूप से यह है कि मूल स्थान में कितना तंग क्लस्टर है और एम्बेडेड स्थान में उनके बीच कितना स्थान होगा (इसलिए यह दोनों प्रतिस्पद्र्धा और प्रारंभिक अतिशयोक्ति का मिश्रण है जो बिंदुओं के बीच की दूरी को प्रभावित करता है। आपके अंतिम प्रश्न के बारे में, उत्तर हां, यह मानदंड के

— घातांकता के