ऑटोएन्कोडर्स और टी-एसएनई के बीच अंतर क्या हैं?

Question

जहाँ तक मुझे पता है, दोनों ऑटोएन्कोडर्स और टी-एसएनई का उपयोग नॉनलाइनियर डायनेमिटी में कमी के लिए किया जाता है। उनके बीच क्या अंतर हैं और मुझे एक बनाम दूसरे का उपयोग क्यों करना चाहिए?

Answer 1

वे दोनों आपके डेटा के निचले आयाम को खोजने की कोशिश करते हैं। हालांकि, अलग-अलग न्यूनतम समस्याएं हैं। अधिक विशेष रूप से, एक ऑटोकेनोडर पुनर्निर्माण त्रुटि को कम करने की कोशिश करता है, जबकि टी-एसएनई एक कम आयामी स्थान खोजने की कोशिश करता है और साथ ही साथ यह पड़ोस की दूरी को संरक्षित करने की कोशिश करता है। इस विशेषता के परिणामस्वरूप, टी-एसएनई को आमतौर पर भूखंडों और विज़ुअलाइज़ेशन के लिए पसंद किया जाता है।

Comments

तो इस अर्थ में, क्या इसका मतलब है कि जब ऑटो आयाम 3 डी से अधिक हो, तो निम्न आयाम खोजने के लिए बेहतर है? (क्योंकि मैं मानती हूं कि यदि निचला आयाम बड़ा है, तो टी-

— एसएनई भी उतना

आपके कार्य के आधार पर कई प्रकार के ऑटोकेनोडर्स (विरल, परिवर्तनशील, स्टैक्ड, कंविलेशनल आदि) हैं। वे पुनर्निर्माण त्रुटि के आधार पर, कम आयामी एम्बेडिंग की खोज करने में बहुत कुशल हो सकते हैं। इसलिए, यदि आपका कार्य एक इष्टतम निचले आयामी स्थान (यहां तक ​​कि 2 डी) को खोजने के लिए है, तो मैं आपको सुझाव दूंगा कि आप अपने कार्य के लिए सही ऑटोएन्कोडर चुनें। यदि आपको विज़ुअलाइज़ेशन करना है तो टी-एसएनई शायद आपकी पसंद होगी। पड़ोसी दूरी के संरक्षण के रूप में, बेहतर दृश्य परिणाम दे सकते हैं।

— यानिस असैल

Answer 2

[Autoencoders] मुख्य रूप से अव्यक्त स्थान में डेटा के विचरण को अधिकतम करने पर ध्यान केंद्रित करता है, जिसके परिणामस्वरूप ऑटोपेनॉडर्स कई गुना डेटा को सीखने वाले की तुलना में अव्यक्त स्थान में डेटा की स्थानीय संरचना को बनाए रखने में कम सफल होते हैं ...

"लर्निंग अ पैरामीट्रिक एंबेडिंग बाय प्रिजर्विंग लोकल स्ट्रक्चर", लॉरेन्स वैन डेर मातेन ( https://lvdmaaten.github.io/publications/papers/AISTATS_2009.pdf )

Comments

यह "t-SNE पेपर" नहीं है। मानक टी-एसएनई गैर पैरामीट्रिक है।

— अमीबा

इस पर आपकी टिप्पणी के लिए @amoeba धन्यवाद। मैंने पोस्ट को एडिट किया।

— उपयोगकर्ता 128525

Answer 3

Autoencoder और t-SNE का उपयोग उच्च आयामी डेटा में बेहतर विज़ुअलाइज़ेशन के लिए एक साथ किया जा सकता है, जैसा कि [1] में वर्णित है:

2 डी विज़ुअलाइज़ेशन के लिए विशेष रूप से, टी-एसएनई संभवतः सबसे अच्छा एल्गोरिथ्म है, लेकिन इसके लिए आमतौर पर अपेक्षाकृत कम आयामी डेटा की आवश्यकता होती है। तो हाई-डायमेंशनल डेटा में समानता रिश्तों की कल्पना करने के लिए एक अच्छी रणनीति यह है कि अपने डेटा को कम-डायमेंशनल स्पेस (जैसे 32 डायमेंशनल) में कंप्रेस करने के लिए ऑटोकेनडर का उपयोग करके शुरू करें, फिर संकुचित डेटा को 2 डी प्लेन में मैप करने के लिए टी-एसएनई का उपयोग करें। ।

---

[१] https://blog.keras.io/building-autoencoders-in-keras.html

Answer 4

Autoencoder को 2-मानक अर्थों में पिछले डेटा को संरक्षित करने के लिए डिज़ाइन किया गया है, जिसे डेटा के गतिज ऊर्जा को संरक्षित करने के रूप में सोचा जा सकता है, यदि डेटा वेग है।

जबकि टी-एसएनई, केएल डाइवर्जेंस का उपयोग करें जो सममित नहीं है, यह टी-एसएनई को स्थानीय संरचना पर अधिक ध्यान केंद्रित करेगा, जबकि ऑटोकेनोडर समग्र एल 2 त्रुटि को छोटा रखने के लिए जाता है, जो एक वैश्विक अर्थ में है।