स्केलेबल आयाम में कमी

Question

विशेषताओं की संख्या को ध्यान में रखते हुए, बार्न्स-हट टी-एसएनई में एक जटिलता है , यादृच्छिक अनुमानों और पीसीए में की एक जटिलता है जो उन्हें बहुत बड़े डेटा सेटों के लिए "सस्ती" बनाती है।$O(n\log n)$$O(n)$

दूसरी ओर, पर निर्भर तरीकों बहुआयामी स्केलिंग एक है जटिलता।$O(n^2)$

क्या अन्य आयाम में कमी करने की तकनीकें हैं (तुच्छ लोगों के अलावा, जैसे पहले कॉलमों को देखते हुए, निश्चित रूप से) जिनकी जटिलता से कम है ?$k$$O(n\log n)$

Answer 1

एक दिलचस्प विकल्प तंत्रिका-आधारित आयामीता कमी की खोज करना होगा। आयामीता में कमी के लिए सबसे अधिक इस्तेमाल किया जाने वाला प्रकार का नेटवर्क, ऑटोएन्कोडर, को _ मैथोकल की लागत पर प्रशिक्षित किया जा सकता है , जहां प्रशिक्षण पुनरावृत्तियों का प्रतिनिधित्व करता (यह एक हाइपर-पैरामीटर है जो प्रशिक्षण डेटा से स्वतंत्र है) । इसलिए, प्रशिक्षण जटिलता को सरल बनाती है ।$\mathcal{O}(i\cdot n)$$i$$\mathcal{O}(n)$

आप 2006 के सेमिनार के काम पर एक नज़र डालकर हिंटन और सलाखुद्दीनोव [1] से शुरुआत कर सकते हैं। तब से, चीजें बहुत विकसित हुई हैं। अब अधिकांश अत्‍याधिक परिवर्तन वैरिएंट ऑटोकेनोडर्स [2] द्वारा प्राप्त कर लिए जाते हैं, लेकिन मूल विचार (एक नेटवर्क जो इनपुट आउटपुट को इसके बीच में अड़चन परत के साथ पुनर्निर्मित करता है) समान रहता है। ध्यान दें कि, पीसीए और आरपी के विपरीत, ऑटोएन्कोडर्स नॉनलाइनियर डायमेंशन में कमी करते हैं। इसके अलावा, टी-एसएनई के विपरीत, ऑटोकारोडर्स पूरे मॉडल को वापस लेने की आवश्यकता के बिना अनदेखी नमूने बदल सकते हैं।

व्यावहारिक पक्ष पर, मैं इस पोस्ट पर एक नज़र डालते हुए फिर से देखता हूं , जो कि अद्भुत पुस्तकालय केर के साथ विभिन्न प्रकार के ऑटोकेनोडर्स को लागू करने के बारे में विवरण देता है।

[१] हिंटन, जीई, और सलाखुद्दीनोव, आरआर (२००६)। तंत्रिका नेटवर्क के साथ डेटा की गतिशीलता को कम करना। विज्ञान, 313 (5786), 504-507।

[२] किंग्मा, डीपी, और वेलिंग, एम। (२०१३)। ऑटो-एन्कोडिंग वैरिएबल बे। arXiv प्रीप्रिंट arXiv: 1312.6114।

Comments

तकनीकी रूप से आपको इस विशेष दृष्टिकोण का उपयोग करते हुए टी- एसएनई के साथ नए नमूनों के लिए मॉडल को वापस नहीं लेना है: lvdmaaten.github.io/publications/papers/AISTATS_2009.pdf

— bliliolytic

ज़रूर। लेखक ने संभावित दृष्टिकोण के रूप में मानचित्र स्थान प्रपत्र इनपुट डेटा नमूनों का अनुमान लगाने के लिए एक बहुभिन्नरूपी प्रशिक्षण का भी सुझाव दिया। कागज में आप लेखक का उल्लेख टी-एसएनई नुकसान को कम करने के लिए एक तंत्रिका नेटवर्क को प्रशिक्षित करते हैं। हालाँकि, दोनों ही मामलों में आपको परिणामी स्थान पर डेटा बिंदुओं को मैप करने के लिए एक स्पष्ट मॉडल या फ़ंक्शन को परिभाषित करना होगा, इसलिए इसे एम्बेडिंग सीखने के लिए पर्याप्त शक्तिशाली (पर्याप्त परतें / न्यूरॉन्स) होना चाहिए, लेकिन अति-फिटिंग से बचने के लिए बहुत अधिक नहीं। ... यह मानक t-SNE की प्रयोज्यता में से कुछ का बलिदान करता है।

— डैनियल

कोई असहमति नहीं है, मुझे लगता है कि यह ऑटोकेनोडर्स और टी-एसएनई के विपरीत थोड़ा सा गलत है जैसा कि आप अपने जवाब में करते हैं, टी-

— एसएनई

हालाँकि अब मैं फिर से पढ़ता हूं, एक प्रश्न: क्या हम वास्तव में कह सकते हैं कि तंत्रिका नेटवर्क , क्योंकि वे वास्तव में अभिसरण की गारंटी नहीं देते हैं? बिग-ओ नोटेशन सबसे खराब मामला है, है ना? $\mathcal{O}(n)$

— बिब्लिओलिटिक

मैं उस उत्तर को शामिल नहीं करना चाहता था, जब किसी नेटवर्क को प्रशिक्षित करने में t-SNE नुकसान की गणना करता है, जब समय लगता है, जहां मिनी-बैच आकार है। $\mathcal{O}(m^2)$$m$

— डैनियल

Answer 2

पहले से ही उल्लेख किए गए ऑटोकेनोडर्स के अलावा, कोई भी यादृच्छिक अनुमानों या यादृच्छिक उप-विधियों के साथ जॉनसन-लिंडेनस्ट्रस के लेम्मा का शोषण करने की कोशिश कर सकता है । रैंडम अनुमान , जिसमें आयाम और के लक्ष्य आयाम, cf [1] के नमूनों की संख्या है ।$\mathcal{O}(k d N)$$N$$d$$k$

थोड़ा गोग्लिंग आपको कुछ बहुत हालिया परिणाम मिलेगा, विशेष रूप से विरल डेटासेट के लिए।

[१] आयामी कमी में यादृच्छिक प्रक्षेपण: छवि और पाठ डेटा के लिए अनुप्रयोग ।