आयाम घटाने के लिए ऑटोकेनोडर्स सममित क्यों हैं?


13

मैं किसी भी तरह से ऑटोएन्कोडर्स या तंत्रिका नेटवर्क का विशेषज्ञ नहीं हूं, इसलिए अगर यह मूर्खतापूर्ण प्रश्न है तो मुझे क्षमा करें।

उच्च आयाम डेटा में आयाम में कमी या विज़ुअलाइज़िंग क्लस्टर्स के उद्देश्य से, हम 2 नोड्स के साथ नेटवर्क लेयर के आउटपुट का निरीक्षण करके एक (हानिपूर्ण) 2 आयामी प्रतिनिधित्व बनाने के लिए एक ऑटोएन्कोडर का उपयोग कर सकते हैं। उदाहरण के लिए, निम्नलिखित वास्तुकला के साथ, हम तीसरी परत के उत्पादन का निरीक्षण करेंगे

[एक्स]एन1=100एन2=25(एन3=2)एन4=25एन5=100[एक्स]

जहाँ इनपुट डेटा है और N l , l th लेयर में नोड्स की संख्या है ।एक्सएनएलएल

अब, मेरा सवाल यह है कि हम एक सममित वास्तुकला क्यों चाहते हैं? क्या गहरी 'कम्प्रेशन' चरण का दर्पण नहीं है, जिसका अर्थ है कि हमारे पास एक समान जटिल 'अपघटन' चरण हो सकता है जिसके परिणामस्वरूप 2 नोड आउटपुट हो सकते हैं जो बहुत सहज नहीं है? दूसरे शब्दों में, 2 नोड्स के साथ परत के आउटपुट में एक सरल डिकोडिंग चरण परिणाम नहीं होगा, जो आवश्यक रूप से सरल भी हो सकता है?

यहाँ मेरी सोच यह है कि कम जटिल अपघटन चरण, सरल (अधिक रैखिक?) 2 डी प्रतिनिधित्व होना है। एक अधिक जटिल अपघटन चरण एक अधिक जटिल 2D प्रतिनिधित्व की अनुमति देगा।

जवाबों:


13

एक ऑटोएन्कोडर की समरूपता पर कोई विशिष्ट बाधा नहीं है।

शुरुआत में, लोगों ने ऐसी समरूपता को अधिकतम रूप से लागू करने का प्रयास किया: न केवल परतें सममित थीं, बल्कि एनकोडर और डिकोडर में परतों का वजन भी था जहां साझा किया गया था । यह एक आवश्यकता नहीं है, लेकिन यह कुछ नुकसान कार्यों (यानी आरबीएम स्कोर मिलान) का उपयोग करने की अनुमति देता है और नियमितीकरण के रूप में कार्य कर सकता है , जैसा कि आप प्रभावी रूप से अनुकूलन करने के लिए पैरामीटर की आधी संख्या को कम करते हैं। आजकल, हालांकि, मुझे लगता है कि कोई भी एनकोडर-डिकोडर वेट शेयरिंग नहीं करता है।

वास्तु समरूपता के बारे में, समान संख्या में परतें, समान प्रकार की परतें और एनकोडर और डिकोडर में समान परत के आकार का पता लगाना आम है, लेकिन इसके लिए कोई आवश्यकता नहीं है।

उदाहरण के लिए, convolutional autoencoders में, अतीत में यह बहुत एनकोडर और में convolutional परतों को खोजने के लिए एक आम बात थी deconvolutional विकोडक में परतों, लेकिन अब आप सामान्य रूप से डिकोडर में Upsampling परतों को देखने क्योंकि वे कम कलाकृतियों समस्याएं हैं।


7

आपका प्रश्न निश्चित रूप से है, हालांकि मैंने पाया कि "क्या मुझे गहन शिक्षा में X या Y करना चाहिए?" केवल एक ही उत्तर है।

उन दोनों की कोशिश करो

डीप लर्निंग एक बहुत ही अनुभवजन्य क्षेत्र है, और यदि कोई गैर-सममित ऑटो-एनकोडर आपके डोमेन के लिए काम करता है, तो इसका उपयोग करें (और एक पेपर प्रकाशित करें)


2

प्रश्न पूछने के लिए मैंने कुछ व्यापक प्रयोग किए। मेरे प्रयोगों ने संकेत दिया कि एन्कोडिंग पथ (एनएन के बाएं पैर) में कम लेकिन व्यापक परतें होनी चाहिए। मैं आमतौर पर आधे से अधिक परतें लेता हूं, लेकिन एन्कोडिंग पथ के लिए नोड्स की दोगुनी संख्या। इसके लिए मेरे पास कोई स्पष्टीकरण नहीं है, बस ये कॉन्फ़िगरेशन अक्सर तेजी से अभिसरण का कारण बने।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.