दिखावा क्या है और आप एक तंत्रिका नेटवर्क का दिखावा कैसे करते हैं?

Question

मैं समझता हूं कि पारंपरिक प्रशिक्षण के साथ कुछ मुद्दों से बचने के लिए प्रीट्रेनिंग का उपयोग किया जाता है। अगर मैं बैकप्रोपेगैशन का उपयोग करता हूं, तो एक ऑटोकेनोडर के साथ, मुझे पता है कि मैं समय के मुद्दों में भाग लेने जा रहा हूं क्योंकि बैकप्रॉपैजेशन धीमा है, और यह भी कि मैं स्थानीय ऑप्टिमा में फंस सकता हूं और कुछ विशेषताओं को नहीं सीख सकता हूं।

मुझे समझ में नहीं आता है कि हम एक नेटवर्क का दिखावा कैसे करते हैं और विशेष रूप से हम ढोंग करने के लिए क्या करते हैं। उदाहरण के लिए, यदि हमें प्रतिबंधित बोल्ट्ज़मन मशीनों का ढेर दिया जाता है, तो हम इस नेटवर्क का दिखावा कैसे करेंगे?

Comments

$f(x) = \max(x, 0)$

हाँ, मैं एक धारणा के तहत काम कर रहा हूँ कि अनलेबल नमूनों की एक बड़ी मात्रा है और कुछ लेबल नहीं हैं।

— माइकल यूसेफ

Answer 1

आप प्रत्येक RBM को स्टैक में अलग से प्रशिक्षित करके शुरू करते हैं और फिर एक नए मॉडल में जोड़ते हैं जिसे आगे ट्यून किया जा सकता है।

मान लीजिए कि आपके पास 3 आरबीएम हैं, तो आप अपने डेटा (उदाहरण के लिए चित्रों का एक गुच्छा) के साथ आरबीएम 1 को प्रशिक्षित करते हैं। RBM2 को RBM1 के आउटपुट के साथ प्रशिक्षित किया जाता है। RBM3 को RBM2 के आउटपुट के साथ प्रशिक्षित किया जाता है। विचार यह है कि प्रत्येक RBM मॉडल में छवियों के प्रतिनिधि और भार हैं जो वे ऐसा करने में सीखते हैं जो वर्गीकरण जैसे अन्य भेदभावपूर्ण कार्यों में उपयोगी हैं।

Answer 2

एक खड़ी RBM को रोकना लालची परत के लिए परिभाषित ऊर्जा को कम करना है, अर्थात, संभावना को अधिकतम करना। जी। हिंटन ने सीडी-के एल्गोरिथ्म का प्रस्ताव दिया, जिसे गिब्स के नमूने के एकल पुनरावृत्ति के रूप में देखा जा सकता है।

Comments

तो खड़ी आरबीएम का ढोंग हमें परिभाषित ऊर्जा को कम करने और बेहतर परिणाम प्राप्त करने की अनुमति देता है। और फिर हिंटन का कॉन्ट्रैस्टिव डाइवरेज एल्गोरिथ्म है कि हम वास्तव में कैसे दिखावा करेंगे। अतिरिक्त सुविधाओं को सीखने के लिए वास्तव में दिखावा कारक कैसे है? मैं गति के मुद्दे के लिए मानता हूं, सीडी एल्गोरिथ्म बैकप्रोपैजेशन की तुलना में बहुत तेज है।

— माइकल यूसेफ