प्रतिगमन के लिए प्रतिबंधित बोल्ट्ज़मन मशीनें?


13

मैं उस सवाल पर चल रहा हूं जो मैंने पहले आरबीएम पर पूछा था । मुझे उनका वर्णन करते हुए बहुत सारे साहित्य दिखाई देते हैं लेकिन कोई भी वास्तव में प्रतिगमन की बात नहीं करता (लेबल डेटा के साथ वर्गीकरण भी नहीं)। मुझे यह महसूस होता है कि इसका उपयोग बिना डेटा के किया जाता है। क्या प्रतिगमन को संभालने के लिए कोई संसाधन हैं? या क्या यह उतना ही सरल है जितना कि छिपी हुई परत के ऊपर एक और परत जोड़ना और सीडी एल्गोरिथ्म को ऊपर और नीचे चलाना? अग्रिम धन्यवाद।

जवाबों:


18

आप अनलिस्टेड डेटा के बारे में सही हैं। आरबीएम जनरेटेड मॉडल हैं और आमतौर पर इसका उपयोग अप्रशिक्षित शिक्षार्थियों के रूप में किया जाता है।

जब एक डीप विश्वास नेटवर्क के निर्माण के लिए उपयोग किया जाता है, तो सबसे सामान्य प्रक्रिया यह है कि प्रत्येक नए RBM को एक समय में एक-दूसरे के शीर्ष पर स्टैक करने के लिए बस एक ही ट्रेन दी जाए। इसलिए विपरीत विचलन, इस अर्थ में ऊपर और नीचे नहीं जा रहा है कि मुझे लगता है कि आपका मतलब है। यह एक समय में केवल एक आरबीएम के साथ काम कर रहा है, पिछले शीर्षतम आरबीएम की छिपी हुई परत का उपयोग करके नए सबसे ऊपरी बीएमबी के लिए इनपुट के रूप में। इस सब के बाद आप या तो आरबीएम वेट के स्टैक को एक मानक फ़ीड फॉरवर्ड न्यूरल नेटवर्क के लिए शुरुआती वेट के रूप में मान सकते हैं और अपने लेबल किए गए डेटा और बैकप्रॉपैगैशन का उपयोग करके ट्रेन कर सकते हैं या कुछ अधिक विदेशी कर सकते हैं जैसे वेक-स्लीप एल्गोरिथ्म का उपयोग करें। ध्यान दें कि हमने इस अंतिम चरण तक किसी भी लेबल किए गए डेटा का उपयोग नहीं किया है, जो इन प्रकार के मॉडल के लाभों में से एक है।

दूसरी ओर, वर्गीकरण के लिए आरबीएम का उपयोग करने के कई तरीके हैं।

  • एक RBM या कई RBM के ढेर को प्रशिक्षित करें। कुछ अन्य पर्यवेक्षित शिक्षार्थी के इनपुट के रूप में सबसे ऊपरी छिपी परत का उपयोग करें।
  • प्रत्येक वर्ग के लिए एक RBM को प्रशिक्षित करें और एक विभेदक वर्गीकरणकर्ता के इनपुट के रूप में अप्राकृतिक ऊर्जा का उपयोग करें।
  • RBM को P (X, Y) का संयुक्त घनत्व वाला मॉडल बनाते हैं। फिर कुछ इनपुट x दिए गए, बस क्लास y चुनें जो ऊर्जा फ़ंक्शन को कम करता है (सामान्यीकरण यहां कोई समस्या नहीं है जैसे ऊपर में स्थिर Z सभी वर्गों के लिए समान है)।
  • एक भेदभावपूर्ण आरबीएम को प्रशिक्षित करें

मैं आपको अत्यधिक तकनीकी रिपोर्ट ए प्रैक्टिकल गाइड टू ट्रेनिंग रिस्ट्रिक्टेड बोल्ट्जमैन मशीनों द्वारा ज्योफ हिंटन के माध्यम से पढ़ने का सुझाव दूंगा। यह इन मुद्दों में से कई पर अधिक विस्तार से चर्चा करता है, अमूल्य सुझाव प्रदान करता है, बहुत सारे प्रासंगिक कागजात का हवाला देता है, और आपके पास किसी भी अन्य भ्रम को दूर करने में मदद कर सकता है।


1
तो क्या RBM का उपयोग प्रतिगमन के लिए किया जा सकता है?
waspinator

आप एक संयुक्त घनत्व मॉडल होने के लिए आरबीएम को कैसे प्रशिक्षित करते हैं? X और Y दोनों को गैर-छिपे इनपुट के रूप में प्रदान करके, अर्थात आप इसे P (X, Y | H) (H छुपी हुई परत है) होने के लिए प्रशिक्षित करते हैं?
एकिरॉस

मैं अपनी टिप्पणी पर आत्म-उत्तर देता हूं: हां, "आरबीएम को प्रशिक्षित करने के लिए एक व्यावहारिक मार्गदर्शिका" (हिंटन, 2010), ऊपर वर्णित 3 विधियां विस्तार से बताई गई हैं और, 3 विधि में, वह "दृश्यमान के दो सेट" होने की बात करता है। इकाइयों ", जहां, डेटा के अलावा, एक सॉफ्टमैक्स लेबल इकाई को वर्ग का प्रतिनिधित्व करने के लिए प्रस्तुत किया जाता है।
अकीरोस

2

कृपया कार्यान्वयन, http://code.google.com/p/matrbm/ पर एक नज़र डालें । इसमें विचार करने लायक एक वर्गीकरण रंब फिट फ़ंक्शन है। मुझे यह भी बताएं कि क्या आपको वर्गीकरण और प्रतिगमन के लिए डीबीएन और आरएमबी के बेहतर कार्यान्वयन मिलते हैं।


0

मुझे लगता है कि एक तरह से आप तंत्रिका नेटवर्क का परीक्षण कर सकते हैं जैसे प्रतिबंधित बोल्ट्जमैन मशीन (आरबीएम) उन्हें डेटा के नए सेटों पर लागू करना है, या आमतौर पर कुल डेटा सेट का सबसेट है, और देखें कि वे कैसे प्रदर्शन करते हैं। आप क्रॉस सत्यापन के साथ मॉडल का परीक्षण भी कर सकते हैं। मैंने एक लोकप्रिय ओपन सोर्स मशीन लर्निंग (एमएल) सॉफ़्टवेयर टूलकिट का उपयोग किया है जो स्थापित करने और उपयोग करने के लिए सरल है, और यह आपको कई प्रकार के एमएल एल्गोरिदम को अलग-अलग मॉडल के प्रतिगमन आँकड़ों ( http: // www) के साथ आसानी से परीक्षण करने की अनुमति देता है । cs.waikato.ac.nz/ml/weka/ )। कार्यक्रम चलाने की मूल बातों को छोड़कर आपको बहुत अधिक हस्तक्षेप के बिना एक त्वरित विश्लेषण दे सकता है, हालांकि यह इसके लायक नहीं हो सकता है अगर यह आपके डेटा को प्रारूपित करना मुश्किल होगा (हालांकि आप आमतौर पर Google "csv to arff कन्वर्ट ऑनलाइन" उदाहरण के लिए कर सकते हैं) एक-चरण स्वरूपण के लिए)।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.