प्रतिबंधित बोल्ट्जमान मशीनों (आरबीएम) के लिए अच्छा ट्यूटोरियल

10

मैं प्रतिबंधित बोल्ट्जमैन मशीन (आरबीएम) का अध्ययन कर रहा हूं और आरबीएम के मापदंडों के संबंध में लॉग संभावना की गणना को समझने वाले कुछ मुद्दों पर विचार कर रहा हूं। भले ही आरबीएम पर बहुत सारे शोध पत्र प्रकाशित किए गए हैं, लेकिन डेरिवेटिव के विस्तृत चरण नहीं हैं। ऑनलाइन खोज के बाद मैं उन्हें इस दस्तावेज़ में ढूंढने में सक्षम था:

फिशर, ए।, और इगेल, सी। (2012)। प्रतिबंधित बोल्ट्जमान मशीनों का एक परिचय। एल अल्वारेज एट अल में। (Eds।): CIARP, LNCS 7441, पीपी। 14–36, स्प्रिंगर-वेरलाग: बर्लिन-हीडलबर्ग। ( pdf )

हालाँकि, इस दस्तावेज़ का विवरण मेरे लिए बहुत उन्नत है। क्या कोई मुझे RBM के बारे में एक अच्छे ट्यूटोरियल / लेक्चर नोट्स के सेट की ओर इशारा कर सकता है?

संपादित करें: @ दाविद, भ्रामक अनुभाग नीचे दिखाया गया है (पृष्ठ 26 में समीकरण 29):

$\begin{aligned} \frac{\partial \ln L (θ | v)}{\partial w_{i j}} & = - \sum_{h} p (h | v) \frac{\partial E (v, h)}{\partial w_{i j}} + \sum_{v, h} p (v, h) \frac{\partial E (v, h)}{\partial w_{i j}} \\ = \sum_{h} p (h | v) h_{i} v_{j} - \sum_{v} p (v) \sum_{h} p (h | v) h_{i} v_{j} \\ (29) & = p (H_{i} = 1 | v) v_{j} - \sum_{v} p (v) p (H_{i} = 1 | v) v_{j} . \end{aligned}$ $\begin{align} \frac{\partial\ln\mathcal{L}(\theta|v)}{\partial w_{ij}} &= -\sum_h p(h|v)\frac{\partial E(v, h)}{\partial w_{ij}} + \sum_{v,h} p(v,h)\frac{\partial E(v,h)}{\partial w_{ij}} \\[5pt] &= \sum_h p(h|v)h_iv_j - \sum_v p(v) \sum_h p(h|v)h_iv_j \\[5pt] &= \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j - \sum_v p(v) \color{orange}{\boxed{\color{black}{p(H_i=1|v)}}}v_j\; . \tag{29} \end{align}$

references rbm

— उपुल
स्रोत

क्या आप इस बारे में अधिक विशिष्ट हो सकते हैं कि कौन से कदम आपको भ्रमित कर रहे हैं?

— डेविड जे। हैरिस

1

एक अच्छा पढ़ा AI ( iro.umontreal.ca/~bengioy/papers/ftml_book.pdf ) के लिए गहरे आर्किटेक्चर सीखने का अध्याय 5 है

— dksahuji

INFO के लिए @dksahuji धन्यवाद, यह भी प्रो: बेंगियो एक डीएल लिख रहा है और inital मसौदा iro.umontreal.ca/~bengioy/dlbook

— उपुल

इस ट्यूटोरियल में आरबीएम के गणित ( प्रतिबंधित बोल्ट्जमैन मशीनों पर एक ट्यूटोरियल ) के स्पष्टीकरण हैं ।

— जियांग जियांग

7

\begin{aligned} \sum_{h} p (h | v) h_{i} v_{j} & = v_{j} \sum_{h_{1}} . . . \sum_{h_{i}} . . . \sum_{h_{n}} p (h_{1}, . . ., h_{i}, . . . h_{n} | v) h_{i} \\ = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i}, h_{_i} | v) h_{i} \end{aligned}

$\begin{align} \sum_{\mathbf{h}} p(\mathbf{h} | \mathbf{v})h_iv_j &= v_j \sum_{h_1}...\sum_{h_i}...\sum_{h_n} p(h_1,...,h_i,...h_n | \mathbf{v}) h_i \\[5pt] &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}}p(h_i, \mathbf{h_{\_i}} | \mathbf{v}) h_i \end{align}$

\begin{aligned} = v_{j} \sum_{h_{i}} \sum_{h_{_i}} p (h_{i} | v) h_{i} p (h_{_i} | v) \\ = v_{j} \sum_{h_{i}} p (h_{i} | v) h_{i} \sum_{h_{_i}} p (h_{_i} | v) \end{aligned}

$\begin{align} &= v_j \sum_{h_i} \sum_{\mathbf{h_{\_ i}}} p(h_i | \mathbf{v}) h_i \: p(\mathbf{h_{\_ i}}|\mathbf{v}) \\[5pt] &= v_j \sum_{h_i} p(h_i | \mathbf{v}) h_i \: \sum_{\mathbf{h_{\_ i}}} p(\mathbf{h_{\_ i}}|\mathbf{v}) \end{align}$

1

$1$

h_{i}

$h_i$

1

$1$

0

$0$

= v_{j} p (H_{i} = 1 | v)

$\hspace{-25mm}= v_j \: p(H_i = 1 | \mathbf{v})$

— peschn
स्रोत

7

Deeplearning साइट पर RBMs का एक अच्छा ट्यूटोरियल है ।
यह ब्लॉग पोस्ट ( प्रतिबंधित बोल्ट्ज़मन मशीनों का परिचय ) सरल भाषा में लिखी गई है और यह आरबीएमएस की मूल बातें बताती है:
इसके अलावा, शायद सबसे अच्छा संदर्भ है ज्योफ हिंटन के न्यूरल नेटवर्क्स कोर्स ऑन कर्सिया:

मुझे यकीन नहीं है कि आप कक्षा के अंत के बाद कक्षा और वीडियो तक पहुंच सकते हैं।

— sjm.majewski
स्रोत

2

अभी भी कसेरा वर्ग में हस्ताक्षर करने और मंच में पोस्ट करने वाले लोग हैं। आप अभी भी सभी व्याख्यान देख सकते हैं, और सभी क्विज़ और प्रोग्रामिंग असाइनमेंट (क्विज़ के बीच) का उपयोग कर सकते हैं। यह जानकारी संभवत: तब तक रहेगी जब तक पाठ्यक्रम फिर से पेश नहीं किया जाता। मैं केवल सामग्री को देखने या डाउनलोड करने के लिए पाठ्यक्रम में नामांकन करने की सलाह देता हूं।

— डगलस ज़ेरे

1

बाएं ऑरेंज बॉक्स आपको दिए गए सभी छिपे हुए विन्यासों पर ऊर्जा प्रवणता का अपेक्षित मूल्य देता है जो कुछ दृश्यमान वेक्टर दृश्य इकाइयों (डेटा पर उम्मीद के बाद से आपके प्रशिक्षण सेट से एक नमूना का उपयोग करता है) पर चढ़ाई जाती है। यह शब्द स्वयं (1) एक विशेष छिपी हुई इकाई को देखने की संभावना है, जिस पर मैं कुछ वेक्टर v दृश्य इकाइयों पर जकड़ा हुआ हूं और (2) एक विशेष दृश्यमान इकाई j की स्थिति।

सही नारंगी बॉक्स बाईं ओर के समान है, सिवाय इसके कि आप क्या कर रहे हैं, जो दिखाई देने वाली इकाइयों पर क्लैंप किए गए एक के बजाय हर संभव दृश्य विन्यास के लिए बाएं नारंगी बॉक्स में है (मॉडल पर उम्मीद के बाद से कुछ भी नहीं मिला है दृश्यमान इकाइयों पर)।

— Avalon
स्रोत

1

मशीन लर्निंग ( वीडियो ) पर ह्यूगो लॉरेल के पाठ्यक्रम का अध्याय 5 सबसे अच्छा परिचय है जो मैंने अब तक पाया है।

नुकसान फ़ंक्शन का व्युत्पन्न इन व्याख्यानों में नहीं हुआ है, लेकिन यह करना मुश्किल नहीं है (यदि आवश्यक हो तो मैं अपनी गणना का एक स्कैन पोस्ट कर सकता हूं, लेकिन यह वास्तव में उतना कठिन नहीं है)। मैं अभी भी इस विषय को कवर करने वाली एक अच्छी पाठ्यपुस्तक की तलाश में हूं लेकिन मुख्य रूप से केवल लेख हैं। बेंगियो के डीप लर्निंग बुक के अध्याय 20 में लेखों का अच्छा अवलोकन है ।

— jakab922
स्रोत