डीप लर्निंग में डीप अवशिष्ट नेटवर्क के संदर्भ में वास्तव में एक अवशिष्ट लर्निंग ब्लॉक क्या है?

मैं इमेज रिकग्निशन के लिए डीप रेजिडेंशल लर्निंग पेपर पढ़ रहा था और मुझे 100% निश्चितता के साथ समझने में कठिनाइयाँ थीं कि अवशिष्ट ब्लॉक कम्प्यूटेशनल रूप से क्या कहता है। उनके पेपर पढ़ने से उनका आंकड़ा 2 है:

जो बताता है कि एक अवशिष्ट ब्लॉक क्या माना जाता है। एक अवशिष्ट ब्लॉक की गणना बस के रूप में ही है:

y = σ (W_{2} σ (W_{1} x + b_{1}) + b_{2} + x)

$\mathbf{y} = \sigma( W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 + \mathbf{x} )$

या यह कुछ और है?

दूसरे शब्दों में, शायद कागज के संकेतन से मेल खाने की कोशिश करें:

F (x) + x = [W_{2} σ (W_{1} x + b_{1}) + b_{2}] + x

$\mathcal F(x) + x = \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x}$

क्या यह सच है?

$\mathbf{y}$

σ (एफ (एक्स) + एक्स) = σ ([{डब्ल्यू}_{2} σ ({डब्ल्यू}_{1} एक्स + ख_{1}) + ख_{2}] + एक्स)

$\sigma( \mathcal F(x) + x ) = \sigma( \left[ W_2 \sigma( W_1 \mathbf{x} + b_1 ) + b_2 \right] + \mathbf{x} )$

$\sigma$

— चार्ली पार्कर
स्रोत

is x पॉजिटिव है relu (x) = x

— Ray Tayek

हां यह सच है, आप उनके कैफ मॉडल पर एक नज़र डाल सकते हैं कि यह कैसे लागू किया जाता है।

— dontloo
स्रोत