अधिकतम गति बाधा क्या है? यह कन्वेंशनल न्यूरल नेटवर्क्स में कैसे उपयोगी है?

Question

यहाँ एक केरस कोड नमूना है जो इसका उपयोग करता है:

from keras.constraints import max_norm

model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), 
                        border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

Answer 1

से http://cs231n.github.io/neural-networks-2/#reg :

$\vec{w}$$\Vert \vec{w} \Vert_2 < c.$$c$

Answer 2

मैं एक पाया McLawrence द्वारा जवाब में एक और सवाल बहुत उपयोगी हो सकते हैं। नीचे प्रस्तुत:

वजन कम करने का तरीका max_normक्या है?

maxnorm(m)अगर, आपके भार के L2-Norm से अधिक हो जाते हैं m, तो अपने पूरे वजन मैट्रिक्स को एक ऐसे कारक द्वारा मापें, जो मानदंड को कम करता है m। जैसा कि आप केरेस कोड में पा सकते हैं class MaxNorm(Constraint):

def __call__(self, w):
    norms = K.sqrt(K.sum(K.square(w), axis=self.axis, keepdims=True))
    desired = K.clip(norms, 0, self.max_value)
    w *= (desired / (K.epsilon() + norms))
    return w

मूलतः, maxnormएक axisतर्क है, जिसके साथ मानदंड की गणना की जाती है। आपके उदाहरण में आप एक अक्ष निर्दिष्ट नहीं करते हैं, इस प्रकार पूरे वजन मैट्रिक्स पर मान की गणना की जाती है। यदि उदाहरण के लिए, आप हर आक्षेप फिल्टर के मान को कसना चाहते हैं, तो मान लें कि आप tfआयाम क्रम का उपयोग कर रहे हैं , वजन मैट्रिक्स का आकार होगा (rows, cols, input_depth, output_depth)। मानदंड की गणना axis = [0, 1, 2]करने पर दिए गए मानदंड के लिए प्रत्येक फ़िल्टर बाध्य होगा।

क्यों करना है?

वजन मैट्रिक्स को सीधा करना एक और तरह का नियमितीकरण है। यदि आप एक सरल L2 नियमितीकरण शब्द का उपयोग करते हैं, तो आप अपने नुकसान फ़ंक्शन के साथ उच्च भार को दंडित करते हैं। इस बाधा के साथ, आप सीधे नियमित करते हैं। जैसा कि kerasकोड में भी जुड़ा हुआ है , यह एक dropoutपरत के साथ संयोजन में विशेष रूप से अच्छी तरह से काम करता है । अधिक जानकारी इस पेपर में अध्याय 5.1 देखें

Comments

अच्छा जवाब है, लेकिन सावधान रहें: "आपके उदाहरण में आप एक अक्ष निर्दिष्ट नहीं करते हैं, इस प्रकार पूरे वजन मैट्रिक्स पर मान की गणना की जाती है।" - यह सच नहीं लगता (कम से कम अब तक)। बल्कि, डिफ़ॉल्ट के बाद मान की गणना की जाती है axis=0।

— बोबसन दुगन्नट

मैं सहमत हूं, अधिकतम-मान को वज़न की लंबाई के रूप में लिया जाता है, जो फैन-इन को एक छिपी हुई परत में नोड में, अर्थात, । इसके अलावा, क्या आपने देखा कि ड्रॉपआउट नियमितीकरण के लिए, अधिकतम रन का उपयोग सभी रन के लिए किया गया था ( cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf के पेज 1934 पर अंतिम पैराग्राफ देखें )। $||w||$

— wrktsj