मुझे पता था कि अवशिष्ट नेटवर्क (ResNet) ने उन्हें सामान्य आरंभीकरण को लोकप्रिय बना दिया था। ResNet में, वह सामान्य इनिशियलाइज़ेशन का उपयोग करता है , जबकि पहली परत He यूनिफॉर्म इनिशियलाइज़ेशन का उपयोग करती है।
मैंने ResNet पेपर और "डिलीटिंग डीप इन रेक्टिफायर्स" पेपर (उन्होंने इनिशियलाइज़ेशन पेपर) के माध्यम से देखा है, लेकिन मुझे सामान्य इनिट बनाम वर्दी इनिट पर कोई उल्लेख नहीं मिला है।
इसके अलावा:
बैच सामान्यीकरण हमें सीखने की उच्च दरों का उपयोग करने और आरंभीकरण के बारे में कम सावधान रहने की अनुमति देता है।
बैच नॉर्मलाइज़ेशन पेपर के सार में, यह कहा जाता है कि बैच नॉर्मलाइज़ेशन हमें आरंभीकरण के बारे में कम सावधान रहने की अनुमति देता है।
ResNet में अभी भी इस बात का ध्यान रखा जाता है कि सामान्य इनिट बनाम यूनिफ़ॉर्म इनिट का उपयोग कब किया जाए (इसके बजाय सिर्फ़ एकरूप इनिट के साथ जाएं)।
इसलिए:
- कब उपयोग करना है (वह या ग्लोरोट) समान-प्रारंभ पर सामान्य-वितरित प्रारंभ?
- बैच सामान्यीकरण के साथ सामान्य-वितरित आरंभिक प्रभाव क्या हैं?
नोट एक तरफ:
- यह बैच सामान्यीकरण के साथ सामान्य init का उपयोग करने के लिए गाया जाता है, लेकिन मुझे इस तथ्य को वापस करने के लिए कोई कागज नहीं मिला है।
- मुझे पता था कि ResNet Glorot init पर init का उपयोग करता है क्योंकि वह init एक गहरे नेटवर्क पर बेहतर करता है।
- मैंने Glorot init बनाम He init के बारे में समझा है ।
- मेरा सवाल नॉर्मल बनाम यूनिफॉर्म इनिट के बारे में है।