एेतिहाँसिक विचाराे से
ज़ेवियर इनिशियलाइज़ेशन , जो मूल रूप से ज़ेवियर ग्लोरोट और योशुआ बेंगियो द्वारा प्रस्तावित किया गया था, "गहरी फीडफॉर्वर्ड न्यूरल नेटवर्क को प्रशिक्षित करने की कठिनाई को समझना" , वेट्स इनिशियलाइज़ेशन तकनीक है जो अपने इनपुट के विचरण के बराबर होने के लिए एक परत के आउटपुट के विचरण को बनाने की कोशिश करता है। । यह विचार व्यवहार में बहुत उपयोगी निकला। स्वाभाविक रूप से, यह आरंभिक परत सक्रियण फ़ंक्शन पर निर्भर करता है। और उनके पेपर में, ग्लोरोट और बेंगियो ने लॉजिस्टिक सिग्मोइड सक्रियण फ़ंक्शन पर विचार किया , जो उस समय डिफ़ॉल्ट विकल्प था।
बाद में, रिगू द्वारा सिग्मॉइड सक्रियण को पार कर गया था, क्योंकि इसने गायब होने / विस्फोट करने वाले ग्रेडिएंट्स समस्या को हल करने की अनुमति दी थी। नतीजतन, एक नई आरंभीकरण तकनीक दिखाई दी, जिसने इस सक्रियण समारोह में एक ही विचार (सक्रियण के विचलन का संतुलन) को लागू किया। इसे कैमिंग हे द्वारा "डेलिगेट डीप इन रेक्टिफायर्स: सर्जिंग ह्यूमन-लेवल परफॉर्मेंस ऑन इमेजनेट क्लासिफिकेशन" में अल द्वारा प्रस्तावित किया गया था , और अब इसे अक्सर वे इनिशियलाइज़ेशन कहते हैं ।
टेंसोफ़्लो में, वह आरंभीकरण variance_scaling_initializer()फ़ंक्शन में कार्यान्वित किया जाता है (जो वास्तव में, एक अधिक सामान्य इनिशियलाइज़र है, लेकिन डिफ़ॉल्ट रूप से वह इनिशियलाइज़ेशन करता है), जबकि ज़ेवियर इनिशियलाइज़र तार्किक है xavier_initializer()।
सारांश
सारांश में, मशीन सीखने वाले चिकित्सकों के लिए मुख्य अंतर निम्नलिखित है:
- उन्होंने साथ परतों के लिए बेहतर काम करता है आरंभीकरण Relu सक्रियण।
- सिग्मॉइड सक्रियण के साथ परतों के लिए ज़ेवियर इनिशियलाइज़ेशन बेहतर काम करता है ।