जहाँ तक मुझे पता है, स्टोचैस्टिक ग्रेडिएंट डिसेंट को लर्निंग एल्गोरिथम के रूप में अपनाते समय, कोई व्यक्ति पूर्ण डेटासेट के लिए 'युग', और एकल अद्यतन चरण में उपयोग किए गए डेटा के लिए 'बैच' का उपयोग करता है, जबकि दूसरा क्रमशः 'बैच' और 'मिनीबैच' का उपयोग करता है, और अन्य लोग 'युग' और 'मिनीबैच' का उपयोग करते हैं। यह चर्चा करते समय बहुत भ्रम लाता है।
तो सही क्या कह रहा है? या वे केवल बोलियाँ हैं जो सभी स्वीकार्य हैं?
जवाबों:
आमतौर पर एक युग का अर्थ है कि आपका एल्गोरिथ्म एक बार प्रत्येक प्रशिक्षण उदाहरण को देखता है । अब आपके पास प्रशिक्षण उदाहरण हैं:
यदि आप बैच अपडेट चलाते हैं, तो प्रत्येक पैरामीटर अपडेट के लिए आपके एल्गोरिथ्म को प्रत्येक प्रशिक्षण उदाहरणों को ठीक एक बार देखने की आवश्यकता होती है , यानी, प्रत्येक एपॉच आपके पैरामीटर को एक बार अपडेट किया जाता है।
यदि आप बैच-आकार = साथ मिनी-बैच अपडेट चलाते हैं , तो प्रत्येक पैरामीटर अपडेट के लिए आपके एल्गोरिदम को n प्रशिक्षण इंस्टेंस के b को देखने की आवश्यकता होती है , अर्थात, आपके प्रत्येक पैरामीटर को n / b समय के बारे में अपडेट किया जाता है।
"एपोच" आमतौर पर प्रशिक्षण डेटा के पूरे सेट के लिए एक लर्निंग एल्गोरिदम को उजागर करने का मतलब है। यह हमेशा समझ में नहीं आता क्योंकि हम कभी-कभी डेटा उत्पन्न करते हैं।
"बैच" और "मिनीबैच" भ्रामक हो सकते हैं।
प्रशिक्षण के उदाहरणों को कभी-कभी "बैचेड" होने की आवश्यकता होती है क्योंकि सभी डेटा को आवश्यक रूप से एक बार एल्गोरिथ्म में उजागर नहीं किया जा सकता है (आमतौर पर मेमोरी की कमी के कारण)।
SGD के संदर्भ में, "मिनिबैच" का अर्थ है कि भार को अद्यतन करने से पहले पूरे बैच में ग्रेडिएंट की गणना की जाती है। यदि आप "मिनीबैच" का उपयोग नहीं कर रहे हैं, तो "बैच" में हर प्रशिक्षण उदाहरण स्वतंत्र रूप से सीखने के एल्गोरिथ्म के मापदंडों को अपडेट करता है।