यह अनुकूली क्षण अनुमान (एडम) लगता है ऑप्टिमाइज़र लगभग हमेशा बेहतर काम करता है (तेजी से और अधिक मज़बूती से एक वैश्विक न्यूनतम तक पहुँच) जब प्रशिक्षण तंत्रिका जाल में लागत समारोह को कम करता है।
हमेशा एडम का उपयोग क्यों नहीं किया जाता है? RMSProp या गति अनुकूलक का उपयोग करके भी परेशान क्यों?
1
मुझे विश्वास नहीं है कि कथन का समर्थन करने का कोई सख्त, औपचारिक तरीका है। यह सभी विशुद्ध रूप से अनुभवजन्य है, क्योंकि त्रुटि सतह अज्ञात है। अंगूठे के एक नियम के रूप में, और शुद्ध रूप से मीटर अनुभव से, ADAM अच्छी तरह से करता है जहां अन्य लोग विफल होते हैं (उदाहरण विभाजन), हालांकि कमियां के बिना (अभिसरण मोनोटोन नहीं है)
—
एलेक्स
आदम को एकाग्र करने के लिए तेज है। SGD धीमा है लेकिन बेहतर सामान्य करता है। तो अंत में यह सब आपके विशेष परिस्थितियों पर निर्भर करता है।
—
अगकला