एक घंटे के परीक्षण के बाद मैं जिस समाधान पर पहुंचा, वह आमतौर पर सिर्फ 100 युगों में परिवर्तित हो जाता है ।
हाँ, मुझे पता है कि इसमें सबसे आसान निर्णय सीमा नहीं है, लेकिन यह बहुत तेजी से परिवर्तित होता है।
मैंने इस सर्पिल प्रयोग से कुछ बातें सीखीं: -
- आउटपुट लेयर इनपुट लेयर से अधिक या बराबर होनी चाहिए । इस सर्पिल समस्या के मामले में कम से कम मैंने यही देखा।
- प्रारंभिक सीखने की दर को उच्च रखें , जैसे कि इस मामले में 0.1, फिर जैसे ही आप 3-5% या उससे कम की तरह कम परीक्षण त्रुटि का सामना करते हैं, सीखने की दर को एक पायदान (0.03) या दो से घटाते हैं। यह तेजी से परिवर्तित करने में मदद करता है और वैश्विक मिनीमा के चारों ओर कूदने से बचता है।
- आप शीर्ष दाईं ओर त्रुटि ग्राफ़ की जाँच करके सीखने की दर को उच्च बनाए रखने के प्रभावों को देख सकते हैं।
- 1, 0.1 जैसे छोटे बैच के आकार के लिए, सीखने की दर बहुत अधिक है क्योंकि मॉडल को अभिसरण करने में विफल रहता है क्योंकि यह वैश्विक मिनीमा के आसपास कूदता है।
- इसलिए, यदि आप उच्च शिक्षण दर (0.1) रखना चाहते हैं, तो बैच का आकार उच्च (10) भी रखें। यह आमतौर पर एक धीमी गति से अभी तक चिकनी अभिसरण देता है।
संयोग से मैं जिस समाधान के साथ आया था, वह सल्वाडोर डाली द्वारा प्रदान किए गए समान है ।
कृपया कोई टिप्पणी जोड़ें, यदि आपको कोई अंतर्ज्ञान या तर्क मिले।