रैखिक प्रतिगमन में ढाल वंश के लिए इष्टतम सीखने की दर निर्धारित करें

Question

ग्रेडिएंट डिसेंट के लिए इष्टतम सीखने की दर को कैसे निर्धारित किया जा सकता है? मैं सोच रहा हूँ कि अगर लागत फ़ंक्शन पिछले पुनरावृत्ति (एल्गोरिथ्म में कनवर्ट नहीं होगा) की तुलना में अधिक मान लौटाता है, तो मैं इसे स्वचालित रूप से समायोजित कर सकता हूं, लेकिन मुझे वास्तव में यकीन नहीं है कि इसे क्या नया मूल्य लेना चाहिए।

Comments

willamette.edu/~gorr/classes/cs449/momrate.html स्थानीय दर अनुकूलन के एक रूप के साथ प्रयास करने की कोशिश: µ (t) = µ (0) / (1 + t / T); जब त्रुटि का संकेत बदल जाता है तो वृद्धि टी।

— क्रिस

Answer 1

(वर्षों बाद) बरज़िलाई-बोरवेइन चरण आकार विधि देखें; onmyphd.com का अच्छा 3-पृष्ठ वर्णन है। लेखक कहता है

यह दृष्टिकोण अच्छी तरह से काम करता है, यहां तक ​​कि बड़ी आयामी समस्याओं के लिए भी

लेकिन यह 2d रोसेनब्रोक फ़ंक्शन के अपने एप्लेट के लिए भयानक है। यदि कोई भी बार्ज़िलई-बोरवेइन का उपयोग करता है, तो कृपया टिप्पणी करें।

Answer 2

आप सही रास्ते पर हैं। जब भी आप एक सफल डाउनहिल कदम उठाते हैं और जब आप गलती से "बहुत दूर" जाते हैं, तो एक सामान्य दृष्टिकोण कदम के आकार को दोगुना करना होता है। आप निश्चित रूप से 2 के अलावा कुछ कारक द्वारा पैमाने पर कर सकते हैं, लेकिन यह आम तौर पर एक बड़ा अंतर नहीं होगा।

अधिक परिष्कृत अनुकूलन के तरीकों की संभावना काफी हद तक अभिसरण में तेजी लाएगी, लेकिन अगर आपको किसी कारण से अपने स्वयं के अपडेट को रोल करना है तो उपरोक्त आकर्षक सरल और अक्सर काफी अच्छा है।

Comments

मैं भी दो से गुणा / भाग कर रहा था। हालाँकि, मैं चिंतित हूँ कि हर बार दो बार एक सफल कदम होने से गुणा अधिक पुनरावृत्तियों में समाप्त हो जाएगा। मैं उम्मीद कर रहा था कि ग्रेडिएंट का उपयोग करने का एक तरीका है, क्योंकि यह ढलान के बारे में कुछ जानकारी प्रदान करता है।

— वैलेंटाइन रादु

यह मेरे लिए प्रशंसनीय नहीं है, कि आप इस तरह की जानकारी ढाल से प्राप्त कर सकते हैं। ग्रेडिएंट अकेले आपको यह नहीं बताता है कि आप इष्टतम से कितनी दूर हैं, और क्या अधिक महत्वपूर्ण है - बदलने पर ग्रेडिएंट खुद कैसे बदल जाता है। इसके लिए आपको एक हेसियन की आवश्यकता होगी। $x$

— sjm.majewski

यदि आप एक अंतर्निहित स्थिर प्रक्रिया के साथ काम कर रहे हैं, तो अधिकतम सीखने की दर सहसंबंध मैट्रिक्स के स्पेक्ट्रम द्वारा शासित है, है ना?

— उज्ज्वल-तारा