सामान्यीकृत ढाल और ढाल का उपयोग करने में अंतर

Question

ढाल वंश एल्गोरिथ्म के सामान्य सेटिंग में, हमारे पास जहां एक्स एन वर्तमान बिंदु है, η कदम आकार है और जी आर एक घ मैं ई n t x n , x n पर ग्रेडिएंट का मूल्यांकन है । $x_{n+1} = x_{n} - \eta * gradient_{x_n}$$x_n$$\eta$$gradient_{x_n}$$x_n$

मैं कुछ एल्गोरिथ्म में देखा है, लोगों का उपयोग करता सामान्यीकृत ढाल के बजाय ढाल । मैं जानना चाहता था कि सामान्यीकृत ढाल और बस ढाल का उपयोग करने में क्या अंतर है ।

Comments

क्या मेरे द्वारा एक सवाल पूछा जा सकता है? यदि मैं पहले से ही ढाल वेक्टर प्राप्त कर चुका हूं तो मैं सामान्यीकृत ग्रेडिएंट की गणना कैसे कर सकता हूं? यदि ग्रेडिएंट वेक्टर संख्यात्मक बड़ा है, तो मुझे ग्रेडिएंट को सामान्य करने की आवश्यकता है। क्या आप ढाल को सामान्य करने के बारे में कुछ सहज उदाहरण दे सकते हैं? धन्यवाद!

Answer 1

$\eta$निर्धारित करें कि हम कितनी दूर गणना की दिशा में बढ़ना चाहते हैं। हालांकि, यदि आप अप्राकृतिक ग्रेडिएंट डिसेंट का उपयोग करते हैं, तो किसी भी बिंदु पर, आप इष्टतम दिशा में आगे बढ़ते हैं, ग्रेडिएंट के परिमाण द्वारा निर्धारित किया जाता है (संक्षेप में उद्देश्य फ़ंक्शन की सतह द्वारा निर्धारित किया जाता है अर्थात एक खड़ी सतह पर एक बिंदु होगा) उच्च परिमाण जबकि काफी सपाट सतह पर एक बिंदु पर कम परिमाण होगा)।

$\eta$
$\eta$
3] यदि आप ग्रेडिएंट की भयावहता को चरण आकार को निर्धारित करने देना चाहते हैं, तो आप अप्राकृतिक ग्रेडिएंट वंश का उपयोग करेंगे। कई अन्य प्रकार हैं जैसे आप ढाल के परिमाण को चरण आकार तय कर सकते हैं, लेकिन आप इस पर एक टोपी डालते हैं और इसी तरह।

अब, चरण आकार में स्पष्ट रूप से अभिसरण और स्थिरता की गति पर प्रभाव पड़ता है। उपरोक्त चरण आकार में से कौन सा सबसे अच्छा काम करता है, यह पूरी तरह से आपके आवेदन (यानी उद्देश्य फ़ंक्शन) पर निर्भर करता है। कुछ मामलों में, अभिसरण की गति, स्थिरता और चरण आकार के बीच संबंध का विश्लेषण किया जा सकता है। यह संबंध तब संकेत दे सकता है कि आप सामान्यीकृत या अप्राकृतिक रूप से क्रमिक वंश के साथ जाना चाहते हैं या नहीं।

सारांशित करने के लिए, सामान्यीकृत और अप्राकृतिक ग्रेडिएंट डिसेंट के बीच कोई अंतर नहीं है (जहाँ तक कि एल्गोरिथ्म के पीछे सिद्धांत है)। हालांकि, इसका अभिसरण और स्थिरता की गति पर व्यावहारिक प्रभाव पड़ता है। दूसरे पर एक का चुनाव विशुद्ध रूप से हाथ में आवेदन / उद्देश्य के आधार पर होता है।

Comments

आप एक मध्यवर्ती दृष्टिकोण ले सकते हैं, जहां आप पहले ग्रेडिएंट के आधार पर सामान्य करते हैं, उदाहरण के लिए। यह अभी भी कदम आकार के मामले में सापेक्ष ढाल आकार का मामला बना देगा।

— ०४:१६ बजे धात्विक

Answer 2

$\eta$$\eta$

Answer 3

$f(x) = x^Tx$$y(t) = x_0/||x_0|| * e^{-t}$। जैसे ही आप महत्वपूर्ण बिंदु पर पहुंचते हैं, ढाल का मान तेजी से घटता जाता है। ऐसे मामलों में अक्सर मिनट भर में आगे-पीछे उछालना बेहतर होता है, क्योंकि यह बहुत धीरे-धीरे आता है। सामान्य तौर पर, पहले क्रम के तरीकों को महत्वपूर्ण बिंदुओं के आसपास बहुत धीमी गति से अभिसरण करने के लिए जाना जाता है, इसलिए यदि आप वास्तव में सटीकता के साथ देखभाल करते हैं तो आपको वास्तव में उनका उपयोग नहीं करना चाहिए। यदि आप विश्लेषणात्मक रूप से अपने उद्देश्य के हेसियन की गणना नहीं कर सकते हैं तो भी आप इसे (BFGS) अनुमानित कर सकते हैं।