आर्मिजो शासन के बारे में भ्रम

लाइन सर्च में इस्तेमाल किए गए आर्मिजो नियम के बारे में मुझे यह भ्रम है। मैं ट्रैकिंग लाइन खोज को वापस पढ़ रहा था, लेकिन इस आर्मिजो नियम के बारे में सब कुछ नहीं मिला। क्या कोई भी बता सकता है कि आर्मिजो नियम क्या है? विकिपीडिया अच्छी तरह से समझाने के लिए नहीं लगता है। धन्यवाद

optimization

— user34790
स्रोत

क्या होगा अगर समीकरण में चर x एक वेक्टर नहीं बल्कि एक मैट्रिक्स है? अर्मीजो नियम को कैसे अद्यतन किया जाना चाहिए?

— फ्रैंक पु

कुछ नहीं बदलता है। आपको बस अपने

-matrix को एक (कॉलम) वेक्टर

में बदलना चाहिए ।

X_{k}

$X_k$

x_{k}

$x_k$

— गोहोकिज

यहीं मैं फंस गया। जब

एक मैट्रिक्स बन जाता है, तो बाएं हाथ की तरफ का मूल्य (

) अभी भी एक स्केलर है। लेकिन दाहिने हाथ की ओर का मान नहीं है - इसके बजाय, यह एक मैट्रिक्स है (

एक अदिश और

एक मैट्रिक्स है।)

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— फ्रैंक पुक

आपको वेक्टर के साथ काम करना होगा, न कि मैट्रिक्स के साथ। इसलिए आप अपने

मैट्रिक्स ऑफ कंट्रोल वेरिएबल्स को फिर से खोलते हैं (मैंने इसे

द्वारा निरूपित किया है )

तत्वों के साथ वेक्टर

। खोज दिशा और ढाल

तत्वों के साथ वैक्टर भी होंगे । इस तरह से आर्मसो स्थिति के आरएचएस और एलएचएस दोनों स्केलर हैं और इसकी तुलना की जा सकती है।

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

— गोहोकिज

जवाबों:

एक बार जब आप अपने उद्देश्य फ़ंक्शन लिए एक मूल दिशा प्राप्त करते हैं $p$ , तो आपको "अच्छी" चरण लंबाई चुनने की आवश्यकता होती है। आप एक ऐसा कदम नहीं उठाना चाहते जो बहुत बड़ा हो जैसे कि आपके नए बिंदु पर कार्य आपके वर्तमान बिंदु से बड़ा है। उसी समय, आप अपने कदम को इतना छोटा नहीं बनाना चाहते हैं कि उसे रूपांतरित होने में हमेशा के लिए लग जाए। $f(x)$

आर्मिजो की स्थिति मूल रूप से बताती है कि एक "अच्छा" कदम लंबाई ऐसा है कि आपके नए बिंदु पर में "पर्याप्त कमी" है । हालत गणितीय के रूप में कहा गया है जहां में एक वंश दिशा है और । $f$

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

इसके पीछे अंतर्ज्ञान है कि नया बिंदु पर समारोह मूल्य है के तहत होना चाहिए कम से कम "स्पर्श लाइन" की दिशा में । Nocedal & राइट की पुस्तक "न्यूमेरिकल ऑप्टिमाइज़ेशन" देखें। अध्याय 3 में, आर्मिजो की पर्याप्त कमी की स्थिति का एक उत्कृष्ट चित्रमय विवरण है। $f(x_k+\alpha p_k)$ $x_k$ $p_k$

— पॉल
स्रोत

इसे एक स्पर्शरेखा रेखा के रूप में सोचने के बजाय आप इसे पहले क्रम टेलर विस्तार के रूप में भी सोच सकते हैं। इस मामले में

केवल यह सुनिश्चित करता है कि इस तरह के एक कदम-आकार

मौजूद है।

β

$\beta$

α

$\alpha$

— cjordan1

कारण यह सब मायने रखता है, अर्थात "अच्छा" कदम क्यों आवश्यक है, यह है कि कई अनुकूलन योजनाएं धीमे-धीमे अभिसरण करेंगी, जैसा कि पॉल कहता है, या हो सकता है कि वह बिल्कुल भी अभिसरण न हो। तो लाइन खोज - जो कई किस्मों में आती हैं, आर्मिजो सिर्फ सबसे लोकप्रिय है - का उपयोग एल्गोरिदम को अधिक मजबूत अभिसरण गुण देने के लिए किया जा सकता है।

— cjordan1

पॉल: आपकी व्याख्या अधूरी है। यह असमानता अकेले 'पर्याप्त' कमी की गारंटी नहीं देती है। वास्तव में, आपके पास अल्फ़ा = 0 हो सकता है, और फिर भी आपके द्वारा लिखी गई असमानता को संतुष्ट करता है। एक महत्वपूर्ण विशेषता यह है कि आर्मिजो नियम शून्य से दूर कदम आकार को बाध्य करने के लिए है, जो एक और असमानता द्वारा किया जाता है: f (गामा * x_new) -f (x_old)> बीटा * (गामा * x_new-x_old) ^ T * grad (f) (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

पांच साल बाद, यह सवाल अभी भी वैध है।

यहां (पृष्ठ 16 और 17) आप एक एल्गोरिथ्म सहित एक शानदार व्याख्या पा सकते हैं।

— बजन हर्नकस
स्रोत