BFGS अपडेट के लिए सहज प्रेरणा

मैं एक संख्यात्मक विश्लेषण सर्वेक्षण वर्ग सिखा रहा हूँ और बीएफजीएस पद्धति के लिए छात्रों के लिए प्रेरणा की मांग कर रहा हूँ जो कि अनुकूलन में सीमित पृष्ठभूमि / अंतर्ज्ञान के साथ है!

जबकि मेरे पास यह साबित करने का समय नहीं है कि सब कुछ परिवर्तित हो जाता है, मैं इसके लिए एक उचित प्रेरणा देना चाहता हूं कि BFGS हेसियन अपडेट क्यों दिखाई दे सकता है। सादृश्य के रूप में, ब्रोयडेन की जड़-खोज विधि (मेरा राइटअप यहां है ) को यह पूछकर प्रेरित किया जा सकता है कि आपके वर्तमान जैकबियन अंतर को कम करता है पुराने जैकोबिन के साथ बाधा के अधीन है कि यह नवीनतम को ध्यान में रखता है: । $\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$ $J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

बीएफजीएस अपडेट की व्युत्पत्तियां कहीं अधिक शामिल हैं और मर्करी हैं! विशेष रूप से, मैं एक प्राथमिकता नहीं मानूंगा कि अद्यतन रैंक -2 होना चाहिए या एक विशेष रूप लेना चाहिए। क्या ब्रूफेन के लिए बीएफजीएस हेसियन अपडेट की तरह एक लघु परिवर्तनशील दिखने वाली प्रेरणा है?

optimization iterative-method nonlinear-programming

— जस्टिन सोलोमन
स्रोत

यदि आप एक मनमाना अपडेट की अनुमति देंगे, तो आप न्यूटन की विधि में पूर्ण हेस्सियन का उपयोग कर सकते हैं। एक निम्न रैंक अपडेट का एक प्रमुख कम्प्यूटेशनल लाभ यह है कि यह आपको अनुमानित हेसियन के कारक को बहुत जल्दी अपडेट करने की अनुमति देता है।

— ब्रायन बोरचर्स

BFGS की व्युत्पत्ति अधिक सहज है जब कोई मानता है (कड़ाई से) उत्तल लागत कार्य:

f (x) \to min_{x \in R^{n}} ।

$f(x) \to \min_{x\in \mathbb R^n}.$

x_{k}

$x_k$

f

$f$

f (x_{k} + p) \approx f (x_{k}) + \nabla f (x_{k})^{T} p + \frac{1}{2} p^{T} H (x_{k}) p . (*)

$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$

p

$p$

(*)

$(*)$

x_{k + 1} := x_{k} + p

$x_{k+1} := x_k + p$

(*)

$(*)$

p

$p$ "- और इसे शून्य पर सेट करने से संबंध जहां 'है' ढाल का जैकबियन 'या हेसियन मैट्रिक्स।

H (x_{k}) [x_{k + 1} - x_{k}] = \nabla f (x_{k + 1}) - \nabla f (x_{k}),

$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$

H

$H$

चूंकि हेसियन की गणना और व्युत्क्रम महंगा है ...

... एक छोटा सा जवाब

(cf. Broyden का अपडेट) हो सकता है कि BFGS अपडेट कम से कम हो जाए मानदंड में, का विषय है $H_{k+1}^{-1}$

‖ H_{k}^{- 1} - H^{- 1} ‖_{W}

$\|H_k^{-1} - H^{-1}\|_W$

$H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$ - यह वही है जो किसी के लिए बाहर है - और (
$H^T = H$ , क्योंकि हेसियन सममित है।

तब वेट की पसंद in औसत हेसियन ~~के विलोम के रूप में~~ , cf. यहाँ कथन के लिए, लेकिन बिना प्रमाण के, BFGS अद्यतन सूत्र (with ) देता है। $W$ $\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$ $\alpha_k = 1$

प्रमुख बिंदु हैं:

एक द्विघात सन्निकटन के लिए समाधान द्वारा वास्तविक लागत के लिए समाधान का अनुमान लगाने की कोशिश करता है
हेसियन की गणना, और इसके व्युत्क्रम, महंगा है। एक सरल अद्यतन पसंद करता है।
अद्यतन को वास्तविक हेसियन के बजाय व्युत्क्रम के लिए इष्टतम चुना गया है।
यह एक रैंक -2 अपडेट है जो फ्रोबेनियस मानदंड में भार की विशेष पसंद का परिणाम है।

एक लंबे समय तक उत्तर में शामिल होना चाहिए कि कैसे वज़न का चयन किया जाए, कैसे इस काम को नॉनवॉन्क्स समस्याओं के लिए बनाया जाए (जहां वक्रता की स्थिति दिखाई देती है, जिसके लिए खोज दिशा की स्केलिंग की आवश्यकता होती है ), और अद्यतन के लिए वास्तविक सूत्र कैसे प्राप्त करें। एक संदर्भ यहाँ (जर्मन में) है। $p$

— जनवरी
स्रोत

बहुत बहुत धन्यवाद, यह बहुत बढ़िया है (और कमोबेश जो मैंने Nocedal & Wright में चर्चा के आधार पर अपेक्षित था)। एक शेष प्रश्न मेरे पास है: हम और मानक का चयन क्यों करते हैं जैसा कि हम करते हैं? मुझे लगता है कि इसे इकाइयों के साथ करना है, लेकिन और मानदंडों के बहुत सारे संभावित विकल्प हैं जो ऐसा करते हैं।

W

$W$

W

$W$

— जस्टिन सोलोमन

हाँ सच। खैर, मुझे नहीं पता। एक उत्तर यह है कि यह सरल और अच्छी तरह से काम करने के फॉर्मूले को सरल बनाता है। ऐतिहासिक रूप से, अपडेट के लिए यह दृष्टिकोण - अपडेट में अंतर को कम करना - शन्नो द्वारा एक था। यह एक रेफरी (गोल्डफर्ब) था जिसने पाया कि वेट का एक विशेष विकल्प ब्राइडन और फ्लेचर के फार्मूले की ओर जाता है। इस PhD थीसिस को देखें BFGS सेकेंडरी विधि का ऐतिहासिक विकास ... BFGS के डेवलपर्स के अंतर्ज्ञान के लिए। हालांकि, सभी 3 दृष्टिकोण काफी सार हैं।

— Jan

दिलचस्प, मार्गदर्शन के लिए धन्यवाद! मेरा वर्तमान राइटअप (कुछ गणित गलतियों के साथ जिसकी मदद की आवश्यकता है) यहां है: graphics.stanford.edu/courses/cs205a-13-fall/assets/notes/… (यदि आप अपनी मदद के लिए क्रेडिट चाहते हैं तो मैं इसे प्रदान करके खुश हूं - कृपया मुझे उपयुक्त संपर्क जानकारी के साथ ईमेल करें)

— जस्टिन सोलोमन

एच ({एक्स}_{क}) [{एक्स}_{क + 1} - {एक्स}_{क}] = \nabla च ({एक्स}_{क + 1}) - \nabla च ({एक्स}_{क})

$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$

एच ({एक्स}_{क + 1}) [{एक्स}_{क + 1} - {एक्स}_{क}] = \nabla च ({एक्स}_{क + 1}) - \nabla च ({एक्स}_{क}) ?

$H(x_{k+1})[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)?$

H_{k + 1} s_{k} = y_{k}

$H_{k+1}s_k =y_k$

s_{k} = x_{k + 1} - x_{k}, y_{k} = \nabla f_{k + 1} - \nabla f_{k}

$s_k=x_{k+1}-x_k, y_k=\nabla f_{k+1}-\nabla f_k$