प्रारंभिक Hessian सन्निकटन के लिए BFGS की संवेदनशीलता

Question

मैं एक फ़ंक्शन का न्यूनतम पता लगाने के लिए Broyden-Fletcher-Goldfarb-Shanno पद्धति को लागू करने की कोशिश कर रहा हूं। मुझे दो प्रारंभिक अनुमानों की आवश्यकता है$x_{-1}$ और $x_0$ और एक प्रारंभिक हेसियन मैट्रिक्स सन्निकटन $B_0$। केवल वही आवश्यकताएँ जिन्हें मैं खोजता हूँ$B_0$ यह है कि अगर हेसियन सममित सकारात्मक निश्चित है, तो भी होना चाहिए $B_0$। विकिपीडिया को देखते हुए, मैं देखता हूं कि एक सामान्य प्रारंभिक सन्निकटन है$B_0=I$(पहचान मैट्रिक्स)। क्या यह हमेशा एक अच्छा प्रारंभिक है$B_0$? क्या कोई कारण है कि मैं इसके अलावा कुछ भी चुनना चाहता हूं$I$? क्या B के अन्य विकल्प, समान मैट्रिक्स गुणों को संतुष्ट करते हुए, विधि के अभिसरण को बहुत प्रभावित करेंगे?

Answer 1

यदि आपके पास एक उचित हेस्सियन सन्निकटन है, तो मनमानी के बजाय इसका उपयोग करना बेहतर है $B_0=I$।

संपादित करें: तर्क यह है कि यदि आप समाधान के करीब शुरू करते हैं $x^*$अभिसरण की प्रारंभिक दर (किसी के लिए) है $r>0$) $r+1$-स्टेप लीनियर विथ a $r+1$-स्टेप कंवर्जेशन फैक्टर ऑफ $q=\|B_0^{-1}f''(x^*)-G\|$यदि यह पहचान मैट्रिक्स के कुछ रैंक सुधार के लिए । इस प्रकार इस छोटे को बनाने की कोशिश बहुत मूल्यवान है। (यह सिस्टम को पूर्वनिर्मित करने के बराबर है।) अभिसरण कारक समय के साथ सुधरता है और अंततः शून्य (सुपरलाइनियर कन्वर्जेन्स) के पास पहुंचता है, लेकिन कई वास्तविक समस्याओं (विशेष रूप से उच्च-आयामी वाले) में, कोई भी सुपरएयरियर शासन तक पहुंचने के लिए पर्याप्त पुनरावृत्तियां नहीं बनाता है। इस प्रकार प्रारंभिक गति काफी महत्वपूर्ण है।$<1$$r$$G$

एक महत्वपूर्ण मामला है जब नॉनलाइनियर कम से कम वर्गों की समस्याओं को हल करना (न्यूनतम ), जहां गौस-न्यूटन का सन्निकटन प्रारंभिक हेसियन का हो सकता है दूसरे डेरिवेटिव की आवश्यकता के बिना गणना की गई। इसका उपयोग करने से बीएफजीएस विधि एफाइन को अपरिवर्तनीय बनाता है, अर्थात, न्यूटन की विधि की तरह के रैखिक परिवर्तनों के तहत , जो आमतौर पर बहुत फायदेमंद होता है।$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

एक और महत्वपूर्ण मामला है जब आप संबंधित समस्याओं का एक क्रम हल करते हैं। अक्सर, पिछली समस्या के अंतिम हेसियन सन्निकटन के साथ सॉल्वर को फिर से शुरू करने से जरूरी पुनरावृत्तियों की संख्या में कमी आती है।

Comments

हेस्सियन सममित सकारात्मक निश्चित होने की उम्मीद है, तो किसी भी सममित सकारात्मक निश्चित मैट्रिक्स अभी भी अभिसरण का कारण होगा, लेकिन पर अभिसरण टिकी हुई है की दर से कितने करीब हेस्सियन जैसा दिखता है? $B_0$$B_0$

— पॉल

नहीं, अंततः, BFGS शुरुआती मैट्रिक्स के बारे में भूल जाता है, इसलिए रूप में अभिसरण हमेशा एक ही क्रम होता है। लेकिन यह निश्चित रूप से दिलचस्प नहीं है क्योंकि आप कभी भी असीम रूप से कई कदम नहीं उठाते हैं। $k\rightarrow \infty$

— वुल्फगैंग बंगर्थ

@Paul: मेरा संपादन देखें

— अर्नोल्ड न्यूमैयर