पुनरावृत्ति विधियों के लिए "अभिसरण की दर" को समझना

Question

विकिपीडिया के अनुसार अभिसरण की दर वेक्टर मानदंडों के एक विशिष्ट अनुपात के रूप में व्यक्त की जाती है। मैं "रेखीय" और "द्विघात" दरों के बीच के अंतर को समझने की कोशिश कर रहा हूं, समय के विभिन्न बिंदुओं पर (मूल रूप से, "शुरुआत की", और "अंत में")। यह कहा जा सकता है कि:

• रैखिक अभिसरण के साथ, त्रुटि के आदर्श की पुनरावृति एक्स कश्मीर + 1 से घिरा है ‖ ई कश्मीर$e_{k+1}$$x_{k+1}$$\|e_k\|$

• द्विघात अभिसरण के साथ, iterate x k + 1 की त्रुटि का मान ‖ e k ‖ 2 से घिरा है$e_{k+1}$$x_{k+1}$$\|e_k\|^2$

इस तरह की व्याख्या का मतलब होगा कि, रैखिक रूप से अभिसरण एल्गोरिथ्म A1 (यादृच्छिक प्रारंभिक मान लिया) के कुछ (छोटी संख्या) पुनरावृत्तियों के साथ, कुछ त्रुटि चतुर्भुज अभिसरण एल्गोरिथ्म A2 के कुछ पुनरावृत्तियों के साथ प्राप्त की जाएगी। हालाँकि, चूंकि त्रुटि कम हो जाती है, और स्क्वेरिंग के कारण, बाद में iterates का अर्थ A2 के साथ छोटी त्रुटि होगी।

क्या उपरोक्त व्याख्या वैध है? ध्यान दें कि यह दर गुणांक उपेक्षा करता है ।$\lambda$

Comments

यह भी संभव है कि आपका

— चतुर्भुज रूपांतरित

Answer 1

$e_k$$\lambda$$k\to\infty$

उदाहरण के लिए, ऑप्टिमाइज़ेशन में पहले ऑर्डर के तरीकों के लिए आप अक्सर गलती से शुरू में तेजी से कमी का निरीक्षण करते हैं, जो तब स्तर से बाहर हो जाता है। दूसरी ओर न्यूटन की विधि के लिए, इसमें सुपरलाइनियर (या द्विघात) अभिसरण किक से पहले कुछ समय लग सकता है (यह केवल स्थानीय रूप से सुपरलाइनियरली कन्वर्जेंट है)। उस कारण से, न्यूटन विधि पर स्विच करने से पहले या तो जाने के लिए कुछ ढाल चरणों के साथ शुरू करना आम है, या होमोटॉपी या अर्ध-न्यूटन विधियों का उपयोग करना जो पहले क्रम के तरीकों के रूप में शुरू में व्यवहार करते हैं और न्यूटन विधि में बदल जाते हैं जब आप दृष्टिकोण करते हैं। लक्ष्य।

Answer 2

$e_{k+1} \le \lambda_1 e_k$$\lambda_1<1$$e_{k+1} \le \lambda_2 e_k^2$$\lambda_2$$\lambda_2 e_1<1$- यानी, आपका शुरुआती अनुमान काफी करीब है। यह आमतौर पर देखा जाने वाला व्यवहार है: कि द्विघात रूप से अभिसरण एल्गोरिदम को शुरू करने के लिए समाधान के लिए "करीब पर्याप्त" शुरू करने की आवश्यकता है, जबकि रैखिक रूप से अभिसरण एल्गोरिदम आमतौर पर अधिक मजबूत होते हैं। यह एक और कारण है कि अधिक कुशल लोगों (उदाहरण के लिए, न्यूटन की विधि) पर स्विच करने से पहले एक अक्सर एक रेखीय अभिसरण एल्गोरिथ्म (उदाहरण के लिए, सबसे कम वंश विधि) के कुछ चरणों के साथ शुरू होता है।

Answer 3

व्याख्या गुणात्मक रूप से सही है।

ध्यान दें कि रैखिक और द्विघात अभिसरण सबसे खराब स्थिति के संबंध में हैं, एक विशेष एल्गोरिथ्म में स्थिति वोल्फगैंग बंगर्थ द्वारा दिए गए सबसे खराब मामले के विश्लेषण से बेहतर हो सकती है, हालांकि गुणात्मक स्थिति आमतौर पर इस विश्लेषण से मेल खाती है।

कंक्रीट एल्गोरिदम में (उदाहरण के लिए, अनुकूलन में) यह अक्सर समझ में आता है कि जब तक प्रगति धीमी नहीं होती, तब तक एक सस्ते लेकिन केवल रैखिक रूप से अभिसरण विधि के साथ इसे पुन: व्यवस्थित किया जाता है, और फिर द्विघात (या कम से कम सुपरलाइनियर) अभिसरण विधि के साथ समाप्त होता है। व्यवहार में, सुपरलाइनियर अभिसरण केवल द्विघात अभिसरण के रूप में अच्छा होता है क्योंकि प्रारंभिक, धीरे-धीरे परिवर्तित भाग समग्र कार्य पर हावी होता है।