समस्याएं जहां संयुग्म ढाल GMRES की तुलना में बहुत बेहतर काम करता है

Question

मुझे उन मामलों में दिलचस्पी है जहाँ Conjugate ग्रेडिएंट GMRES विधि से बहुत बेहतर काम करता है।

सामान्य तौर पर, सीजी एसपीडी (सममित-सकारात्मक-निश्चित) के कई मामलों में बेहतर विकल्प है क्योंकि इसमें सीजी के लिए अभिसरण दर पर कम भंडारण और सैद्धांतिक बाध्यता की आवश्यकता होती है जो जीएमआरईएस से दोगुनी है। क्या कोई समस्या है जहाँ ऐसी दरें वास्तव में देखी गई हैं? क्या ऐसे मामलों का कोई लक्षण वर्णन है जहां जीएमआरईएस एक ही संख्या में spmvs (स्पार्स मैट्रिक्स-वेक्टर गुणन) के लिए बेहतर या तुलनीय है।

Answer 1

सीजी के पक्ष में एक बात यह है कि यह अवशिष्ट पॉलीनोमियल (GMRES क्या करता है) के लिए असतत मानदंड को कम नहीं कर रहा है। यह बजाय एक मैट्रिक्स-प्रेरित मानदंड को कम कर रहा है, और बहुत बार यह मैट्रिक्स-प्रेरित मानदंड शारीरिक समस्याओं के विवेक के लिए ऊर्जा मानदंड के बहुत करीब होता है, और अक्सर संरक्षण गुणों के कारण त्रुटि को मापने के लिए यह अधिक उचित मानदंड है भौतिकी से।$l^2$

आप वास्तव में GMRES के साथ इस तरह के प्रभाव को प्राप्त कर सकते हैं यदि एक बड़े पैमाने पर मैट्रिक्स के चोल्स्की फैक्टराइजेशन का प्रदर्शन बहुत महंगा नहीं है, तो आप आंतरिक उत्पादों को अपनी इच्छा के अनुसार आंतरिक आंतरिक उत्पादों के लिए मजबूर कर सकते हैं।

फिर जिन मामलों में किसी को सीजी से जीएमआरईएस से बहुत अलग प्रदर्शन करने की उम्मीद करनी चाहिए, वह तब है जब मानक तुल्यता में निहित स्थिरांक बहुत अलग हैं। उदाहरण के लिए यह उच्च श्रेणी के वर्णक्रमीय-गैलेर्किन विधि में उदाहरण के लिए सही हो सकता है, जहां GMRES में प्रयुक्त असतत मानदंड स्वतंत्रता के सभी डिग्री को समान मानते हैं, जब वास्तव में बहुपद ग्रेडिएंट सीमाओं के पास सबसे तेज होते हैं (इसलिए नोड क्लस्टरिंग), और इसी तरह मानदंड उस मानक के बीच स्थिर होता है और कहते हैं कि द्रव्यमान मैट्रिक्स द्वारा दिए गए निरंतर मानदंड बहुत बड़े हो सकते हैं।$l^2$$L^2$

Comments

सीजी, जीएमआरईएस, और जीएमआरईएस + चोल्स्की ट्रिक के उच्च आदेश पद्धति और अभिसरण इतिहास के साथ यहां एक उदाहरण देना चाहते थे .. लेकिन दुर्भाग्य से दूसरे आदेश की समस्याओं के लिए मेरे पास एकमात्र कोड निरर्थक विविधता का डीजी है .. इसलिए सीजी isn लागू नहीं है, यह कार्रवाई में देखना पसंद करेंगे।

— रीड.टेकसन

मुझे लगता है कि आपका जवाब कुछ महत्वपूर्ण हो जाता है लेकिन काश आप स्पष्ट करते। विशेष रूप से, सवाल एक शुद्ध रेखीय बीजगणित प्रश्न है, और आपका उत्तर भौतिक मानदंडों और द्रव्यमान के बारे में बात करता है और इसी तरह एक संख्यात्मक पीडीई से। क्या हम इस बारे में कुछ सटीक कह सकते हैं कि एक ही क्रायलोव अंतरिक्ष के भीतर विभिन्न मानदंडों में कम से कम कैसे अलग-अलग पुनरावृत्तियों की ओर जाता है?

— एंड्रयू टी। बार्कर

संख्यात्मक उदाहरणों के अलावा, मुझे नहीं लगता कि अभी तक एक सावधानीपूर्वक सैद्धांतिक अध्ययन किया गया है जिसमें बताया गया है कि विभिन्न मानदंडों से अलग-अलग उत्तर कैसे मिलते हैं। मुझे लगता है कि मुद्दा यह है कि परिणाम asymptotics के चारों ओर घूमते हैं, और एक निश्चित रैखिक प्रणाली के लिए सैद्धांतिक परिणाम समान मोड्यूलर स्थिर कारक होंगे। अगर कुछ सैद्धांतिक अध्ययन हैं, तो मैं उन्हें देखना पसंद करूंगा, लेकिन मेरे विभाग के कुछ संख्यात्मक रैखिक बीजगणित विशेषज्ञों से पूछने पर ऐसा नहीं लगता है कि एक सटीक सैद्धांतिक विश्लेषण है जो विभिन्न मानदंडों के साथ होता है।

— रीड.टेकसन

Answer 2

मुझे संदेह है कि एसपीडी मैट्रिक्स के लिए जीएमआरईएस और सीजी के बीच सामान्य रूप से बहुत अंतर नहीं है।

मान लें कि हम को सममित सकारात्मक निश्चितता और शुरुआती अनुमान साथ हल कर रहे हैं और CG और GMRES के साथ पुनरावृत्त उत्पन्न कर रहे हैं, उन्हें और । दोनों पुनरावृत्ति विधियाँ एक ही स्थान से निर्माण । वे थोड़ा अलग तरीकों से ऐसा करेंगे।एक एक्स 0 = 0 एक्स सी कश्मीर एक्स जी कश्मीर एक्स कश्मीर कश्मीर कश्मीर = { ख , एक ख , एक 2 ख , ... $Ax = b$$A$$x_0 = 0$$x_k^c$$x_k^g$$x_k$$K_k = \{ b, Ab, A^2b, \ldots \}$

CG को प्रेरित ऊर्जा मानदंड में त्रुटि को कम करने की विशेषता है , इसलिए उस एक ( एक ई सी कश्मीर , ई सी कश्मीर ) = ( एक ( एक्स - एक्स सी कश्मीर ) , एक्स - एक्स सी कश्मीर ) = मिनट y ∈ कश्मीर ( एक ( एक्स - y ) , x - y ) $e_k^c = x - x_k^c$$A$

$$\begin{equation} (A e_k^c, e_k^c) = (A (x - x_k^c), x - x_k^c) = \min_{y \in K} (A (x-y), x-y). \end{equation}$$

GMRES इसके बजाय अवशिष्ट को कम करता है, और असतत मानदंड में ऐसा करता है, जिससे कि अब त्रुटि समीकरण का उपयोग कर हम GMRES को न्यूनतम कर सकते हैं जहां मैं इस बात पर जोर देना चाहता हूं कि यह केवल SPD मैट्रिक्स । तब हमारे पास मान के संबंध में त्रुटि न्यूनतम है और संबंध में त्रुटि को कम करने वाले जीएमआरईएस ℓ 2 ( आर कश्मीर , आर कश्मीर ) = ( ख - एक एक्स जी कश्मीर , ख - एक एक्स जी कश्मीर ) = मिनट y ∈ कश्मीर ( ख - एक y , ख - एक y ) । ए ई के = आर के ( आर के$r_k = b - A x^g_k$$\ell^2$

$$\begin{equation} (r_k, r_k) = (b - A x_k^g, b - A x_k^g) = \min_{y \in K} (b - Ay, b - Ay). \end{equation}$$ $A e_k = r_k$एक एक एक 2 एक $$\begin{equation} (r_k, r_k) = (A e_k^g, A e_k^g) = (A^2 e_k^g, e_k^g) \end{equation}$$ $A$$A$$A^2$आदर्श। यदि हम चाहते हैं कि वे बहुत अलग तरह से व्यवहार करें, तो सहज रूप से हमें आवश्यकता होगी, जैसे कि ये दोनों मानदंड बहुत अलग हैं। लेकिन एसपीडी ये मानदंड समान रूप से व्यवहार करेंगे।$A$$A$

स्थान साथ पहले पुनरावृत्ति में और भी अधिक विशिष्ट प्राप्त करने के लिए , CG और GMRES दोनों फॉर्म एक सन्निकटन का निर्माण करेंगे । CG start Alpha का चयन करेगा और GMRES start चयन करेगा यदि प्रविष्टियों के साथ विकर्ण है और तो पहले CG GM चरण के पहले चरण के मुकाबले CG चरण दोगुना हो जाता है। संभवतः आप और निर्माण कर सकते हैंx 1 = α b α = ( बी , बी $K_1 = \{ b \}$$x_1 = \alpha b$ α=(एबी,बी

$$\begin{equation} \alpha = \frac{ (b,b) }{ (Ab,b) } \end{equation}$$ एक(ε,1,1,1,...)ख=(1,1,0,0,0,...)ε→0ए $$\begin{equation} \alpha = \frac{ (Ab,b) }{ (A^2b,b) }. \end{equation}$$ $A$$(\epsilon,1,1,1,\ldots)$$b = (1,1,0,0,0,\ldots)$$\epsilon \rightarrow 0$$A$$b$ ताकि पूरे अंतर में दो अंतर का यह कारक जारी रहे, लेकिन मुझे संदेह है कि यह इससे भी बदतर है।

Comments

चलो । तब , , और । इस प्रकार , लेकिन । अर्थात्, प्रारंभिक वेक्टर पहले से ही अवशिष्ट को छोटा बनाने के लिए सही पैमाना है, लेकिन त्रुटि को छोटा करने के लिए द्वारा स्केल किया जाना चाहिए । | बी| =$b = (1,\sqrt{\epsilon},0,0,\dotsc)$ खटीएबी=$|b| = \sqrt{1 + \epsilon}$$b^T A b = \sqrt{2} \epsilon$$b^T A^2 b = \epsilon \sqrt{1 + \epsilon^2}$$\alpha_{\text{CG}} = \frac{\epsilon^{-1}+1}{\sqrt 2} \sim \epsilon^{-1}$$\alpha_{\text{GMRES}} = \sqrt{\frac{2}{1 + \epsilon^2}} \sim \sqrt{2}$$\epsilon^{-1}$

— जेड ब्राउन

Answer 3

एक बात यह है कि GMRES का उपयोग कभी नहीं किया जाता है जहाँ CG लागू किया जा सकता है। मुझे नहीं लगता कि इन दोनों की तुलना करने का कोई मतलब है। एसपीडी मैट्रिसेस के लिए, सीजी निश्चित रूप से भंडारण आवश्यकताओं और आपके द्वारा ऊपर बताए गए कारणों के कारण विजेता है। एक सवाल जो दिलचस्प होगा, वह है सीजी के विस्तार का पता लगाना, यह उन समस्याओं पर लागू होता है जहां सीजी लागू नहीं किया जा सकता है। BiCG-stab जैसी विधियाँ हैं जिनमें GMRES जैसी रैखिक रूप से बढ़ती मेमोरी की आवश्यकता नहीं होती है, लेकिन अभिसरण GMRES (कुछ समय के लिए GMRES के साथ भी) के रूप में अच्छा नहीं है।

Comments

स्मृति बचत, स्थिरता और अभिसरण के संदर्भ में GMRES और BiCG के बीच की खाई को पाटने वाली IDR योजनाएं हैं: ta.twi.tudelft.nl/nw/users/gijzen/IDR.html मुझे यकीन है कि मैं GMRES से सहमत हूँ यदि CG हो सकता है तो इसका उपयोग नहीं किया जाना चाहिए। यदि आप एक मैट्रिक्स के चोल्स्की फैक्टराइजेशन कर सकते हैं जो आपके ऊर्जा मानदंड को प्रेरित करता है, तो आप उसे एक सममित लैंज़ोज़ पुनरावृत्ति में फ़ीड कर सकते हैं और तीन टर्म पुनरावृत्ति समाधान प्राप्त कर सकते हैं जो सीजी की तरह बहुत व्यवहार करेगा। बेशक, CG आसान विकल्प है, लेकिन विकल्प उपलब्ध है :)

— Reid.Atcheson

यदि आप उदाहरण के लिए क्रायलोव स्मूथ का उपयोग करते हैं, तो जीएमआरईएस बेहतर होने की संभावना है क्योंकि यह एक कमजोर मानदंड का उपयोग करता है जो बड़े ईजेनवेल्यूज को लक्षित करता है जो उच्च आवृत्ति होते हैं।

— जेड ब्राउन