समीकरणों के रैखिक प्रणालियों को हल करने के लिए क्रायलोव उप-विधियों के अभिसरण के पीछे सिद्धांत क्या है?

Question

जैसा कि मैं इसे समझता हूं, समीकरणों के रैखिक प्रणालियों को हल करने के लिए पुनरावृत्ति विधियों की दो प्रमुख श्रेणियां हैं:

1. स्थिर विधियाँ (जैकोबी, गॉस-सीडेल, एसओआर, मल्टीग्रिड)
2. क्रायलोव सबस्पेस विधि (कंजुगेट ग्रेडिएंट, जीएमआरईएस, आदि)

मैं समझता हूं कि अधिकांश स्थिर तरीके त्रुटि के फूरियर मोड को पुनरावृत्त करने (सुचारू करने) द्वारा काम करते हैं। जैसा कि मैं इसे समझता हूँ, कंजुगेट ग्रेडिएंट मेथड (क्रायलोव सबस्पेस विधि) $n$ थेक अवशिष्ट पर लागू मैट्रिक्स की शक्तियों से खोज दिशाओं के एक इष्टतम सेट के माध्यम से "स्टेपिंग" द्वारा काम करता है । क्या यह सिद्धांत सभी क्रायलोव उप-विधियों के लिए सामान्य है? यदि नहीं, तो हम सामान्य रूप से क्रायलोव उप-विधियों के अभिसरण के पीछे सिद्धांत को कैसे चित्रित करते हैं?

Comments

स्थिर तरीकों का आपका विश्लेषण सरल मॉडल समस्याओं द्वारा पक्षपाती है, क्योंकि इनका विश्लेषण फूरियर मोड के संदर्भ में किया जा सकता है। यह वैकल्पिक दिशा निहित (ADI) और कई अन्य तरीकों की भी अनदेखी करता है। सबसे "स्थिर तरीके" का बिंदु कई सरल "अनुमानित आंशिक" सॉल्वर को एक पुनरावृत्त सॉल्वर में संयोजित करना है । क्रिलोव विधियों का उद्देश्य किसी दिए गए स्थिर रैखिक पुनरावृत्ति के अभिसरण में तेजी लाना (या लागू करना) है।

— थॉमस क्लिंपेल

एक पेपर जो मुझे लगता है कि आपके सवालों का जवाब देने के लिए लिखा गया था, इप्सन और मेयर, क्रायलोव के पीछे का विचार, आमेर। गणित। मासिक 105 (1998) पीपी। 889-899। यह यहाँ उपलब्ध एक शानदार ढंग से लिखा और स्पष्ट किया गया पेपर है ।

— एंड्रयू टी। बार्कर

@ एंड्रयूटी। बार्कर: बहुत बढ़िया! धन्यवाद एंड्रयू! :)

— पॉल

Answer 1

सामान्य तौर पर, सभी क्रिलोव तरीके अनिवार्य रूप से एक बहुपद की तलाश करते हैं जो मैट्रिक्स के स्पेक्ट्रम पर मूल्यांकन किया जाता है। विशेष रूप से, क्रिलोव विधि (शून्य प्रारंभिक अनुमान के साथ) के वें अवशिष्ट को फॉर्म में लिखा जा सकता है$n$

$$r_n = P_n (A) b$$

जहां डिग्री n के कुछ मोनोनिक बहुपद है ।$P_n$$n$

यदि diagonalizable है, साथ एक = वी Λ वी - 1 , हमारे पास है$A$$A=V\Lambda V^{-1}$

$$\begin{eqnarray*} \|r_n\| &\leq& \|V\|\cdot \|P_n(\Lambda)\|\cdot \|V^{-1}\|\cdot \|b\|\\ &=& \kappa(V) \cdot \|P_n(\Lambda)\| \cdot \|b\|. \end{eqnarray*}$$

इस घटना में कि सामान्य है (उदाहरण के लिए, सममित या एकात्मक) हमें पता है कि GMRES अर्नोल्डी पुनरावृत्ति के माध्यम से इस तरह के बहुपद का निर्माण करता है, जबकि CG एक अलग आंतरिक उत्पाद का उपयोग करके बहुपद का निर्माण करता है ( विवरण के लिए यह उत्तर देखें) )। इसी तरह, बीओसीजी अपने बहुपद का निर्माण निरर्थक लैंक्ज़ोस प्रक्रिया के माध्यम से करता है, जबकि चेबिशेव पुनरावृत्ति स्पेक्ट्रम पर पूर्व सूचना का उपयोग करता है (आमतौर पर सममित निश्चित मैट्रिक्स के लिए सबसे बड़े और सबसे छोटे eigenvalues ​​का अनुमान)।κ ( वी ) = $A$$\kappa(V) = 1.$

एक शांत उदाहरण के रूप में (ट्रेफेथेन + बाऊ से प्रेरित), एक मैट्रिक्स पर विचार करें जिसका स्पेक्ट्रम यह है:

MATLAB में, मैंने इसके साथ निर्माण किया:

A = rand(200,200);
[Q R] = qr(A);
A = (1/2)*Q + eye(200,200);

यदि हम GMRES पर विचार करते हैं, जो बहुपद का निर्माण करता है, जो वास्तव में डिग्री सभी राक्षसी बहुपद पर अवशिष्ट को कम करता है , तो हम आसानी से उम्मीदवार बहुपद को देखकर अवशिष्ट इतिहास का अनुमान लगा सकते हैं$n$

$$P_n (z) = (1-z)^n$$

जो हमारे मामले में देता है

$$|P_n(z)| = \frac{1}{2^n}$$

के स्पेक्ट्रम में लिए ।$z$$A$

अब, यदि हम एक यादृच्छिक RHS पर GMRES चलाते हैं और इस बहुपद के साथ अवशिष्ट इतिहास की तुलना करते हैं, तो उन्हें काफी समान होना चाहिए (उम्मीदवार बहुपद मान GMRES अवशिष्ट से छोटे हैं क्योंकि _ b_ ):$\|b\|_2 > 1$

Comments

क्या आप स्पष्ट कर सकते हैं कि "मैट्रिक्स के स्पेक्ट्रम पर छोटे" से आपका क्या मतलब है?

— पॉल

एक जटिल बहुपद के रूप में लिया गया है, बहुपद में जटिल विमान के एक क्षेत्र में छोटे मापांक होते हैं जिसमें का स्पेक्ट्रम शामिल होता है । एक समोच्च भूखंड की कल्पना करें जो आइजेनवेल्स के बिखरे हुए भूखंड पर स्थित है। कितना छोटा है? यह समस्या पर निर्भर करता है, क्या सामान्य है, और दाहिने हाथ की तरफहालांकि मूल विचार यह है कि बहुपद के अनुक्रम स्पेक्ट्रम पर उत्तरोत्तर छोटे और छोटे होने की तलाश करते हैं ताकि मेरे उत्तर में अवशिष्ट अनुमान हो जाए । $P_n$$A$$A$$b.$$(P_n)$$0$

— रीड.टेकसन

@ रीड.टेकसन: बहुत अच्छी तरह से। क्या मैं लिखने की सलाह दे सकता हूँas और यह उल्लेख करते हुए कि यह सामान्य मैट्रिसेस के लिए एक है? κ ‖ ( वी $\|V\|\|V^{-1}\|$$\kappa(V)$

— जैक पोल्सन

इष्टतम SOR द्वारा पूर्ववर्ती लाप्लासियन में इस उदाहरण मैट्रिक्स के समान एक स्पेक्ट्रम है। यहाँ विवरण: scicomp.stackexchange.com/a/852/119

— जेड ब्राउन

कड़े शब्दों में, CGNE स्पेक्ट्रम से स्वतंत्र है क्योंकि यह केवल एकवचन मूल्यों पर निर्भर करता है।

— जेड ब्राउन

Answer 2

मानदंडों पर

Reid.Atcheson के उत्तर के लिए एक परिशिष्ट के रूप में, मैं मानदंडों के संबंध में कुछ मुद्दों को स्पष्ट करना चाहूंगा। पर यात्रा, GMRES बहुपद पाता कि कम करता है अवशिष्ट की -norm$n^{\mathrm{th}}$$P_n$$2$

$$r_n = A x_n - b = \big(P_n(A) - 1 \big)b - b = P_n(A) b .$$

मान लीजिए कि , SPD है, इसलिए मानदंड बनाता है और इसलिए । फिर$A$$A$$A^{-1}$

$$\begin{align*} \lVert r_n \rVert_{A^{-1}} &= r_n^T A^{-1} r_n \\ &= (A e_n)^T A^{-1} A e_n \\ &= e_n^T A e_n \\ &= \lVert e_n \rVert_{A} \end{align*}$$

जहां हमने त्रुटि का उपयोग किया है

$$e_n = x_n - x_* = x_n - A^{-1} b = A^{-1} r_n$$

इस प्रकार त्रुटि के -norm के बराबर है अवशिष्ट का आदर्श। Conjugate gradients त्रुटि के -norm को कम करता है जो इसे कम ऊर्जा मोड को हल करने में अपेक्षाकृत अधिक सटीक बनाता है। अवशिष्ट की -norm है, जो कम करता GMRES, की तरह है त्रुटि के -norm, और इस तरह अर्थ में कमजोर है कि कम ऊर्जा मोड कम अच्छी तरह से हल कर रहे हैं है। ध्यान दें कि अवशिष्ट की -norm अनिवार्य रूप से बेकार है, क्योंकि यह कम ऊर्जा मोड पर भी कमजोर होती है।A - 1 A 2 A T A $A$$A^{-1}$$A$$2$$A^T A$$A$

अभिसरण सीमा की तीक्ष्णता

अंत में, जीएमआरईएस अभिसरण के विभिन्न क्रायलोव तरीकों और सूक्ष्मताओं के बारे में दिलचस्प साहित्य है, खासकर गैर-सामान्य ऑपरेटरों के लिए।

• Nachtigal, Reddy, और Trefethen (1992) निरंकुश मैट्रिक्स पुनरावृत्तियों कितनी तेजी से हैं? (लेखक का पीडीएफ) मैट्रिस का उदाहरण देता है जिसके लिए एक विधि एक बड़े कारक (मैट्रिक्स आकार के कम से कम वर्गमूल) द्वारा अन्य सभी को मारती है।

• एम्ब्री (1999) जीएमआरईएस अभिसरण सीमा कितने वर्णनात्मक हैं? स्यूडोस्पेक्ट्रा के संदर्भ में एक व्यावहारिक चर्चा देता है जो तेज सीमा देता है और गैर-विकर्ण परिपक्वता पर भी लागू होता है।

• एम्ब्री (2003) कछुआ और हरे पुनः आरंभ GMRES (लेखक पीडीएफ)

• Greenbaum, Pták, and Strakoš (1996) जीएमआरईएस के लिए कोई भी गैर-समेकित अभिसरण वक्र संभव है

Comments

आपने

— ओलवी नेवान्लिना

Answer 3

संक्षेप में विधर्मी तरीके:

1. स्थिर तरीके सार निश्चित बिंदु पुनरावृत्तियों में हैं : को हल करने के लिए , आप एक औंधा मैट्रिक्स उठाते हैं और का एक निश्चित बिंदु यह Banach के निश्चित बिंदु प्रमेय द्वारा परिवर्तित होता है अगर । विभिन्न विधियां फिर की एक विशिष्ट पसंद के अनुरूप हैं (जैसे, जैकोबी पुनरावृत्ति के लिए, , जहां एक विकर्ण मैट्रिक्स है जिसमें के विकर्ण तत्व होते हैं )।$Ax=b$$C$

   $$x = x + Cb- CAx$$ $\|I-CA\|<1$$C$$C=D^{-1}$$D$$A$

2. Krylov विधियाँ उप-प्रॉप्स विधियाँ सार प्रक्षेपण विधियों में हैं : आप उप-स्थान चुनते हैं और एक करते हैं, ताकि अवशिष्ट लिए orthogonal हो । क्रिलोव विधियों के लिए, निश्चित रूप से एक प्रारंभिक अवशिष्ट के लिए लागू शक्तियों द्वारा फैला हुआ स्थान है । विभिन्न तरीकों तो की विशिष्ट विकल्पों के अनुरूप (जैसे, तटरक्षक और के लिए GMRES के लिए)।$U,V\subset \mathbb{C}^n$$\tilde x \in U$$b-A\tilde x$$V$$U$$A$$V$$V=U$$V=AU$

   इन विधियों (और सामान्य रूप से प्रक्षेपण विधियों) के अभिसरण गुण इस तथ्य से अनुसरण करते हैं कि की संबंधित पसंद के कारण , पर इष्टतम हैं (उदाहरण के लिए, वे CG या अवशिष्ट के लिए ऊर्जा मानदंड में त्रुटि को कम करते हैं GMRES के लिए)। यदि आप प्रत्येक पुनरावृत्ति में के आयाम को बढ़ाते हैं, तो आपको कई चरणों के बाद समाधान खोजने के लिए (सटीक अंकगणित में) गारंटी दी जाती है।˜ एक्स यू $V$$\tilde x$$U$$U$

   के रूप में रीड Atcheson से कहा, रिक्त स्थान क्रीलोव प्रयोग करने के लिए आप eigenvalues के (और इस प्रकार हालत संख्या) के मामले में अभिसरण की दरों साबित करने के लिए अनुमति देता है । इसके अलावा, वे प्रक्षेपण कंप्यूटिंग के लिए कुशल एल्गोरिदम प्राप्त करने के लिए महत्वपूर्ण हैं ।ए ˜ $U$$A$$\tilde x$

   यह Youcef Saad की किताब में पुनरावृत्त तरीकों पर अच्छी तरह से समझाया गया है ।