कंजुगेट ग्रेडिएंट की सबसे खराब स्थिति क्या है?

Question

चलो $A\in \mathbb{R}^{n\times n}$, सममित और सकारात्मक निश्चित। मान लीजिए कि यह लेता है$m$ एक वेक्टर से गुणा करने के लिए काम की इकाइयाँ $A$। यह सर्वविदित है कि CG एल्गोरिथ्म पर प्रदर्शन कर रहा है$A$ शर्त संख्या के साथ $\kappa$ की आवश्यकता है $\mathcal{O} (m\sqrt{\kappa})$, काम की इकाइयाँ।

अब, ज़ाहिर है, एक होने के नाते $\mathcal{O}$यह एक ऊपरी सीमा है। और CG एल्गोरिथम हमेशा भाग्यशाली प्रारंभिक अनुमान के साथ शून्य चरणों में समाप्त हो सकता है।

क्या हम जानते हैं कि यदि कोई RHS और प्रारंभिक (अशुभ) अनुमान मौजूद है, जिसकी आवश्यकता होगी $\mathcal{\Theta}(\sqrt{\kappa})$कदम? दूसरा तरीका रखो, वास्तव में CG की सबसे खराब स्थिति है$\Theta( m \sqrt{\kappa})$?

यह सवाल तब उठता है जब मैंने यह निर्धारित करने की कोशिश की कि क्या एक पूर्व-व्यवसायी का लाभ (कम) है $\kappa$) इसकी लागत (अधिक) $m$)। अभी, मैं खिलौना समस्याओं के साथ काम कर रहा हूं और एक संकलित भाषा में कुछ भी लागू करने से पहले एक बेहतर विचार रखना चाहूंगा।

Comments

आप संभवतः सीजी एल्गोरिथ्म "बैकवर्ड" चलाकर और प्रत्येक में उपयुक्त ऊर्जा डालकर एक पेसिमल प्रारंभिक अनुमान लगा सकते हैं $A$-ऑर्थोगोनल खोज निर्देश है कि एल्गोरिथ्म सभी चरणों की आवश्यकता है।

— ओरिगम्बो

Answer 1

इस जवाब से हां का गुंजायमान हो रहा है। अभिसरण की सीमा$(\sqrt{\kappa}-1) / (\sqrt{\kappa}+1)$ स्थिति संख्या के साथ सममित सकारात्मक निश्चित मैट्रिक्स के सेट पर तेज है $\kappa$। दूसरे शब्दों में, इसके बारे में और कुछ नहीं जानना$A$ अपनी स्थिति संख्या से, सीजी वास्तव में ले सकता है $\sim\sqrt{\kappa}$अभिसरण करने के लिए पुनरावृत्तियों। शिथिल बोल रहा है, अगर उपनिवेशों की ऊपरी सीमा प्राप्त की जाती है$A$ समान संख्या के अंतराल के भीतर समान रूप से वितरित (यानी "peppered") हैं $\kappa$।

यहाँ एक और अधिक कठोर कथन है। नियतात्मक संस्करण अधिक शामिल हैं, लेकिन समान सिद्धांतों का उपयोग करके काम करते हैं।

प्रमेय (सबसे खराब स्थिति का विकल्प)$A$)। किसी भी यादृच्छिक ऑर्थोगोनल मैट्रिक्स को चुनें$U$, चलो $\lambda_1,\ldots,\lambda_n$ होना $n$ वास्तविक संख्या समान रूप से वास्तविक अंतराल से नमूना $[1,\kappa]$, और जाने $b=[b_1;\ldots;b_n]$ होना $n$वास्तविक संख्या मानक गाऊसी से iid नमूना। परिभाषित करें

$$A=U\mathrm{diag}(\lambda_1,\ldots,\lambda_n)U^T.$$ फिर हद में $n\to\infty$, संयुग्म ग्रेडिएंट्स एक के साथ संभाव्यता के साथ अभिसरण करेगा $\epsilon$ का सटीक समाधान $Ax=b$ से कम में नहीं $\Omega(\sqrt{\kappa}\log\epsilon^{-1})$ पुनरावृत्तियों।

सबूत। ग्रीनबूम की किताब या साद की किताब जैसी कई जगहों पर पाई जाने वाली तकनीकों का उपयोग करते हुए मानक प्रमाण इष्टतम चेबीशेव बहुपद सन्निकटन पर आधारित है ।

Comments

बाउंड तेज नहीं है, जैसा कि उत्तर बाद में बताता है, यदि आइजेनवॉल को समान रूप से वितरित नहीं किया जाता है, तो सीजी तेजी से परिवर्तित होता है, क्योंकि यह एक स्टिंजरी पुनरावृत्ति नहीं है। इस प्रकार, हमें मैट्रिक्स के बारे में अधिक जानने की आवश्यकता है।

— गुइडो कंसचैट

@GuidoKanschat: अच्छी बात है, और मैंने यह स्पष्ट करने के लिए बयान को निर्धारित किया है कि तेजता सभी पर प्राप्त होती है $A$ शर्त के साथ $\kappa$।

— रिचर्ड जांग

प्रमाण कम से कम उबलता है $\|p(A)\|$आदेश के स्थान में- बहुपद को संतुष्ट करने वाला । समान रूप से यह में। निर्दिष्ट सीमा में, , और न्यूनतम समस्या का समाधान तब Chebyshev बहुपद है, जिसकी त्रुटि रूप में परिवर्तित होती है$k$$p(0)=1$$\min_p \max_{\lambda\in\Lambda(A)} |p(\lambda)|$$\Lambda(A)\to[1,\kappa]$$\sim\sqrt{\kappa}$

— रिचर्ड झांग

Answer 2

इसे मेरे मूल प्रश्न के रूप में लेते हुए: क्या हम जानते हैं कि यदि कोई RHS और प्रारंभिक (अशुभ) अनुमान मौजूद है, जिसके लिए चरणों की आवश्यकता होगी?$\Theta(\sqrt{\kappa})$

प्रश्न का उत्तर "नहीं" है। इस जवाब का विचार Guido Kanschat की टिप्पणी से आया है।

दावा: किसी भी दी गई शर्त संख्या , उस स्थिति संख्या के साथ एक मैट्रिक्स मौजूद है , जिसके लिए CG एल्गोरिथ्म अधिकांश दो चरणों (किसी भी RHS और प्रारंभिक अनुमान के लिए) में समाप्त हो जाएगा।$k$$A$

पर विचार करें जहां । फिर की स्थिति संख्या is । चलो आरएचएस हो, और eigenvalues के निरूपित के रूप में जहां $A\in \mathbb{R}^{n\times n}$$A=\mathrm{diag}(1,\kappa,\kappa,\ldots, \kappa)$$A$$\kappa$$b\in \mathbb{R}^n$$A$$\lambda_i$

$$\lambda_i = \left\{\begin{array}{ll}1 & i=1\\ \kappa & i\not= 1 \end{array} \right. .$$

हम पहले उस मामले पर विचार करते हैं जहां , प्रारंभिक अनुमान, शून्य है। निरूपित के दूसरे अनुमान के रूप में तटरक्षक एल्गोरिथ्म से। हम दिखाते हैं कि दिखा कर । वास्तव में, हमारे पास है$x^{(0)} \in \mathbb{R}^n$$x^{(2)}\in \mathbb{R}^n$$A^{-1}b$$x^{(2)} =A^{-1}b$$\langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle =0$

$$\begin{align*} \langle x^{(2)}-A^{-1}b, A(x^{(2)}-A^{-1}b)\rangle &= \left\| x^{(2)}-A^{-1}b \right\|_A^2 \\ &=\min_{p\in \mathrm{poly}_{1} } \left\| (p(A)-A^{-1}) b \right\|_A^2\\ &=\min_{p\in \mathrm{poly}_{1} } \sum_{i=1}^n (p(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 \\ &\le \sum_{i=1}^n (\widehat{p}(\lambda_i) - \lambda_i^{-1})^2 \lambda_i b_i^2 = 0 \end{align*}$$

जहाँ हम पहले क्रम के बहुपद जिसे रूप में परिभाषित किया जाता है । इसलिए हमने लिए मामला साबित किया ।$\widehat{p}$$\widehat{p}(x)= (1+\kappa-x)/\kappa$$x^{(0)}= 0$

यदि , तो जहां साथ CG एल्गोरिथ्म का दूसरा अनुमान है जिसे साथ बदल दिया गया है । इसलिए हमने इस मामले को पिछले एक तक कम कर दिया है। $x^{(0)} \not = 0$$x^{(2)}= \overline{x^{(2)}}+ x^{(0)}$$\overline{x^{(2)} }$$b$$\overline{b} = b-A x^{(0)}$

Comments

सटीक अंकगणित परिमित करने के लिए यह कितना मजबूत है?

— ओरिजिमो

@origimbo यदि आपका प्रश्न मेरे लिए निर्देशित किया गया था, तो उत्तर है, "मुझे नहीं पता।"

— फ्रेड