क्या विकर्ण प्लस निश्चित सममित रैखिक प्रणालियों को प्री-कॉम्पटिशन के बाद द्विघात समय में हल किया जा सकता है?

21

वहाँ एक है $O(n^3+n^2 k)$ को हल करने के विधि $k$ फार्म की प्रणाली रैखिक $(D_i + A) x_i = b_i$ जहां $A$ एक निश्चित एसपीडी मैट्रिक्स और है $D_i$ सकारात्मक विकर्ण मैट्रिक्स कर रहे हैं?

उदाहरण के लिए, यदि प्रत्येक $D_i$ अदिश है, इसके बारे में SVD गणना करने के लिए पर्याप्त होता है $A$ । हालांकि, यह सामान्य लिए टूट जाता है $D$ कम्यूटिटी की कमी के कारण यह के ।

अद्यतन : अब तक के जवाब "नहीं" हैं। क्या किसी के पास कोई दिलचस्प अंतर्ज्ञान है क्यों? एक जवाब का मतलब यह नहीं है कि दो गैर-संचालक ऑपरेटरों के बीच सूचना को संपीड़ित करने का कोई गैर-तरीका है। यह आश्चर्यजनक रूप से आश्चर्यजनक नहीं है, लेकिन इसे बेहतर समझना बहुत अच्छा होगा।

— जेफ्री इरविंग
स्रोत

एसपीडी = अर्ध-सकारात्मक निश्चित?

— रंगरेल

हां, हालांकि समस्या अनिवार्य रूप से एसपीडी के बिना समान है। मैंने केवल यह सुनिश्चित करने के लिए उस बाधा को जोड़ा कि सिस्टम कभी भी एकवचन नहीं हैं।

— ज्योफ्री इरविंग

19

आपके प्रश्न का निकटतम सकारात्मक उत्तर जो मुझे मिल सकता है, विरल विकर्ण गड़बड़ी के लिए है (नीचे देखें)।

इसके साथ ही कहा, मुझे सामान्य मामले के लिए किसी भी एल्गोरिदम का पता नहीं है, हालांकि एसपीडी मैट्रिस से सभी वर्ग मैट्रिसेस में स्केलर शिफ्टर्स के लिए आपके द्वारा बताई गई तकनीक का सामान्यीकरण है:

किसी भी वर्ग मैट्रिक्स को देखते हुए , वहाँ एक शुर अपघटन मौजूद है , जहां एकात्मक है और ऊपरी त्रिकोणीय है, और प्रदान करता है एक शुर के अपघटन । इस प्रकार, आपका पूर्व-निर्धारण विचार एल्गोरिथम के माध्यम से सभी वर्ग मैट्रिसेस तक फैला हुआ है: $A$ $A=U T U^H$ $U$ $T$ $A+\sigma I = U (T + \sigma I) U^H$ $A + \sigma I$

अधिकांश कार्य में गणना करें । $[U,T]=\mathrm{schur}(A)$ $\mathcal{O}(n^3)$
समाधान प्रत्येक के माध्यम से में काम (मध्य उलट बस वापस प्रतिस्थापन है)। $(A+\sigma I) x = b$ $x := U (T +\sigma I)^{-1} U^H b$ $\mathcal{O}(n^2)$

तर्क की यह रेखा आपके उस दृष्टिकोण को कम कर देती है जब आप $A$ एसपीडी होता है क्योंकि शूर अपघटन सामान्य मैट्रिसेस के लिए ईवीडी को कम कर देता है, और ईवीडी एसवीडी के साथ हरमिटियन पॉजिटिव-निश्चित मैट्रिस के लिए मेल खाता है।

अद्यतन करने के लिए प्रतिक्रिया: जब तक मेरे पास एक प्रमाण नहीं है, जो कि मेरे पास नहीं है, मैं यह दावा करने से इनकार करता हूं कि उत्तर "नहीं" है। हालांकि, मैं कुछ अंतर्दृष्टि दे सकता हूं कि यह कठिन क्यों है, साथ ही एक और सबकेस भी है जहां जवाब हां है।

आवश्यक कठिनाई यह है कि भले ही अपडेट विकर्ण हो, यह अभी भी सामान्य पूर्ण रैंक पर है, इसलिए एक व्युत्क्रम को अद्यतन करने के लिए प्राथमिक उपकरण, शर्मन-मॉरिसन-वुडबरी फॉर्मूला , मदद करने के लिए प्रकट नहीं होता है। भले ही स्केलर शिफ्ट केस फुल रैंक भी हो, लेकिन यह एक बहुत ही खास मामला है क्योंकि यह हर मैट्रिक्स के साथ होता है, जैसा कि आपने बताया।

इसके साथ ही, अगर प्रत्येक विरल था, यानी, उनमें से प्रत्येक में नॉनज़रोज़ था, तो शर्मन-मॉरिसन-वुडबरी फॉर्मूला प्रत्येक जोड़ी साथ एक हल निकालता है । उदाहरण के लिए, पर एक ही अशून्य साथ वें विकर्ण प्रविष्टि, ताकि : $D$ $\mathcal{O}(1)$ $\mathcal{O}(n^2)$ $\{D,b\}$ $j$ $D=\delta e_j e_j^H$

[A^{- 1} + δ e_{j} e_{j}^{H}]^{- 1} = A^{- 1} - \frac{δ A^{- 1} e_{j} e_{j}^{H} A^{- 1}}{1 + δ (e_{j}^{H} A^{- 1} e_{j})},

$[A^{-1}+\delta e_j e_j^H]^{-1} = A^{-1} - \frac{\delta A^{-1} e_j e_j^H A^{-1}}{1+\delta (e_j^H A^{-1} e_j)},$

जहां है वें मानक आधार वेक्टर । $e_j$ $j$

एक और अद्यतन: मुझे लगता है कि मैंने कोशिश का उल्लेख करना चाहिए Preconditioner कि @GeoffOxberry कुछ यादृच्छिक एसपीडी पर सुझाव पीसीजी और, शायद नहीं आश्चर्यजनक रूप से, यह बहुत पुनरावृत्तियों जब की संख्या को कम करने लगता है का उपयोग कर मैट्रिक्स छोटा है, लेकिन तब नहीं है जब वह या अधिक हो। $A^{-1}$ $1000 \times 1000$ $||D||_2/||A||_2$ $\mathcal{O}(1)$

— जैक पॉल्सन
स्रोत

12

अगर है तिरछे प्रमुख प्रत्येक के लिए , Koutis, मिलर, और पेंग (देखें द्वारा तो हाल ही में काम Koutis 'वेबसाइट सममित तिरछे प्रमुख मैट्रिक्स पर काम करने के लिए) में प्रत्येक प्रणाली को हल करने के लिए इस्तेमाल किया जा सकता है समय (वास्तव में समय है, जहां में अशून्य प्रविष्टियों की अधिकतम संख्या है में सभी $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 \log(n))$ $\mathcal{O}(m\log(n))$ $m$ $(D_{i} + A)$ , ताकि आप स्पार्सिटी का भी लाभ उठा सकें)। फिर, कुल चलने का समय , जोघने रैखिक बीजगणित का उपयोग करते हुए प्रत्येक प्रणाली को हल करनेके दृष्टिकोणसे बेहतर है, लेकिन द्विघात रनिंग की तुलना में थोड़ा खराब है। 'फिर पूछ रहा हूं। $i$ $\mathcal{O}(n^2 \log(n) k)$ $\mathcal{O}(n^3 k)$

में महत्वपूर्ण विरलता सभी के लिए विरल समाधानकर्ताओं द्वारा शोषण किया जा सकता है एक उपज के लिए कलन विधि है, लेकिन मेरा अनुमान है कि है कि यदि आप महत्वपूर्ण विरलता था, तो आप यह उल्लेख किया गया होता। $(D_{i} + A)$ $i$ $\mathcal{O}(n^2 k)$

आप पुनरावृत्ति विधियों का उपयोग करके प्रत्येक सिस्टम को हल करने के लिए एक पूर्व-संचालक के रूप में उपयोग भी कर सकते हैं , और देखें कि यह कैसे काम करता है। $A^{-1}$

अद्यतन करने के लिए प्रतिक्रिया : @JackPaulson संख्यात्मक रैखिक बीजगणित और एल्गोरिदम के दृष्टिकोण से एक शानदार बिंदु बनाता है। मैं इसके बजाय कम्प्यूटेशनल जटिलता तर्कों पर ध्यान केंद्रित करूंगा।

रैखिक प्रणालियों के समाधान की कम्प्यूटेशनल जटिलता और मैट्रिक्स गुणन की कम्प्यूटेशनल जटिलता अनिवार्य रूप से बराबर है। (देखें बीजीय जटिलता सिद्धांत ।) आप एक एल्गोरिथ्म कि दो गैर आवागमन ऑपरेटरों के बीच जानकारी (सकारात्मक semidefinite हिस्सा अनदेखी) सेक सकता है और सीधे सिस्टम आप में द्विघात समय में हो प्रस्ताव के संग्रह का समाधान मिल सकता है , तो यह है संभावना है कि आप तेजी से मैट्रिक्स गुणन के बारे में अनुमान लगाने के लिए इस तरह के एक एल्गोरिथ्म का उपयोग कर सकते हैं। यह देखना मुश्किल है कि रेखीय प्रणालियों के लिए घनीभूत, प्रत्यक्ष विधि में सकारात्मक कम्प्यूटेशनल संरचना का उपयोग कैसे किया जा सकता है ताकि इसकी कम्प्यूटेशनल जटिलता कम हो सके। $n$

@JackPaulson की तरह, मैं यह कहने के लिए तैयार नहीं हूं कि इसका उत्तर बिना प्रमाण के "नहीं" है, लेकिन ऊपर दिए गए कनेक्शन को देखते हुए, यह समस्या बहुत कठिन है और वर्तमान शोध हित की है। विशेष संरचना का उपयोग किए बिना एक असममित दृष्टिकोण से आप जो सबसे अच्छा कर सकते हैं, वह कोपरसमिथ और विनोग्राद एल्गोरिथ्म पर एक सुधार है, एक एल्गोरिदम की उपज है , जहां । उस एल्गोरिथ्म को कोड करना मुश्किल होगा, और संभवतः छोटे मैट्रिस के लिए धीमा होगा, क्योंकि एसिम्प्टोटिक अनुमान से पहले निरंतर कारक शायद गाऊसी उन्मूलन के सापेक्ष बहुत बड़ा है। $\mathcal{O}(n^{\alpha}k)$ $\alpha \approx 2.375$

— ज्योफ ऑक्सबेरी
स्रोत

3

मुझे अभी तक एक ठोस बयान नहीं देखना है कि क्रॉसओवर कहाँ हो सकता है, लेकिन कई प्रतिष्ठित स्रोतों ने कहा है कि (कार्यान्वयन के मुद्दे को एक तरफ), कोपरस्मिथ-विनोग्राद मैट्रिक्स आकारों के लिए मानक तरीकों को हरा नहीं सकते हैं जो निकट भविष्य में स्मृति में फिट हो पाएंगे। (कुछ दशक)। यह देखते हुए कि वर्तमान शीर्ष मशीनों पर चलने के लिए लिनपैक बेंचमार्क एक दिन से अधिक समय लेता है, यह संभावना नहीं लगती है कि कोपरस्मिथ-विनोग्रैड कभी भी अभ्यास में उपयोग किया जाएगा। स्ट्रैसन वास्तव में बड़ी समस्याओं के लिए व्यावहारिक है, हालांकि यह कुछ हद तक संख्यात्मक स्थिर है।

— जेड ब्राउन

इससे मुझे कोई आश्चर्य नहीं हुआ। कार्यान्वयन विवरण के लिए +1।

— ज्योफ ऑक्सीबेरी

6

साधारण लैगिंग पर अभिसरण को बेहतर बनाने के लिए एक पहले आदेश टेलर विस्तार का उपयोग किया जा सकता है। मान लीजिए कि हमारे लिए एक Preconditioner है (या एक सीधा के लिए कारकों का समाधान) उपलब्ध , और हम शर्त के लिए इसका उपयोग करना चाहते । हम गणना कर सकते हैं $A+D$ $A$

\begin{aligned} ए^{- 1} & = (ए + डी - डी)^{- 1} (ए + डी) (ए + डी)^{- 1} \\ = [(ए + डी)^{- 1} (ए + डी - डी)]^{- 1} (ए + डी)^{- 1} \\ = [मैं - (ए + डी)^{- 1} डी]^{- 1} (ए + डी)^{- 1} \\ \approx [मैं + (ए + डी)^{- 1} डी] (ए + डी)^{- 1} \end{aligned}

$\begin{align} A^{-1} &= (A+D-D)^{-1} (A+D) (A+D)^{-1} \\ &= [(A+D)^{-1} (A+D-D)]^{-1} (A+D)^{-1} \\ &= [I - (A+D)^{-1} D]^{-1} (A+D)^{-1} \\ &\approx [I + (A+D)^{-1} D] (A+D)^{-1} \end{align}$

जहां टेलर विस्तार का उपयोग अंतिम पंक्ति लिखने के लिए किया गया था। इस प्रीकॉन्डिशनर के आवेदन के लिए साथ दो सोल्व की आवश्यकता होती है । $A+D$

यह काफी अच्छी तरह से काम करता है जब Preconditioner ऑपरेटर हम साथ (जैसे हल करने के लिए कोशिश कर रहे हैं की तुलना में एक समान या बड़ी राशि द्वारा 0 से हट गया है )। यदि पूर्व- में शिफ्ट छोटा है ( ), तो पूर्व- ऑपरेटर अनिश्चित हो जाता है। $D\gtrsim 0$ $D \lesssim \min \sigma(A)$

$\sqrt 2$ $A+D$ $A+D$

— जेड ब्राउन
स्रोत