क्या केवल पहले कुछ चरों के लिए समीकरणों के एक रेखीय प्रणाली का समाधान अनुमानित किया जा सकता है?

Question

मेरे पास आकार mxm के समीकरणों की एक रैखिक प्रणाली है, जहां मीटर बड़ा है। हालाँकि, जिन वेरिएबल्स में मेरी दिलचस्पी है, वे सिर्फ पहले n वेरिएबल्स हैं (n m की तुलना में छोटा है)। क्या ऐसा कोई तरीका है जिससे मैं पहले मी वैल्यू के लिए संपूर्ण सिस्टम को हल किए बिना समाधान का अनुमान लगा सकता हूं? यदि हां, तो क्या यह सन्निकटन पूर्ण रैखिक प्रणाली को हल करने की तुलना में तेज होगा?

Comments

तब तक नहीं जब तक कि आपका फोर्सिंग फंक्शन भी पहले n वैरिएबल तक सीमित न हो। यदि यह है, तो आप शूर पूरक को बना सकते हैं, हालांकि यह घने होने की संभावना है। यदि आपका मूल ऑपरेटर विरल है, तो यह इसके लायक नहीं हो सकता है।

— जैक पॉल्सन

मुझे लगता है कि आप मैट्रिक्स के निचले दाएं कोने से शुरू होने वाले गाऊसी उन्मूलन का उपयोग कर सकते हैं। यदि आप केवल पहले कुछ तत्वों के बारे में परवाह करते हैं और आधे रास्ते को बंद कर देते हैं, तो यह नियमित गाऊसी उन्मूलन से ~ 2x अधिक तेज़ होगा। मैं नहीं जानता कि यह कैसे पुनरावृत्ति तरीकों की तुलना करेगा।

— दान

@OscarB: कृपया नहीं। क्रैमर का नियम अस्थायी बिंदु अंकगणित में एक अत्याचार है। मैंने इसे गंभीर गणनाओं के लिए उपयोग किए जाने के बारे में कभी नहीं सुना है, और यह तथ्यात्मक जटिलता से बचने के लिए एक सभ्य राशि लेता है , जहां यह अभी भी गॉसियन उन्मूलन के साथ प्रतिस्पर्धी नहीं है।

— जैक पॉल्सन

@Paul: अधिकांश मॉडल ऑर्डर में कमी का उपयोग बड़े ODE या DAE सिस्टम के संदर्भ में किया जाता है। कभी-कभी, कमी के तरीके ओडीई या डीएई प्रणालियों से प्रेरित होते हैं जो पीडीई के विवेक से उत्पन्न होते हैं। मैंने शुद्ध रूप से बीजीय समीकरणों पर उपयोग किए गए मॉडल में कमी नहीं देखी है। (यदि आपके पास है, तो कृपया मुझे संदर्भ भेजें, क्योंकि मैं मॉडल की कमी के तरीकों पर अपनी थीसिस कर रहा हूं और इसे देखने के लिए बहुत इच्छुक हूं।) यदि आप चाहें, तो मैं यह स्केच कर सकता हूं कि यदि हम इलाज करते हैं तो मॉडल में कमी क्या दिख सकती है। बीजीय समीकरण एक विभेदक-बीजीय समीकरण प्रणाली के पतित मामले के रूप में।

— बजे ज्योफ ऑक्सबेरी

@JackPoulson - क्या आपको जवाब के रूप में अपनी टिप्पणी संक्षेप में बताई गई है? मुझे लगता है कि यह सबसे सही समाधान है और मैं नहीं चाहता कि यह टिप्पणियों में खो जाए।

— एरन अहमदिया

Answer 1

जैसा कि दूसरों ने बताया है, यह एक प्रत्यक्ष सॉल्वर के साथ करना मुश्किल है। उस ने कहा, यह पुनरावृत्ति solvers के साथ करना मुश्किल नहीं है। यह अंत करने के लिए, ध्यान दें कि अधिकांश पुनरावृत्त एक तरह से या किसी अन्य मानक के संबंध में त्रुटि को कम करते हैं। अक्सर, यह मानदंड या तो स्वयं मैट्रिक्स द्वारा प्रेरित होता है, लेकिन कभी-कभी यह केवल एल 2 वेक्टर मानदंड भी होता है। लेकिन ऐसा नहीं होना चाहिए: आप यह चुन सकते हैं कि आप किस मानक में त्रुटि (या अवशिष्ट) को कम करना चाहते हैं, और आप उदाहरण के लिए, एक मानदंड चुनें जिसमें आप उन घटकों का वजन करते हैं जिनकी आप देखभाल करते हैं 1 1e-12 के साथ अन्य सभी, उदाहरण के लिए जैसे कुछ (1e-24) Σ एन मैं = 6 एक्स 2 मैं और इसी अदिश उत्पाद। फिर इस आदर्श और अदिश उत्पाद के संबंध में पुनरावृत्त सॉल्वर के सभी चरणों को लिखें, और आपको एक पुनरावृत्त सॉल्वर मिलता है जो उन वेक्टर तत्वों पर बहुत अधिक ध्यान देता है जिनकी आप दूसरों की तुलना में परवाह करते हैं।$|| x ||^2 = \sum_{i=1}^5 x_i^2 +$$\sum_{i=6}^N x_i^2$

बेशक सवाल यह है कि क्या आपको आदर्श / स्केलर उत्पाद की तुलना में कम पुनरावृत्तियों की आवश्यकता है जो सभी घटकों का समान रूप से वजन करता है। लेकिन वास्तव में ऐसा ही होना चाहिए: मान लीजिए कि आप केवल पाँच पहले वेक्टर तत्वों की परवाह करते हैं। फिर आपको 1e12 के एक कारक द्वारा त्रुटि को कम करने के लिए अधिकतम पांच पुनरावृत्तियों की आवश्यकता होनी चाहिए क्योंकि पाँच पुनरावृत्तियों को उनके बारे में बताने वाली 5x5 प्रणाली के लिए आवश्यक है। यह एक प्रमाण नहीं है, लेकिन मुझे पूरा यकीन है कि अगर आप आदर्श (1e-12 ऊपर) में वजन उस सहनशीलता से काफी कम हैं, जिसके सहारे आप रैखिक प्रणाली को हल करना चाहते हैं, तो उससे छोटा होना चाहिए। ।

Comments

हम्म, अच्छी बात है। मुझे एक वास्तविक उदाहरण देखने में दिलचस्पी होगी, क्योंकि मैं कुछ हद तक स्वतंत्रता की कुछ डिग्री को हल करने के प्रयास के प्रभावों के बारे में चिंतित हूं; भले ही अवशिष्ट छोटा हो, शायद त्रुटि का मानक अभी भी काफी बड़ा है (अधिकांश ऑपरेटर को प्रभावी रूप से अनदेखा करने के लिए)।

— जैक पॉल्सन

सहज रूप से, यह केवल तभी काम करता है जब बहुत छोटी प्रणाली के घटक वास्तव में L2 में उत्तर पर हावी होते हैं (या आपके द्वारा समझे जाने वाले आपकी त्रुटि को मापते हैं)। अन्यथा, मुझे लगता है कि जैक की चिंता वैध है, लेकिन मैं निश्चित रूप से इस का एक संख्यात्मक प्रमाण देखने में भी दिलचस्पी

— लेता हूं

आपको यह सुनिश्चित करना होगा कि आप एक विधि लें , जो त्रुटि को कम करे , न कि अवशिष्ट को। मुझे लगता है कि MinErr एक अच्छा शुरुआती बिंदु हो सकता है।

— वोल्फगैंग बैंगर्थ

@WolfgangBangerth: मैं MINERR से परिचित नहीं हूं: क्या यह मुख्य संदर्भ है?

— जैक पोल्सन 3

यहां तक ​​कि वह पर्याप्त नहीं है, क्योंकि आप गलत होंगे। आप इस वेटिंग का उपयोग करके कुछ घटकों को सटीक रूप से प्राप्त नहीं कर सकते हैं।

— मैट नेप्ले

Answer 2

शूर पूरक

मान लीजिए कि आपने अपने मैट्रिक्स को फॉर्म में अनुमति और विभाजन कर दिया है

$$A=\left(\begin{array}{cc}A_{11} & A_{12} \\ A_{21} & A_{22}\end{array}\right),$$

इस तरह कि में आपकी रुचि की स्वतंत्रता शामिल है और ए 11 की तुलना में बहुत छोटा है , फिर शूर पूरक बन सकता है$A_{22}$$A_{11}$

$$S_{22} := A_{22} - A_{21} A_{11}^{-1} A_{12},$$

या तो आंशिक रूप से देखने वाले LU कारक या स्पष्ट सूत्र के माध्यम से, और फिर को निम्नलिखित अर्थों में समझा जा सकता है:$S_{22}$

$$S_{22} x = y \;\;\rightarrow\;\; \left(\begin{array}{cc}A_{11} & A_{12}\\ A_{21} & A_{22}\end{array}\right) \left(\begin{array}{c}\star\\ x\end{array}\right)=\left(\begin{array}{c}0\\ y\end{array}\right),$$

जहां समाधान के 'नीरस' भाग का प्रतिनिधित्व करता है। इस प्रकार, एक दाहिना हाथ प्रदान किया गया जो कि शूर पूरक एस 22 की स्वतंत्रता की डिग्री में केवल नॉनजरो है , हमें स्वतंत्रता के उन डिग्री के अनुरूप समाधान के हिस्से को प्राप्त करने के लिए केवल एस 22 के खिलाफ हल करने की आवश्यकता है ।$\star$$S_{22}$$S_{22}$

असंरचित घने मामले में कम्प्यूटेशनल जटिलता

स्थापना की ऊंचाई तक एक और n की ऊंचाई तक एक 22 है, तो कंप्यूटिंग के लिए मानक पद्धति एस 22 पहला कारक है एल 11 यू 11 : = एक 11 (चलो अब के लिए पिवट ध्यान न दें) मोटे तौर पर में 2 / 3 ( एन - n ) 3 कार्य, फिर बनाने के लिए$N$$A$$n$$A_{22}$$S_{22}$$L_{11} U_{11} := A_{11}$$2/3 (N-n)^3$

$$S_{22} := A_{22} - (A_{21} U_{11}^{-1})(L_{11}^{-1} A_{12}) = A_{22} - A_{21} A_{11}^{-1} A_{12}$$

प्रत्येक को काम करने के लिए दो त्रिभुज सॉल्व्स का उपयोग करना और फिर 2 n 2 ( N - n ) कार्य में A 22 के लिए अपडेट का प्रदर्शन करना।$n(N-n)^2$$A_{22}$$2n^2 (N-n)$

इस प्रकार, कुल काम मोटे तौर पर है । जब n बहुत छोटी है एन - एन ≈ एन इसलिए लागत लगभग के रूप में देखा जा सकता है, 2 / 3 एन 3 , जो एक पूर्ण गुणन की लागत है।$2/3 (N-n)^3 + 2n(N-n)^2 + 2n^2 (N-n)$$n$$N-n \approx N$$2/3 N^3$

लाभ यह है कि, यदि समान व्यवस्थाओं के साथ हल करने के लिए दाहिने हाथ की बहुत बड़ी संख्या है, तो को संभवतः बड़ी संख्या में पुन: उपयोग किया जा सकता है, जहां प्रत्येक समाधान में केवल 2 n 2 कार्य की आवश्यकता होगी (बजाय 2 एन 2 काम) अगर एस 22 फैक्टरेड है।$S_{22}$$2n^2$$2N^2$$S_{22}$

कम्प्यूटेशनल जटिलता (ठेठ) विरल मामले में

यदि आपका विरल सिस्टम कुछ प्रकार के परिमित-अंतर या परिमित-तत्व सन्निकटन से उत्पन्न हुआ है, तो विरल-प्रत्यक्ष सॉल्वर लगभग निश्चित रूप से कुछ संरचना का शोषण करने में सक्षम होंगे; 2 डी सिस्टम के साथ हल किया जा सकता काम करते हैं और हे ( एन लॉग एन ) , भंडारण, जबकि 3 डी सिस्टम के साथ हल किया जा सकता हे ( एन 2 ) काम करते हैं और हे ( एन 4 / 3 ) भंडारण। फिर फैक्टरेड सिस्टम को स्टोरेज आवश्यकताओं के समान कार्य के साथ हल किया जा सकता है।$O(N^{3/2})$$O(N \log N)$$O(N^2)$$O(N^{4/3})$

कम्प्यूटेशनल जटिलताओं को लाने की बात यह है कि, अगर और आपके पास 2d प्रणाली है, तो चूंकि Schur पूरकता घनी होगी, इसलिए हल की गई जटिलता जटिलता Schur पूरकO(n2)=O(N) होगी, जो केवल एक लघुगणक कारक को याद नहीं कर रही है। प्रणाली! 3 डी में, यह आवश्यकताहे(एन)के बजाय कामहे(एन 4 / 3 )।$n \approx \sqrt{N}$$O(n^2) = O(N)$$O(N)$$O(N^{4/3})$

यह बात ध्यान में है कि, आपके मामले में जहां रखने के लिए इस प्रकार महत्वपूर्ण है , केवल महत्वपूर्ण बचत होगी यदि आप कई आयामों में काम कर रहे हैं और हल करने के लिए कई दाहिने हाथ हैं।$n=\sqrt{N}$

Comments

यह विद्वान पूरक विधि का एक बड़ा सारांश है और जब इसका उपयोग करने के लिए कम्प्यूटेशनल रूप से कुशल है!

— पॉल

Answer 3

मॉडल कमी दृष्टिकोण

जब से पॉल ने पूछा, मैं इस बारे में बात करूँगा कि यदि आप इस समस्या पर प्रक्षेपण-आधारित मॉडल कटौती विधियों का उपयोग करते हैं तो क्या होगा। मान लीजिए कि आप एक प्रोजेक्टर के साथ आ सकता है ऐसी है कि की सीमा पी , निरूपित किया आर ( पी ) , अपने रैखिक प्रणाली का हल होता है एक एक्स = ख , और आयाम है कश्मीर , जहां कश्मीर अज्ञात की संख्या है जिसके लिए आप एक रैखिक प्रणाली में हल करना चाहते हैं।$\mathbf{P}$$\mathbf{P}$$\mathcal{R}(\mathbf{P})$$\mathbf{Ax} = \mathbf{b}$$k$$k$

का एक विलक्षण मान अपघटन निम्नलिखित विभाजन मैट्रिक्स को उत्पन्न करेगा:$\mathbf{P}$

$$\mathbf{P} = \left[ \begin{array}{cc}\mathbf{V} & * \end{array} \right]\left[\begin{array}{cc}\mathrm{diag}(\mathbf{1}_{k}) & \mathbf{0} \\ \mathbf{0} & \mathbf{0}\end{array}\right]\left[\begin{array}{c} \mathbf{W}^{T} \\ *\end{array}\right].$$

अन्य चीजों (जैसे अनुमान त्रुटि, आदि) के लिए सितारों द्वारा अस्पष्ट किए गए मैटरेस मायने रखते हैं, लेकिन अभी के लिए, हम बाहरी विवरणों से निपटने से बचेंगे। यह इस प्रकार है कि

$$\mathbf{P} = \mathbf{VW}^{T}$$

की एक पूर्ण रैंक अपघटन है ।$\mathbf{P}$

अनिवार्य रूप से, आप सिस्टम को हल करेंगे

$$\mathbf{PAx} = \mathbf{Pb}$$

एक चतुर तरीके से, क्योंकि और W के पास भी संपत्ति है जो W T V = I है । के दोनों ओर गुणा पी ए एक्स = पी बी द्वारा डब्ल्यू टी और दे y = वी एक्स के लिए एक सन्निकटन एक्स पैदावार$\mathbf{V}$$\mathbf{W}$$\mathbf{W}^{T}\mathbf{V} = \mathbf{I}$$\mathbf{PAx} = \mathbf{Pb}$$\mathbf{W}^{T}$$\mathbf{y} = \mathbf{V}\widehat{\mathbf{x}}$$\mathbf{x}$

$$\mathbf{W}^{T}\mathbf{A}\widehat{\mathbf{x}} = \mathbf{W}^{T}\mathbf{b}.$$

के लिए हल एक्स द्वारा, premultiply यह वी , और आप y , के लिए अपने सन्निकटन एक्स ।$\widehat{\mathbf{x}}$$\mathbf{V}$$\mathbf{y}$$\mathbf{x}$

शूर पूरक दृष्टिकोण शायद बेहतर क्यों है

शुरुआत के लिए, आपको किसी तरह चुनना होगा । यदि A x = b का समाधान R ( P ) में है , तो y = x , और y एक सन्निकटन नहीं है। अन्यथा, y ≠ एक्स , और आप कुछ सन्निकटन त्रुटि परिचय। यह दृष्टिकोण वास्तव में आपके द्वारा बताए गए सभी ढांचे का लाभ नहीं उठाता है। यदि हम P को ऐसे उठाते हैं कि इसकी श्रेणी x के निर्देशांक में मानक इकाई आधार है जिसे आप गणना करना चाहते हैं, तो y के संबंधित निर्देशांक में त्रुटियां होंगी। यह स्पष्ट नहीं है कि आप कैसे चुनना चाहते हैं$\mathbf{P}$$\mathbf{Ax} = \mathbf{b}$$\mathcal{R}(\mathbf{P})$$\mathbf{y} = \mathbf{x}$$\mathbf{y}$$\mathbf{y} \neq \mathbf{x}$$\mathbf{P}$$\mathbf{x}$$\mathbf{y}$ । आपउदाहरण के लिए, A के SVD का उपयोग कर सकते हैं, और P को A के पहले k बाएं सिंगुलर वैक्टर काउत्पादमान सकते हैंऔर A के पहले k दाएँ सिंगुलर वैक्टर केआसन्नमानते हैं कि विलक्षण वैक्टर घटते क्रम में व्यवस्थित हैं। एकवचन मान। प्रोजेक्टर का यह विकल्प ए पर उचित ऑर्थोगोनल अपघटन करने के बराबर होगा, और यहअनुमानित समाधान मेंएल 2 -रोरको कम करेगा।$\mathbf{P}$$\mathbf{A}$$\mathbf{P}$$k$$\mathbf{A}$$k$$\mathbf{A}$$\mathbf{A}$$_{2}$

सन्निकटन त्रुटियों को शुरू करने के अलावा, यह दृष्टिकोण छोटी प्रणाली के रैखिक समाधान के शीर्ष पर तीन अतिरिक्त मैट्रिक्स गुणन का भी परिचय देता है और , और डब्ल्यू की गणना के लिए आवश्यक कार्य करता है । जब तक आप एक ही रेखीय प्रणाली को बहुत हल नहीं कर रहे हैं, केवल दाहिने हाथ की तरफ बदल रहे हैं, और पी अभी भी उन सभी प्रणालियों के लिए एक "अच्छा" प्रोजेक्शन मैट्रिक्स है, तो उन अतिरिक्त लागतों से शायद आपके द्वारा हल करने की तुलना में कम प्रणाली को हल करना अधिक महंगा हो जाएगा मूल प्रणाली।$\mathbf{V}$$\mathbf{W}$$\mathbf{P}$

कमियां जैकपॉल्सन के दृष्टिकोण की तरह हैं, सिवाय इसके कि आप उस संरचना का लाभ नहीं उठा रहे हैं जिसका आपने उल्लेख किया है।

Answer 4

लंबा जवाब है ... तरह।

$k$

चरण 1: गाऊसी उन्मूलन का प्रदर्शन करें ताकि मैट्रिक्स ऊपरी त्रिकोणीय हो। चरण 2: केवल पहले (अंतिम) के लिए बैक प्रतिस्थापन द्वारा हल करें$k$ चर जो आप में रुचि रखते हैं

यह आपको अंतिम के लिए हल करने की कम्प्यूटेशनल जटिलता से बचाएगा $n-k$ बैक-प्रतिस्थापन के माध्यम से चर, जो अगर इसके लायक हो सकते हैं $n$जितना बड़ा आप कहते हैं। ध्यान रखें कि चरण 1 के लिए अभी भी काफी काम करना होगा।

Also, keep in mind that restricting the order in which you are going to perform back-substituion may restrict the form of the matrix (it takes away the ability to exchange columns) which could possibly lead to an ill conditioned system, but I am not sure about that - just something to keep in mind.

Comments

Gaussian elimination requires $O(n^3)$ work, but backward substitution only requires $O(n^2)$. Thus, as $n$ grows larger, the percentage of time spent in the triangle solve becomes vanishingly small.

— Jack Poulson

which is why the answer is "sort of" instead of "yes" =)

— drjrm3

It makes sense that it can be done this way... However, the bulk of the computation in a Gaussian Elimination is in the forward elimination phase, yielding an O(n^3) complexity despite the truncated backward substitution phase. I was hoping there was a faster method...

— Paul