रैखिक समीकरणों को हल करने के लिए एक विधि का चयन कैसे करें

Question

मेरी जानकारी के लिए, रैखिक समीकरणों की एक प्रणाली को हल करने के 4 तरीके हैं (अधिक होने पर मुझे सही करें):

1. यदि सिस्टम मैट्रिक्स एक पूर्ण-रैंक वर्ग मैट्रिक्स है, तो आप Cramer के नियम का उपयोग कर सकते हैं;
2. सिस्टम मैट्रिक्स के व्युत्क्रम या छद्म बिंदु की गणना करें;
3. मैट्रिक्स अपघटन विधियों का उपयोग करें (गौसियन या गॉस-जॉर्डन उन्मूलन को एलयू अपघटन के रूप में माना जाता है);
4. संयुग्म ढाल विधि के रूप में पुनरावृत्ति विधियों का उपयोग करें।

वास्तव में, आप लगभग क्रैमर के नियम का उपयोग करके समीकरणों को हल करना नहीं चाहते हैं या उलटा या छद्म बिंदुओं की गणना कर रहे हैं, विशेष रूप से उच्च आयामी मैट्रिक्स के लिए, इसलिए पहला सवाल यह है कि क्रमशः अपघटन विधियों और पुनरावृत्ति विधियों का उपयोग करें। मुझे लगता है कि यह सिस्टम मैट्रिक्स के आकार और गुणों पर निर्भर करता है।

दूसरा प्रश्न, आपके ज्ञान के लिए, संख्यात्मक स्थिरता और दक्षता के संदर्भ में कुछ सिस्टम मैट्रिक्स के लिए किस प्रकार के अपघटन विधियां या पुनरावृत्त तरीके सबसे उपयुक्त हैं।

उदाहरण के लिए, संयुग्म ग्रेडिएंट पद्धति का उपयोग समीकरणों को हल करने के लिए किया जाता है जहां मैट्रिक्स सममित और सकारात्मक निश्चित होता है, हालांकि इसे $\mathbf{A}x=b$ से परिवर्तित करके किसी भी रैखिक समीकरणों पर भी लागू किया जा सकता है $\mathbf{A}^{\rm T}\mathbf{A}x=\mathbf{A}^{\rm T}b$। सकारात्मक निश्चित मैट्रिक्स के लिए, आप समाधान की तलाश के लिए चोल्स्की अपघटन विधि का उपयोग कर सकते हैं। लेकिन मुझे नहीं पता कि सीजी विधि कब चुननी है और कब चोल्स्की अपघटन चुनना है। मेरी भावना है कि हम बड़े मैट्रिसेस के लिए बेहतर तरीके से सीजी विधि का उपयोग करेंगे।

आयताकार मैट्रिक्स के लिए, हम या तो क्यूआर अपघटन या एसवीडी का उपयोग कर सकते हैं, लेकिन फिर से मुझे नहीं पता कि उनमें से किसी एक को कैसे चुनना है।

अन्य मैट्रिसेस के लिए, मुझे अब उपयुक्त सॉल्वर का चयन नहीं करना है, जैसे कि हरमिटियन / सिमिट्रिक मैट्रिक्‍स, स्‍पार्स मैट्रिक्‍स, बैंड मैट्रिक्‍स आदि।

Comments

हाय @chaohuang, और SciComp में आपका स्वागत है! : आप इस चर्चा को देखने के लिए चाहते हो सकता है scicomp.stackexchange.com/questions/81/...

— पॉल

हाय @Paul, आपकी टिप्पणियों के लिए धन्यवाद, क्या यह केवल विरल मैट्रिसेस या किसी मैट्रिक्स के बारे में है?

— चोहुआंग

आपके प्रश्न में बड़े पैमाने पर गुंजाइश है और क्यू एंड ए प्रारूप के लिए थोड़ा व्यापक हो सकता है जो हमारे यहां स्टैकएक्सचेंज पर है ... क्या मैट्रिक्स सिस्टम का एक विशेष वर्ग है जिसमें आप रुचि रखते हैं?

— पॉल

@ आचोहुंग इस विषय पर कई पुस्तकें हैं। यह सवाल एक चिकित्सा चिकित्सक से पूछने जैसा है कि वे "सामान्य रूप से" उपचार कैसे चुनते हैं। यदि आप एक प्रश्न पूछना चाहते हैं, जो समस्याओं के एक निश्चित वर्ग के लिए विशिष्ट नहीं है, तो आपको कुछ सटीक पूछने के लिए क्षेत्र से परिचित होने के लिए काम करना चाहिए। अन्यथा, उस विशिष्ट समस्या की व्याख्या करें जिससे आप चिंतित हैं।

— जेड ब्राउन ने

एफएक्यू से: यदि आप एक पूरी किताब की कल्पना कर सकते हैं जो आपके सवाल का जवाब दे, तो आप बहुत अधिक पूछ रहे हैं। इस सवाल से जुड़ी पूरी पत्रिकाएँ और सैकड़ों किताबें हैं।

— डेविड केटसन

Answer 1

$Ax=b$

$A$$\tilde x$

1. $\tilde x$$\tilde x$$\|\tilde x - x^*\| < 10^{-3}$$x^*$
2. कितनी तेजी से आपको इसकी आवश्यकता है? यहां एकमात्र प्रासंगिक मीट्रिक आपकी मशीन पर घड़ी का समय है - एक विधि जो एक विशाल क्लस्टर पर पूरी तरह से तराजू है, यदि आपके पास उनमें से एक नहीं है, तो सबसे अच्छा विकल्प नहीं हो सकता है, लेकिन आपके पास उन चमकदार नए टेस्ला कार्डों में से एक है।

जैसा कि एक मुफ्त भोजन के रूप में ऐसी कोई चीज नहीं है, आपको आमतौर पर दोनों के बीच व्यापार बंद का फैसला करना होगा। उसके बाद, आप एक अच्छी विधि (या बल्कि, जिस विधि के लिए आप एक अच्छा कार्यान्वयन पा सकते हैं) पर निर्णय लेने के लिए मैट्रिक्स (और आपके हार्डवेयर) को देखना शुरू करते हैं। (ध्यान दें कि मैंने यहां "सर्वश्रेष्ठ" लिखने से कैसे परहेज किया ...) यहां सबसे अधिक प्रासंगिक गुण हैं$A$

• संरचना : Is सममित? यह सघन है या विरल? बैंडेड?$A$
• Eigenvalues : वे सभी सकारात्मक हैं (यानी, है सकारात्मक निश्चित)? क्या वे गुच्छेदार हैं? क्या उनमें से कुछ में बहुत छोटे या बहुत बड़े परिमाण हैं?$A$

इसे ध्यान में रखते हुए, आपको तब (विशाल) साहित्य का पता लगाना होगा और अपनी विशिष्ट समस्या के लिए आपके द्वारा खोजे गए विभिन्न तरीकों का मूल्यांकन करना होगा। यहाँ कुछ सामान्य टिप्पणियां हैं:

• यदि आपको अपने समाधान के लिए वास्तव में (मशीन के पास) मशीन परिशुद्धता की आवश्यकता है, या यदि आपका मैट्रिक्स छोटा है (कहो, पंक्तियों तक), तो सीधे तरीकों को हरा पाना मुश्किल है, विशेष रूप से घने सिस्टम के लिए (क्योंकि इस मामले में, प्रत्येक मैट्रिक्स गुणन) हो जाएगा , और यदि आप पुनरावृत्तियों का एक बहुत जरूरत है, इस शक्ति नहीं से दूर हो एक प्रत्यक्ष विधि की जरूरत है)। इसके अलावा, एलयू अपघटन (धुरी के साथ) किसी भी उल्टे मैट्रिक्स के लिए काम करता है, जैसा कि अधिकांश पुनरावृत्त तरीकों के विपरीत है। (बेशक, अगर सममित और सकारात्मक निश्चित है, तो आप चोल्स्की का उपयोग करेंगे।)$1000$$\mathcal{O}(n^2)$$\mathcal{O}(n^3)$$A$

  यदि आप स्मृति समस्याओं में नहीं चलते हैं, तो यह (बड़े) विरल मैट्रिस के लिए भी सही है: सामान्य रूप से विरल मैट्रिस में विरल LU अपघटन नहीं होता है, और यदि कारक मेमोरी (तेज़) मेमोरी में फिट नहीं होते हैं, तो ये विधियाँ अनुपयोगी हो जाती हैं।

  इसके अलावा, प्रत्यक्ष विधियां लंबे समय से आस-पास हैं, और बहुत उच्च गुणवत्ता वाले सॉफ़्टवेयर मौजूद हैं (जैसे, UMFPACK, MUMPS, SuperLU विरल मैट्रिस के लिए) जो स्वचालित रूप से की बैंड संरचना का फायदा उठा सकते हैं ।$A$

• आप कम सटीकता की जरूरत है, या सीधे विधियों का उपयोग नहीं कर सकते हैं, एक क्रीलोव विधि का चयन (जैसे, तटरक्षक अगर आम तौर पर इन: सममित सकारात्मक निश्चित, GMRES या BiCGStab अगर नहीं है) के बजाय एक स्थिर विधि (जैसे जैकोबी या गॉस-साइडेल के रूप में) बहुत बेहतर काम करते हैं, क्योंकि उनके अभिसरण की वर्णक्रमीय त्रिज्या द्वारा निर्धारित नहीं किया जाता है, लेकिन स्थिति संख्या के (वर्गमूल) द्वारा और मैट्रिक्स की संरचना पर निर्भर नहीं करता है। हालांकि, क्रायलोव विधि से वास्तव में अच्छा प्रदर्शन प्राप्त करने के लिए, आपको अपने मैट्रिक्स के लिए एक अच्छा पूर्व-चयनकर्ता चुनने की आवश्यकता है - और यह एक विज्ञान की तुलना में अधिक शिल्प है ...$A$$A$

• यदि आपको बार-बार एक ही मैट्रिक्स और अलग-अलग दाहिने हाथों के साथ रैखिक प्रणालियों को हल करने की आवश्यकता होती है, तो प्रत्यक्ष तरीके अभी भी पुनरावृत्तियों की तुलना में तेज़ हो सकते हैं क्योंकि आपको केवल एक बार अपघटन की गणना करने की आवश्यकता होती है। (यह अनुक्रमिक समाधान मानता है; यदि आपके पास एक ही समय में सभी दाहिने हाथ हैं, तो आप ब्लॉक क्रायलोव तरीकों का उपयोग कर सकते हैं।)

बेशक, ये सिर्फ बहुत ही मोटे दिशानिर्देश हैं: उपरोक्त किसी भी कथन के लिए, संभावित रूप से एक मैट्रिक्स मौजूद है, जिसके लिए कांसेप्ट सही है ...

चूंकि आपने टिप्पणियों में संदर्भों के लिए कहा था, इसलिए आपको शुरू करने के लिए कुछ पाठ्यपुस्तकें और समीक्षा पत्र हैं। (इनमें से न तो - और न ही सेट - व्यापक है; यह प्रश्न बहुत व्यापक है, और आपकी विशेष समस्या पर बहुत अधिक निर्भर करता है।)

• गोलूब, वैन लोन: मैट्रिक्स कम्प्यूटेशंस (अभी भी मैट्रिक्स एल्गोरिदम पर शास्त्रीय संदर्भ; बहुत विस्तारित चौथा संस्करण अब विरल मैट्रिस पर भी चर्चा करता है और इसमें फोरट्रान के साथ-साथ एक व्यापक ग्रंथ सूची में भी मैटलैब कोड है)
• डेविस: स्पार्स लीनियर सिस्टम्स के लिए प्रत्यक्ष तरीके (विरल मैट्रिसिस के लिए अपघटन विधियों पर एक अच्छा परिचय)
• डफ: डायरेक्ट मेथड्स (समीक्षा पत्र; आधुनिक "मल्टीफ्रंटल" स्पार्स मैट्रिसेस के लिए सीधे तरीके पर अधिक विवरण)
• साद: विरल रेखीय प्रणालियों के लिए पुनरावृत्ति विधियां (सिद्धांत और - कुछ हद तक - क्रायलोव पद्धतियों का अभ्यास भी; पूर्ववर्ती शामिल हैं)

Comments

मैं पेचकश के अपने सादृश्य पसंद है!

— पॉल

@ अचाहुंग यदि यह आपके प्रश्न का उत्तर देता है, तो आपको इसे स्वीकार करना चाहिए। (यदि ऐसा नहीं था, तो बेझिझक बताएं कि क्या गायब है।)

— क्रिश्चियन क्लैसन

@ChristianClason ने इसे स्वीकार कर लिया। मैं इंतजार कर रहा था और उम्मीद कर रहा था कि कोई भी आयताकार मैट्रीक के मुद्दे पर कुछ प्रकाश डाल सकता है। चूंकि यह एक लंबा समय हो गया है, मुझे लगता है कि ऐसा जवाब कभी नहीं मिलेगा :(

— चोहुआंग

@chaohuang धन्यवाद। यदि आप अभी भी आयताकार मैट्रिसेस में रुचि रखते हैं, तो आपको "अति-व्यवस्थित सिस्टम को हल करने के लिए एक विधि का चयन कैसे करें" पर एक (जुड़ा हुआ) सवाल करना चाहिए।

— ईसाई क्लैसन

यहाँ रैखिक समीकरणों की बड़ी विरल प्रणालियों को हल करने के लिए पुनरावृत्ति विधियों के उपयोग पर एक संदर्भ है।

— चोहुआंग

Answer 2

एनएजी लाइब्रेरी मैनुअल उत्तर में प्रासंगिक अध्याय की धारा 4 में निर्णय वृक्ष (आपके कुछ सवालों के उत्तर में)।

Answer 3

Eigen लाइब्रेरी डॉक्यूमेंटेशन में एक अच्छा ओवरव्यू पृष्ठ है, जिसमें विभिन्न मैट्रिक्स डिकम्पोजिशन के बारे में बहुत सारी जानकारी है:

http://eigen.tuxfamily.org/dox/group__TopicLinearAlgebraDecompositions.html