ऑर्थोगोनल ट्रांसफॉर्मेशन गॉसियन एलिमिनेशन से कब निकलते हैं?

Question

जैसा कि हम जानते हैं, रैखिक समीकरणों की प्रणालियों के लिए ऑर्थोगोनल ट्रांसफॉर्मेशन मेथड्स (गिवन्स रोटेशन एंड होमहोल्डर रिफ्लेक्शंस) गॉसियन एलिमिनेशन की तुलना में अधिक महंगे हैं, लेकिन सैद्धांतिक रूप से इस अर्थ में अच्छे स्थिरता गुण हैं कि वे सिस्टम की स्थिति संख्या को नहीं बदलते हैं। हालांकि मुझे पता है कि मैट्रिक्स का सिर्फ एक अकादमिक उदाहरण है जो आंशिक धुरी के साथ गॉसियन उन्मूलन द्वारा खराब किया गया है। और आम राय है कि व्यवहार में इस तरह के व्यवहार को पूरा करने की संभावना नहीं है ( इस व्याख्यान नोट्स [पीडीएफ] देखें )।

इसलिए, हम विषय पर उत्तर की तलाश कहाँ करेंगे? समानांतर कार्यान्वयन? अद्यतन कर रहा है? ..

Answer 1

शुद्धता

ट्रेफेथेन और श्रेइबर ने एक उत्कृष्ट पेपर, गॉसियन एलिमिनेशन की औसत-केस स्टेबिलिटी लिखी , जो आपके प्रश्न के सटीकता पक्ष पर चर्चा करता है। यहाँ इसके कुछ निष्कर्ष दिए गए हैं:

1. "के साथ या स्तंभ पिवट बिना क्यूआर गुणन के लिए, अवशिष्ट मैट्रिक्स की औसत अधिक से अधिक तत्व है , जबकि गाऊसी उन्मूलन के लिए यह है हे ( एन ) । इस तुलना से पता चलता है कि गाऊसी उन्मूलन हल्का अस्थिर है, लेकिन अस्थिरता केवल कम सटीकता में हल की गई बहुत बड़ी मैट्रिक्स समस्याओं के लिए पता लगाने योग्य होगी। अधिकांश व्यावहारिक समस्याओं के लिए, गौसियन उन्मूलन औसत पर अत्यधिक स्थिर है। "(जोर मेरा)$O(n^{1/2})$$O(n)$

2. "गॉसियन उन्मूलन के पहले कुछ चरणों के बाद, शेष मैट्रिक्स तत्व लगभग सामान्य रूप से वितरित किए जाते हैं, चाहे वे इस तरह से शुरू किए गए हों।"

कागज के लिए बहुत कुछ है जो मैं यहां पर कब्जा नहीं कर सकता, जिसमें आपके द्वारा उल्लिखित सबसे खराब मैट्रिक्स की चर्चा भी शामिल है, इसलिए मैं दृढ़ता से अनुशंसा करता हूं कि इसे पढ़ें।

प्रदर्शन

वर्ग असली मैट्रिक्स के लिए, आंशिक पिवट साथ LU मोटे तौर पर की आवश्यकता है फ्लॉप, जबकि हाउसहोल्डर आधारित QR मोटे तौर पर की आवश्यकता है 4 / 3 एन 3 फ्लॉप। इस प्रकार, यथोचित बड़े वर्ग मैट्रिसेस के लिए, क्यूआर फैक्टराइजेशन केवल एलयू फैक्टराइजेशन के मुकाबले लगभग दोगुना महंगा होगा।$2/3 n^3$$4/3 n^3$

के लिए मैट्रिक्स, जहां मीटर ≥ n , आंशिक पिवट साथ LU आवश्यकता मीटर n 2 - एन 3 / 3 फ्लॉप, बनाम क्यूआर के 2 मीटर n 2 - 2 एन 3 / 3 (जो अभी भी दो बार है कि LU गुणन की)। हालांकि , अनुप्रयोगों के लिए आश्चर्यजनक रूप से बहुत लंबा पतला मैट्रीस ( एम is एन ), और डेमेल एट अल का उत्पादन करना सामान्य है । एक अच्छा कागज है, संचार से परहेज समानांतर और अनुक्रमिक क्यूआर कारक$m \times n$$m \ge n$$mn^2 - n^3/3$$2mn^2 - 2n^3/3$$m \gg n$, जो (खंड 4 में) एक चतुर एल्गोरिथ्म पर चर्चा करता है जिसमें केवल पी प्रोसेसर का उपयोग करने के लिए संदेश भेजने की आवश्यकता होती है, बनाम पारंपरिक दृष्टिकोणों के एन लॉग पी संदेश। खर्च यह है कि ओ ( एन 3 लॉग पी ) अतिरिक्त फ्लॉप प्रदर्शन किया जाता है, लेकिन बहुत छोटे एन के लिए यह अक्सर अधिक संदेश भेजने की विलंबता लागत के लिए पसंद किया जाता है (कम से कम जब केवल एक क्यूआर कारक को प्रदर्शन करने की आवश्यकता होती है)।$\log p$$p$$n \log p$$O(n^3 \log p)$$n$

Answer 2

मुझे आश्चर्य है कि किसी ने भी रैखिक कम से कम वर्गों की समस्याओं का उल्लेख नहीं किया है , जो वैज्ञानिक कंप्यूटिंग में अक्सर होते हैं। यदि आप गाऊसी उन्मूलन का उपयोग करना चाहते हैं, तो आपको सामान्य समीकरणों को बनाना और हल करना होगा, जो इस प्रकार हैं:

$$A^{T}Ax = A^{T}b,$$

$A$$x$$b$

$A^{T}A$$A$

Comments

$n^3$$A^H A$$2/3 n^3$$6n^3$

ऑर्थोगोनल परिवर्तनों के उपयोग द्वारा गारंटीकृत स्थिरता के अलावा, एसवीडी का महान लाभ यह है कि अपघटन अपनी स्थिति की जांच प्रदान करता है, क्योंकि सबसे बड़े से सबसे छोटे एकवचन मूल्य का अनुपात ठीक है (2-मानक) स्थिति संख्या। अन्य डिकम्पोजिशन के लिए, एक स्थिति अनुमानक (जैसे हगर-हिगम) का उपयोग होता है, हालांकि अपघटन के रूप में महंगा नहीं है, कुछ हद तक "पर निपटा"।

— JM

@JackPoulson जिज्ञासा से बाहर, क्या आपके पास SVD के लिए अपने फ्लॉप काउंट का संदर्भ है? गोलूब एंड वैन लोन (पृष्ठ 254 3 संस्करण) में एक त्वरित नज़र से जो मैं बता सकता हूं, उससे कम से कम वर्गों की समस्याओं को हल करने में एसवीडी का उपयोग करने के लिए निरंतर अधिक प्रतीत होगा, लेकिन मुझे गलत किया जा सकता है। अग्रिम में धन्यवाद।

— OscarB

$8/3 n^3$$A=FBG^H$$C$$B=U\Sigma V^H$$x := (G (V (\mathrm{inv}(\Sigma) (U^H (F^H b)))))$$O(n^2)$$C$$O(n^2)$

$\frac{\sigma_1}{\sigma_n}$

Answer 3

आप प्रदर्शन को कैसे मापते हैं? स्पीड? शुद्धता? स्थिरता? मतलाब में एक त्वरित परीक्षण निम्नलिखित देता है:

>> N = 100;
>> A = randn(N); b = randn(N,1);
>> tic, for k=1:10000, [L,U,p] = lu(A,'vector'); x = U\(L\b(p)); end; norm(A*x-b), toc
ans =
   1.4303e-13
Elapsed time is 2.232487 seconds.
>> tic, for k=1:10000, [Q,R] = qr(A); x = R\(Q'*b); end; norm(A*x-b), toc             
ans =
   5.0311e-14
Elapsed time is 7.563242 seconds.

इसलिए एलयू-अपघटन के साथ एक एकल प्रणाली को हल करना क्यूआर-अपघटन के साथ इसे हल करने में लगभग तीन गुना तेज है, सटीकता के आधे दशमलव अंक की लागत पर (यह उदाहरण!)।

Comments

आपके द्वारा सुझाई गई किसी भी योग्यता का स्वागत है।

— फलेचिक २

Answer 4

आप जिस लेख का हवाला देते हैं, वह यह कहते हुए गॉसियन एलिमिनेशन का बचाव करता है कि भले ही यह संख्यात्मक रूप से अस्थिर है, लेकिन यह यादृच्छिक मैट्रिस पर अच्छा करता है और चूंकि अधिकांश मैट्रिसेस सोच सकते हैं कि रैंडम मैट्रिस की तरह हैं, हमें ठीक होना चाहिए। यह एक ही कथन कई संख्यात्मक तरीकों से कहा जा सकता है।

सभी मैट्रिसेस के स्पेस पर विचार करें। ये तरीके लगभग हर जगह ठीक काम करते हैं। यह 99.999 है ... सभी मेट्रिसेस में से एक% बना सकता है अस्थिर तरीकों के साथ कोई समस्या नहीं होगी। केवल मेट्रिसेस का एक बहुत छोटा अंश है जिसके लिए GE और अन्य को कठिनाई होगी।

शोधकर्ताओं ने जिन समस्याओं की परवाह की है, वे उस छोटे से अंश में हैं।

हम बेतरतीब ढंग से मेट्रिसेस का निर्माण नहीं करते हैं। हम बहुत विशेष गुणों के साथ मैट्रिस का निर्माण करते हैं जो बहुत ही विशेष, गैर-यादृच्छिक प्रणालियों के अनुरूप हैं। ये मेट्रिक्स अक्सर बीमार हालत में होते हैं।

ज्यामितीय रूप से आप सभी मैट्रिक्स के रैखिक स्थान पर विचार कर सकते हैं। इस स्थान के माध्यम से एकवचन मेट्रिसेस कटौती का एक शून्य मात्रा / माप उप-स्थान है। हमारे द्वारा निर्मित कई समस्याएं इस उप-प्रजाति के चारों ओर मौजूद हैं। उन्हें यादृच्छिक रूप से वितरित नहीं किया जाता है।

एक उदाहरण के रूप में गर्मी समीकरण या फैलाव पर विचार करें। ये सिस्टम सिस्टम से जानकारी निकालने के लिए करते हैं (सभी प्रारंभिक राज्य एक अंतिम स्थिति के लिए गुरुत्वाकर्षण करते हैं) और परिणामस्वरूप इन समीकरणों का वर्णन करने वाले मेट्रिसेस काफी विलक्षण हैं। शारीरिक प्रणालियों में एक यादृच्छिक स्थिति में सर्वव्यापी होने के बावजूद यह प्रक्रिया बहुत संभावना नहीं है।

Comments

यदि रैखिक प्रणाली शुरू में बीमार है, तो कोई फर्क नहीं पड़ता कि आप किस विधि का उपयोग करते हैं: एलयू और क्यूआर अपघटन दोनों ही गलत परिणाम देंगे। क्यूआर केवल उन मामलों में जीत सकते हैं जब गॉसियन उन्मूलन की प्रक्रिया एक अच्छा मैट्रिक्स "खराब" करती है। मुख्य मुद्दा यह है कि ऐसे व्यवहार के व्यावहारिक मामलों का पता नहीं है।

— फालिकिक

अधिकांश वैज्ञानिक अनुप्रयोगों के लिए, हम आम तौर पर ऐसे मैट्रीज़ प्राप्त करते हैं जो विरल, सममित, सकारात्मक निश्चित और / या विकर्ण प्रमुख होते हैं। बहुत कम अपवादों के साथ, मैट्रिक्स में संरचना होती है जो हमें पारंपरिक गाऊसी उन्मूलन पर कुछ तकनीकों का फायदा उठाने की अनुमति देती है।

— पॉल

@Paul: दूसरी ओर, घने गॉसियन उन्मूलन वह जगह है जहाँ ज्यादातर समय निरर्थक मैट्रिस के लिए बहुपक्षीय पद्धति में बिताया जाता है।

— जैक पोल्सन 16

@Paul यह सिर्फ सच नहीं है कि "अधिकांश एप्लिकेशन SPD / तिरछे प्रमुख मैट्रिसेस का उत्पादन करते हैं"। हां, आमतौर पर किसी प्रकार की शोषक संरचना होती है, लेकिन निरंकुश और अनिश्चित समस्याएं बेहद आम हैं।

— जेड ब्राउन

"कंप्यूटिंग के पचास वर्षों में, कोई भी मैट्रिक्स समस्याएं जो विस्फोटक अस्थिरता को उत्तेजित नहीं करती हैं उन्हें प्राकृतिक परिस्थितियों में उत्पन्न होने के लिए जाना जाता है।" - एलएन ट्रेफेथेन और डी। बाऊ वे अपनी पुस्तक में एक दिलचस्प संभाव्य विश्लेषण देते हैं।

— जेएम