एएए और एए 'योगों की स्थिति संख्या

9

यह दिखाया गया है (Yousef Saad, विरल रैखिक प्रणालियों के लिए Iterative विधियाँ , पृष्ठ 260) $cond(A'A) \approx cond(A)^2$

क्या यह सच है $AA'$ भी?

यदि $A$ है $N\times M$ साथ में $N \ll M$ , मैं उसका निरीक्षण करता हूं $cond(A'A) \gg cond(AA')$

क्या इसका मतलब के रूप में सूत्रीकरण है $AA'$ इस मामले में बेहतर है?

linear-algebra condition-number

— सिकंदर
स्रोत

2

आप विशाल आकार के साथ दो मैट्रिस की स्थिति संख्या की तुलना कर रहे हैं। क्यों की व्याख्या के बिना, ऐसा लगता है कि तुलना शायद सार्थक नहीं है। निश्चित रूप से, यदि आप बहुत छोटे मैट्रिक्स का उपयोग करके अपनी आवश्यकता को पूरा कर सकते हैं, तो आपको चाहिए (भले ही कंडीशनिंग समान थी)।

— डेविड केचेसन

1

नीचे स्टीफनो एम द्वारा नया उत्तर सही है। कृपया इसे पढ़ें और इसे वोट करें।

— डेविड केचेसन

6

अगर $A\in\mathbb{R}^{N\times M}$ साथ में $N<M$ , फिर

r a n k (A^{T} A) = r a n k (A A^{T}) = r a n k (A) \leq N < M

$\mathop{\mathrm{rank}}(A^TA) = \mathop{\mathrm{rank}}(AA^T) = \mathop{\mathrm{rank}}(A) \leq N < M$ ताकि

A^{T} A \in R^{M \times M}

$A^TA \in \mathbb{R}^{M\times M}$ पूर्ण रैंक नहीं किया जा सकता है, अर्थात यह विलक्षण है।

तदनुसार स्थिति संख्या है $\kappa_2(A^TA)=\infty$ । परिमित परिशुद्धता अंकगणित के कारण, यदि आप मतलाब cond(A'A)में गणना करते हैं तो आप एक बड़ी संख्या प्राप्त करते हैं, नहीं Inf।

— स्टेफानो एम
स्रोत

@ ओस्करबी: के एकवचन मान

A

$A$ बस हैं

N

$N$ , ऐसी कोई बात नहीं है

M

$M$ वें एकवचन मूल्य! आपकी व्युत्पत्ति सही है, लेकिन कृपया ध्यान दें कि यदि

σ_{i}

$\sigma_i$ ,

i = 1 \dots N

$i=1\dots N$ sv के हैं

A

$A$ , फिर

S S^{T} = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2})

$SS^T=\mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2)$ , जबकि

S^{T} S = d i a g (σ_{1}^{2}, \dots, σ_{n}^{2}, 0, \dots, 0)

$S^TS = \mathop{\mathrm{diag}}(\sigma_1^2,\dots,\sigma_n^2, 0, \dots, 0)$ साथ में

M - N

$M-N$ अनुगामी शून्य।

— स्टेफानो एम

8

अच्छा, चलो देखते हैं क्यों $A^TA$ लगभग चुकता स्थिति संख्या है $A$ । एसवीडी के अपघटन का उपयोग करना $A=USV^T$ , साथ में $U \in \mathbb{R}^{N \times N}$ , $S \in \mathbb{R}^{N \times M}$ , $V \in \mathbb{R}^{M \times M}$ , हम व्यक्त कर सकते हैं $A^T A$ जैसा

$A^T A=(USV^T)^T USV^T=VS^T U^T U S V^T=V S^T S V^T$

जिस पर हम ध्यान देते हैं $U$ अलंकारिक है, ऐसा है $U^T U=I$ । आगे हम ध्यान दें $S$ एक विकर्ण मैट्रिक्स है, जैसे कि अंतिम विघटन $A^TA$ के रूप में व्यक्त किया जा सकता है $V S^2 V^T$ , साथ में $S^2$ अर्थ $S^T S$ , पहले एन विलक्षण मूल्यों के साथ एक विकर्ण मैट्रिक्स उपज $S$ विकर्ण में चुकता। इसका मतलब यह है कि चूंकि हालत संख्या पहले और अंतिम एकवचन मूल्य का अनुपात है, $cond(A)=\frac{s_1}{s_N}$ के लिये $A \in \mathbb{R}^{N \times M}$ ,

$cond(A^T A)=\frac{s_1^2}{s_M^2}=(\frac{s_1}{s_M})^2=cond(A)^2$

अब, हम उसी अभ्यास को कर सकते हैं $AA^T$ :

$AA^T=USV^T (USV^T)^T=USV^T V S^T U^T=U S^2 U^T$

जिसका अर्थ है कि हमें इसका फल मिलता है $cond(AA^T)=\frac{s_1^2}{s_N^2}$ , जबसे $S^2$ यहाँ का अर्थ है $SS^T$ , ऊपर के अंकन से एक सूक्ष्म अंतर।

लेकिन ध्यान दें कि सूक्ष्म अंतर! के लिये $A^TA$ स्थिति संख्या में हर में M'th एकवचन मान होता है, जबकि $AA^T$ N'th एकवचन मान है। यह बताता है कि आप हालत संख्या में महत्वपूर्ण अंतर क्यों देख रहे हैं - $AA^T$ वास्तव में "बेहतर वातानुकूलित" होगा $A^TA$ ।

फिर भी, डेविड केचेसन सही था - आप दो विशाल रूप से अलग-अलग मैट्रिस के बीच स्थिति संख्याओं की तुलना कर रहे हैं। विशेष रूप से, आप किस चीज को पूरा कर सकते हैं $A^TA$ वही नहीं होगा जो आप पूरा कर सकते हैं $AA^T$ ।

— OscarB
स्रोत

यह एक महान व्याख्या है! मुझे अब फर्क साफ नजर आ रहा है। मैट्रिक्स ए का उपयोग सामान्य समीकरणों को बनाने के लिए किया जाता है और थोड़े बदलाव के साथ आप इसे भी तैयार कर सकते हैं

A A^{'}

$AA'$ शास्त्रीय नहीं

A^{'} A

$A'A$ । क्या आप सामान्य समीकरणों को हल करने के बजाय एलएसक्यूआर जैसे सॉल्वर का उपयोग करना फायदेमंद है या नहीं? चूंकि LSQR को इस उत्पाद को बनाने की आवश्यकता नहीं है।

— अलेक्जेंडर

खुशी है कि यह समझ में आया। सामान्य तौर पर, आपको समस्या की कंडीशनिंग पर विचार करने की आवश्यकता है। लेकिन, अगर यह कोई समस्या नहीं है, तो आप समस्या के आकार (अन्य चीजों के बीच) के आधार पर सामान्य समीकरणों / क्यूआर-कारक (ए के) / एलएसक्यूआर का उपयोग कर सकते हैं। जब तक आपकी समस्या बड़ी या अशिक्षित नहीं होगी, तब तक मैं शायद क्यूआर-फैक्टराइजेशन लागू कर दूंगा, लेकिन समस्या के बारे में अधिक जानकारी के बिना आप हल करने की कोशिश कर रहे हैं, यह बताना मुश्किल है। मुझे यकीन है कि अधिक अनुभव वाले अन्य लोग अधिक विस्तृत सलाह दे सकते हैं।

— ऑस्करबी

A स्वयं अशिक्षित है (स्थिति संख्या के साथ)

\approx 10^{7}

$\approx 10^7$ ), घने और बड़े। क्यूआर एक विकल्प नहीं है। चूंकि यह बीमार हालत में है, इसलिए मुझे कुछ नियमितीकरण जोड़ना होगा। अब सरल तिखोनोव नियमितीकरण पर्याप्त प्रतीत होता है। बात यह है कि अगर

c o n d (A) < c o n d (A A^{T}) < c o n d (A^{T} A)

$cond(A) < cond(AA^T) < cond(A^T A)$ (के साथ मेरे मामले के लिए

N < M

$N < M$ ) तो एलएसक्यूआर का उपयोग करना हमेशा बेहतर लगता है क्योंकि आपको किसी भी उत्पाद को बनाने की आवश्यकता नहीं है। सवाल यह है कि क्या सामान्य समीकरणों और एलएसक्यूआर के साथ प्राप्त समाधान समान हैं?

— अलेक्जेंडर

ठीक है, जैसा कि मैं इसे समझता हूं, एलएसक्यूआर सटीक सटीकता में "असीम रूप से कई" पुनरावृत्तियों के बाद सामान्य समीकरणों को एक समान समाधान प्रदान करेगा। हालांकि, बीमार समस्याओं के लिए, सामान्य समीकरण समाधान वह नहीं है जो आप चाहते हैं। इसके बजाय, आप एलएसक्यूआर का उपयोग करना चाहते हैं जब तक कि अर्ध-अभिसरण प्राप्त न हो जाए। हालाँकि, दुर्भावनापूर्ण समस्याओं में चलने वाले एल्गोरिदम को नियंत्रित करना एक अन्य बॉल-गेम है। इसके अलावा, आपके मैट्रिक्स-वेक्टर उत्पाद की लागत और पुनरावृत्तियों की संख्या पर निर्भर करता है (और इस प्रकार matvecs) की जरूरत है, द्विदिशीकरण के साथ एक सीधा तिकोनेव समाधान बेहतर हो सकता है।

— ऑस्करबी

बहुत बढ़िया व्याख्या। आप के लिए +1 सर!

— मेवप्लप

2

दावा है कि $\DeclareMathOperator{\cond}{cond} \cond A^2 \approx \cond A^T A$ (वर्ग मैट्रिसेस के लिए) ~~प्रश्न में और~~ [संपादित करें: मैं गलत है] आर्टान के उत्तर में बकवास है। काउंटर उदाहरण

A = (\begin{matrix} ϵ & 1 \\ 0 & ϵ \end{matrix}), ϵ ≪ 1

$\newcommand\bigO{\mathcal{O}}A = \begin{pmatrix} \epsilon & 1 \\ 0 & \epsilon \end{pmatrix}, \quad \epsilon \ll 1$

जिसके लिए आप आसानी से जांच कर सकते हैं $\cond A^T A = \bigO(\epsilon^{-4})$ जबकि $\cond A^2 = \bigO(\epsilon^{-2})$ ।

— जेड ब्राउन
स्रोत

ठीक है कि तनाव के लिए

A^{2}

$A^2$ तथा

A^{T} A

$A^T A$ आम तौर पर बहुत ही असंतुष्ट होते हैं, जैसा कि अंजीर, svds, संघनित्र संख्या: लेकिन मेरी राय में प्रश्न का दावा क्या है

[c o n d (A)]^{2}

$[\mathrm{cond}(A)]^2$ ।

— स्टेफानो एम

@StefanoM धन्यवाद, ऐसा लगता है कि मैं गलत था, हालांकि चर्चा से, केवल एक ही नहीं था।

— जेड ब्राउन

1

सटीक अंकगणित में (A ^ 2) = cond (A'A) = cond (AA)), उदाहरण के लिए देखें। गोलूब और वैन लोन, तीसरा संस्करण, पी 70। यह अस्थायी बिंदु अंकगणित में सच नहीं है यदि ए लगभग रैंक की कमी है। सबसे अच्छी सलाह यह है कि कम से कम वर्ग समस्याओं को हल करते समय उपरोक्त पुस्तक व्यंजनों का पालन करें, सबसे सुरक्षित एसवीडी दृष्टिकोण, पी 257। SVD की गणना करते समय \ varepsilon- रैंक का उपयोग करें, जहाँ \ varepsilon आपके मैट्रिक्स डेटा का रिज़ॉल्यूशन है।

— Artan
स्रोत

मुझे क्षमा करें, मैंने गोलब और वान लोन 3 एड पी पर देखा। 70, और कुछ भी नहीं पाया कि बयान कॉन्डोम (A ^ 2) = cond (A ^ TA) = cond (AA ^ T)। क्या आप अपने संदर्भ के साथ अधिक विशिष्ट हो सकते हैं?

— ऑस्करबी

वहाँ कोई बयान नहीं है, लेकिन आप प्रमेय 2.5.2 और छद्म बिंदु से निकल सकते हैं, खंड 5.5.4 कि कंडोम (एए ') = कंडोम (एए)। इसका कारण यह है कि मैं छद्मवेशी लेती हूं कि हाथ में कम से कम वर्गों की समस्या के लिए यही मायने रखता है। कॉन्डोम (A ^ 2) के बाद की समानता को लगभग, टाइपो के लिए खेद होना चाहिए।

— आर्टन

नहीं, यह जवाब पूरी तरह से गलत है। मेरा प्रति-उदाहरण देखें।

— जेड ब्राउन

साद ने इस तरह के बिंदु को कुछ विशिष्ट संदर्भ में बनाया होगा। हाथ में प्रश्न के लिए क्या प्रासंगिक है, कार्यवाही तर्क है।

— अर्टन