निर्विवाद प्रणालियों के लिए न्यूमपी कम से कम वर्गों को कैसे हल करता है?

मान लीजिए कि हमारे पास एक्स का आकार (2, 5)
और आकार का y (2,) है

यह काम: np.linalg.lstsq(X, y)

हम उम्मीद करेंगे कि यह तभी काम करेगा जब X आकार का हो (N, 5) जहां N> = 5 लेकिन क्यों और कैसे?

हमें उम्मीद के मुताबिक 5 वज़न वापस मिल जाते हैं लेकिन यह समस्या कैसे हल होती है?

क्या ऐसा नहीं है कि हमारे पास 2 समीकरण और 5 अज्ञात हैं?
इसे कैसे सुन्न किया जा सकता है?
यह अधिक कृत्रिम समीकरण बनाने के लिए प्रक्षेप जैसा कुछ करना चाहिए?

least-squares linear-algebra numpy

— जॉर्ज प्लिगोपोपोलोस
स्रोत

यह काम क्यों नहीं करना चाहिए? एक अनिर्धारित प्रणाली के कई समाधान हैं।

— मैथ्यू गन

क्या आपके पास प्रासंगिक सिद्धांत का लिंक हो सकता है? ..

— जॉर्ज प्लिगोरोपोलोस

संबं धत

— Pinocchio

मेरी समझ यह है कि numpy.linalg.lstsq LAPACK रूटीन dgelsd पर निर्भर करता है ।

समस्या को हल करना है:

छोटा करना (ऊपर एक्स) ‖ ए एक्स - ख ‖_{2}

$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$

बेशक, यह मैट्रिक्स A के लिए एक अद्वितीय समाधान नहीं है, जिसका रैंक वेक्टर लंबाई से कम है । एक अनिर्धारित प्रणाली के मामले में, इस तरह एक समाधान प्रदान करता है: $\mathbf{b}$ dgelsd $\mathbf{z}$

$A\mathbf{z} = \mathbf{b}$
$\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ for all जो संतुष्ट करता है । (यानी अनिर्धारित प्रणाली का न्यूनतम मानक समाधान है। $\mathbf{x}$ $A\mathbf{x} = \mathbf{b}$ $\mathbf{z}$

उदाहरण, यदि सिस्टम , तो numpy.linalg.lstsq लौटाएगा । $x + y = 1$ $x = .5, y = .5$

Dgelsd कैसे काम करता है?

दिनचर्या ए dgelsdकी एकवचन मान अपघटन (SVD) की गणना करती है।

मैं सिर्फ एक रैखिक प्रणाली को हल करने के लिए एक SVD का उपयोग करने के पीछे के विचार को स्केच करूँगा। एकवचन मान अपघटन एक कारक है जहाँ और ऑर्थोगोनल मेट्रिसेस हैं और एक विकर्ण मैट्रिक्स है जहाँ विकर्ण प्रविष्टियों को एकवचन मान के रूप में जाना जाता है। $U \Sigma V' = A$ $U$ $V$ $\Sigma$

मैट्रिक्स की प्रभावी रैंक एकवचन मानों की संख्या होगी जो प्रभावी रूप से गैर-शून्य हैं (यानी मशीन परिशुद्धता आदि के सापेक्ष शून्य से पर्याप्त रूप से भिन्न ...)। चलो गैर शून्य विलक्षण मूल्यों की एक विकर्ण मैट्रिक्स हो। SVD इस प्रकार है: $A$ $S$

ए = यू [\begin{matrix} एस & 0 \\ 0 & 0 \end{matrix}] {वी}^{'}

$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$

छद्म प्रतिलोम के $A$ द्वारा दिया जाता है:

ए^{†} = वी [\begin{matrix} {एस}^{- 1} & 0 \\ 0 & 0 \end{matrix}] {यू}^{'}

$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$

समाधान पर विचार $\mathbf{x} = A^\dagger \mathbf{b}$ । फिर:

\begin{aligned} ए एक्स - ख & = यू [\begin{matrix} एस & 0 \\ 0 & 0 \end{matrix}] {वी}^{'} वी [\begin{matrix} {एस}^{- 1} & 0 \\ 0 & 0 \end{matrix}] {यू}^{'} ख - ख \\ = यू [\begin{matrix} मैं & 0 \\ 0 & 0 \end{matrix}] {यू}^{'} ख - ख \end{aligned}

$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$

यहां मूल रूप से दो मामले हैं:

गैर-शून्य विलक्षण मान (यानी मैट्रिक्स $I$ का आकार ) की संख्या $\mathbf{b}$ की लंबाई से कम है । यहाँ समाधान सटीक नहीं होगा; हम कम से कम वर्गों में रैखिक प्रणाली को हल करेंगे।
$A\mathbf{x} - \mathbf{b} = \mathbf{0}$

यह आखिरी हिस्सा थोड़ा मुश्किल है ... मैट्रिक्स के आयामों पर नज़र रखने की जरूरत है और इसका उपयोग करना है कि $U$ एक ऑर्थोगोनल मैट्रिक्स है।

छद्म व्युत्क्रम की समानता

जब $A$ रैखिक स्वतंत्र पंक्तियाँ, है, तो (उदाहरण के लिए हम एक वसा मैट्रिक्स की है।):

ए^{†} = ए^{'} {(ए ए^{'})}^{- 1}

$A^\dagger = A'\left(AA' \right)^{-1}$

एक अनिर्धारित प्रणाली के लिए, आप दिखा सकते हैं कि छद्म उलटा आपको न्यूनतम आदर्श समाधान देता है।

$A$

ए^{†} = {(ए^{'} ए)}^{- 1} ए^{'}

$A^\dagger = \left(A'A \right)^{-1}A'$

— मैथ्यू गुन
स्रोत

dgelsd SVD का उपयोग करता है लेकिन R lm QR का उपयोग करता है?

— हाइताओ डू

@ hxd1011R lmडिफ़ॉल्ट रूप से QR गुणनखंडन का उपयोग करता है लेकिन आप विकल्प निर्दिष्ट कर सकते हैं।

— साइकोरैक्स का कहना है कि मोनिका