एसवीडी को स्थिर बनाने के लिए कितना नियमितीकरण जोड़ना है?

मैं Intel MKL के SVD ( dgesvdSciPy के माध्यम से) का उपयोग कर रहा हूं और देखा है कि जब मेरे मैट्रिक्स के बीच सटीक रूप से परिवर्तन होता है float32और float64पूर्ण रैंक नहीं होता है, तो परिणाम काफी भिन्न होते हैं । वहाँ मैं परिणाम के प्रति असंवेदनशील बनाने के लिए जोड़ना चाहिए नियमितीकरण की न्यूनतम राशि पर एक गाइड है float32> - float64परिवर्तन?

विशेष रूप से, कर रहा है $A=UDV^{T}$ , मैं देख रहा हूं कि मान 1 के बीच चलता है, जब मैं बीच में परिशुद्धता बदलता हूं और । का मानदंड और इसमें 784 कुल में से लगभग 200 शून्य eigenvalues हैं। $L_\infty$ $V^{T}X$ float32float64 $L_2$ $A$ $10^5$

SVD on with करने से अंतर गायब हो गया। $\lambda I + A$ $\lambda=10^{-3}$

— यारोस्लाव बुलटोव
स्रोत

आकार क्या है

N

$N$ का

N \times N

$N\times N$ आव्यूह

A

$A$ उस उदाहरण के लिए (क्या यह एक वर्ग मैट्रिक्स भी है)? 200 शून्य eigenvalues या एकवचन मान? एक फ्रोबेनियस मानदंड

| | A | |_{F}

$||A||_\text{F}$ एक प्रतिनिधि उदाहरण के लिए भी उपयोगी होगा।

— एंटोन मेन्शोव

इस मामले में 784 x 784 मैट्रिक्स, लेकिन मैं लैम्ब्डा का अच्छा मूल्य खोजने के लिए सामान्य तकनीक में अधिक दिलचस्पी रखता हूं

— यारोस्लाव बुलटोव

तो, अंतर है

V

$V$ शून्य विलक्षण मानों के अनुरूप केवल अंतिम कॉलम में?

— निक अल्जीरिया

यदि कई समान विलक्षण मूल्य हैं, तो svd अद्वितीय नहीं है। आपके उदाहरण में, मुझे लगता है कि समस्या कई शून्य विलक्षण मूल्यों से आती है और यह कि एक अलग परिशुद्धता संबंधित विलक्षण स्थान के लिए आधार का एक अलग विकल्प है। मुझे नहीं पता कि जब आप नियमित करते हैं तो यह क्यों बदल जाता है ...

— डिर्क

...क्या है

X

$X$ ?

— फेडेरिको पोलोनी

जवाबों:

हालाँकि इस सवाल का एक बड़ा जवाब है, यहाँ छोटे विलक्षण मूल्यों के लिए एक नियम है, एक कथानक के साथ।

यदि एक विलक्षण मान नॉनजेरो है, लेकिन बहुत छोटा है, तो आपको इसके पारस्परिक को शून्य होना चाहिए, क्योंकि इसका स्पष्ट मान संभवतः राउंडऑफ़ त्रुटि की एक विरूपण साक्ष्य है, न कि एक सार्थक संख्या। प्रश्न का एक प्रशंसनीय उत्तर "कितना छोटा है?" इस शैली में सभी विलक्षण मूल्यों को संपादित करना है जिसका अनुपात सबसे बड़ा है $N$ मशीन सटीक समय $\epsilon$ ।

$\qquad$ - संख्यात्मक व्यंजनों p। 795

जोड़ा गया: निम्न जोड़ी लाइनें इस नियम-अंगूठे की गणना करती हैं।

#!/usr/bin/env python2

from __future__ import division
import numpy as np
from scipy.sparse.linalg import svds  # sparse, dense or LinOp

#...............................................................................
def howsmall( A, singmax=None ):
    """ singular values < N float_eps sing_max  may be iffy, questionable
        "How small is small ?"
        [Numerical Recipes p. 795](http://apps.nrbook.com/empanel/index.html?pg=795)
    """
        # print "%d singular values are small, iffy" % (sing < howsmall(A)).sum()
        # small |eigenvalues| too ?
    if singmax is None:
        singmax = svds( A, 1, return_singular_vectors=False )[0]  # v0=random

    return max( A.shape ) * np.finfo( A.dtype ).eps * singmax

हिल्बर्ट मैट्रिक्स को व्यापक रूप से राउंडऑफ़ त्रुटि के लिए एक परीक्षण मामले के रूप में उपयोग किया जाता है:

यहाँ हिल्बर्ट मैट्रिक्स के मन्तीस में निम्न-क्रम बिट्स को शून्य किया जाता है A.astype(np.float__).astype(np.float64), फिर अंदर np.linalg.svdचलाया जाता है float64। ( svdसभी के साथ परिणाम float32एक ही हैं।)

float32ट्रेन / परीक्षण वर्गीकरण के लिए उच्च-आयामी डेटा को दर्शाने के लिए बस ट्रंकटिंग भी उपयोगी हो सकती है।

वास्तविक परीक्षण मामलों का स्वागत किया जाएगा।

— Denis
स्रोत

btw, scipy float32 के लिए 1e3 और float64 के लिए 1e6 का एक कारक जोड़ने के लिए लगता है, जिज्ञासु जहां से ये आए थे

— यारोस्लाव Bulatov

@Yaroslav Bulatov, numpyऔर scipy.linalg.svdकॉल LAPACK gesdd , पैरामीटर देखने JOBRमें dgejsv: "निर्दिष्ट करता है कि विलक्षण मूल्यों के लिए सीमा मुद्दे शून्य छोटे सकारात्मक विलक्षण मूल्यों के लिए सेट करने के लिए लाइसेंस अगर वे बाहर रहे हैं ...।" ( scipy.sparse.linalg.svdsARPACK लपेटता है और एक पैरामीटर है tol, सहिष्णुता एकवचन मानों के लिए।)

— डेनिस

एक सममित मैट्रिक्स के लिए एकवचन मूल्य अपघटन $A=A^{T}$ एक और अपने विहित eigendecomposition के रूप में ही है (यानी एक orthonormal मैट्रिक्स-के-eigenvectors के साथ), जबकि एक nonsymmetric मैट्रिक्स के लिए एक ही बात $M=U \Sigma V^T$ सममित मैट्रिक्स के लिए विहित eigenvalue अपघटन है

एच = [\begin{matrix} 0 & म \\ म^{टी} & 0 \end{matrix}] = [\begin{matrix} यू & 0 \\ 0 & वी \end{matrix}] [\begin{matrix} 0 & Σ \\ Σ & 0 \end{matrix}] {[\begin{matrix} यू & 0 \\ 0 & वी \end{matrix}]}^{टी}

$H=\begin{bmatrix}0 & M\\ M^{T} & 0 \end{bmatrix}=\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}\begin{bmatrix}0 & \Sigma\\ \Sigma & 0 \end{bmatrix}\begin{bmatrix}U & 0\\ 0 & V \end{bmatrix}^{T}$ इसलिए, सामान्यता की हानि के बिना, आइए हम एक निकट से संबंधित प्रश्न पर विचार करें: यदि दो सममित मैट्रिक लगभग समान हैं, तो क्या हमें उम्मीद है कि उनके विहित सिद्घांत भी लगभग समान हो सकते हैं?

इसका उत्तर आश्चर्यजनक है। चलो $\epsilon>0$ छोटे बनो, और दो मैट्रिसेस पर विचार करो

ए_{ε} = [\begin{matrix} 1 & ε \\ ε & 1 \end{matrix}] = वी Λ_{ε} {वी}^{टी}, {बी}_{ε} = [\begin{matrix} 1 + ε & 0 \\ 0 & 1 - ε \end{matrix}] = यू Λ_{ε} {यू}^{टी}

$A_{\epsilon}=\begin{bmatrix}1 & \epsilon\\ \epsilon & 1 \end{bmatrix}=V\Lambda_{\epsilon}V^{T},\qquad B_{\epsilon}=\begin{bmatrix}1+\epsilon & 0\\ 0 & 1-\epsilon \end{bmatrix}=U\Lambda_{\epsilon}U^{T}$ जिनमें से दोनों के पास स्वदेशी गुण हैं

Λ_{ϵ} = d i a g (1 + ϵ, 1 - ϵ)

$\Lambda_{\epsilon}=\mathrm{diag}(1+\epsilon,1-\epsilon)$ , लेकिन किसके eigenvectors हैं

वी = \frac{1}{\sqrt{2}} [\begin{matrix} 1 & 1 \\ 1 & - 1 \end{matrix}], यू = [\begin{matrix} 1 & 0 \\ 0 & 1 \end{matrix}] ।

$V=\frac{1}{\sqrt{2}}\begin{bmatrix}1 & 1\\ 1 & -1 \end{bmatrix},\qquad U=\begin{bmatrix}1 & 0\\ 0 & 1 \end{bmatrix}.$ जबकि मेट्रिक्स

A_{ϵ} \approx B_{ϵ}

$A_{\epsilon} \approx B_{\epsilon}$ लगभग समान हैं, उनके मैट्रिक्स-ऑफ-ईजेनवेक्टर हैं

V

$V$ तथा

U

$U$ बहुत अलग हैं। दरअसल, चूंकि eigendecompositions अद्वितीय हैं

ϵ > 0

$\epsilon>0$ , वास्तव में कोई विकल्प नहीं है

U, V

$U,V$ ऐसा है कि

U \approx V

$U\approx V$

अब, इस अंतर्दृष्टि को परिमित परिशुद्धता के तहत एसवीडी पर वापस लागू करना, हमें लिखना चाहिए $M_{0}=U_{0}\Sigma_{0}V_{0}^{T}$ float64 परिशुद्धता में अपने मैट्रिक्स के रूप में , और $M_{\epsilon}=U_{\epsilon}\Sigma_{\epsilon}V_{\epsilon}^{T}$ float32परिशुद्धता में एक ही मैट्रिक्स के रूप में । यदि हम मान लेते हैं कि एसवीडी स्वयं सटीक हैं, तो एकवचन मान $\Sigma_{0},\Sigma_{\epsilon}$ के एक छोटे से स्थिर कारक से अधिक नहीं द्वारा अलग होना चाहिए $\epsilon\approx10^{-7}$ , लेकिन विलक्षण वैक्टर $U_{0},U_{\epsilon}$ तथा $V_{0},V_{\epsilon}$ अनियंत्रित रूप से बड़ी मात्रा में भिन्न हो सकते हैं। इसलिए, जैसा कि दिखाया गया है, एसवीडी को विलक्षण वैक्टर के अर्थ में "स्थिर" बनाने का कोई तरीका नहीं है।

— रिचर्ड जांग
स्रोत

क्या यह उदाहरण है: users.math.msu.edu/users/markiwen/Teaching/MTH995/Papers/… ?

— Memming

यह एक महान संदर्भ है। मुझे नहीं पता, मैंने इस विशेष उदाहरण को गणित वर्ग में कई साल पहले सीखा था :-)

— रिचर्ड जांग