पीसीए के साथ प्राप्त निम्न-रैंक सन्निकटन मैट्रिक्स द्वारा पुनर्निर्माण त्रुटि का क्या मानदंड न्यूनतम है?

मैट्रिक्स के पीसीए (या SVD) सन्निकटन को देखते हुए के साथ एक मैट्रिक्स , हम जानते हैं कि का सबसे अच्छा कम रैंक अनुमान होता है । $X$ $\hat X$ $\hat X$ $X$

क्या यह प्रेरित मानदंड $\parallel \cdot \parallel_2$ (यानी सबसे बड़ा स्वदेशी मानदंड) के अनुसार या फ्रोबेनियस मानदंड के अनुसार है? $\parallel \cdot \parallel_F$

pca svd matrix-decomposition

— Donbeo
स्रोत

एकल शब्द उत्तर: दोनों।

आइए मानदंडों को परिभाषित करने के साथ शुरू करें। मैट्रिक्स , ऑपरेटर -norm को और फ्रोबेनियस मानदंड as जहाँ एकवचन मान हैं , अर्थात् एकवचन मान अपघटन में विकर्ण तत्व । $X$ $2$

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m a x (s_{i})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

‖ X ‖_{F} = \sqrt{\sum_{i j} X_{i j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{i}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

डेटा केंद्रित होने पर PCA उसी विलक्षण मान के अपघटन द्वारा दिया जाता है। $US$ प्रिंसिपल घटक हैं, $V$ प्रिंसिपल कुल्हाड़ियों, सहप्रसरण मैट्रिक्स की यानी eigenvectors, और के पुनर्निर्माण कर रहे हैं $X$ के साथ ही $k$ प्रमुख घटकों के लिए इसी $k$ सबसे बड़ा विलक्षण मूल्यों द्वारा दिया जाता है $X_k = U_k S_k V_k^\top$ ।

एस्कार्ट युवा प्रमेय का कहना है कि $X_k$ मैट्रिक्स पुनर्निर्माण त्रुटि के आदर्श को न्यूनतम है $\|X-A\|$ सभी के बीच matrices $A$ रैंक के $k$ । यह फ्रोबेनियस मानदंड और ऑपरेटर $2$ -नॉर्म दोनों के लिए सही है । जैसा कि @cardinal द्वारा टिप्पणियों में बताया गया है, यह पहली बार 1907 में फ्रोबेनियस मामले के लिए श्मिट (ग्राम-श्मिट प्रसिद्धि द्वारा) साबित हुआ था। बाद में इसे 1936 में एकार्ट और यंग द्वारा फिर से खोजा गया और अब यह ज्यादातर उनके नाम के साथ जुड़ा हुआ है। मिरस्की ने 1958 में प्रमेय को उन सभी मानदंडों के लिए सामान्य किया जो एकात्मक परिवर्तनों के तहत अपरिवर्तनीय हैं, और इसमें ऑपरेटर 2-मान शामिल है।

इस प्रमेय को कभी-कभी एकार्ट-यंग-मिरस्की प्रमेय कहा जाता है। स्टीवर्ट (1993) ने इसे श्मिट सन्निकटन प्रमेय कहा। मैंने इसे श्मिड्ट-एकार्ट-यंग-मिर्स्की प्रमेय भी कहा है।

इकार्ट एंड यंग, 1936, द लोअर ऑफ़ अ मिस्टी फ़ॉर लोअर रैंक ऑफ़ अदर रैंक
मिर्स्की, 1958, सिमेट्रिक गेज कार्य और इकाई रूप से अपरिवर्तनीय मानदंड
स्टीवर्ट, 1993, विलक्षण मूल्य के प्रारंभिक इतिहास पर अपघटन

ऑपरेटर के लिए सबूत -norm $2$

चलो पूर्ण रैंक के हो । जैसा कि रैंक , इसके रिक्त स्थान में आयाम हैं। सबसे बड़े एकवचन मानों के लिए के दाएं एकवचन वैक्टर द्वारा फैलाए गए स्थान में आयाम हैं। तो इन दो स्थानों को काटना चाहिए। चलो चौराहे से एक इकाई वेक्टर हो। फिर हम मिलते हैं: QED | $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$

‖ X - A ‖_{2}^{2} \geq ‖ (X - A) w ‖_{2}^{2} = ‖ X w ‖_{2}^{2} = \sum_{i = 1}^{k + 1} s_{i}^{2} (v_{i}^{⊤} w)^{2} \geq s_{k + 1}^{2} = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

फ्रोबेनियस मानदंड का प्रमाण

हम मैट्रिक्स लगाना चाहते हैं रैंक के कि कम करता । हम को फ़ैक्टर कर सकते हैं , जहाँ के ऑर्थोनॉर्मल कॉलम हैं। न्यूनतम लिए , समाधान साथ एक प्रतिगमन समस्या है । इसे इन करने पर, हम देखते हैं कि अब हमें जहां का सहसंयोजक मैट्रिक्स है , यानी $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$

‖ X - X W W^{⊤} ‖^{2} = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = c o n s t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = c o n s t - c o n s t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$ । इसका मतलब है कि पुनर्निर्माण त्रुटि के स्तंभों के रूप में लेने के द्वारा कम से कम है कुछ orthonormal वैक्टर प्रक्षेपण की कुल अन्तर को बढ़ाता है।

W

$W$

k

$k$

यह सर्वविदित है कि ये पहले कोविरियन मैट्रिक्स के eigenvectors हैं। वास्तव में, यदि , तो । लिखना जिसमें ऑर्थोनॉर्मल कॉलम भी हैं, हमें अधिकतम प्राप्त करने के साथ । प्रमेय तो तुरंत अनुसरण करता है। $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$

t r (W^{⊤} Σ W) = t r (R^{⊤} Λ R) = \sum_{i} λ_{i} \sum_{j} R_{i j}^{2} \leq \sum_{i = 1}^{k} λ_{k},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

निम्नलिखित तीन संबंधित सूत्र देखें:

फ्रोबेनियस मानदंड के लिए पहले प्रमाण का प्रयास

यह प्रमाण मुझे कहीं ऑनलाइन मिला लेकिन यह गलत है (एक अंतर है), जैसा कि टिप्पणियों में @cardinal द्वारा समझाया गया है।

फ्रोबेनियस मानदंड एकात्मक परिवर्तनों के तहत अपरिवर्तनीय है, क्योंकि वे एकवचन मूल्यों को नहीं बदलते हैं। तो हम प्राप्त करते हैं: जहां । जारी:यह कम से कम तब होता है जब सभी ऑफ-विकर्ण तत्व शून्य होते हैं और सभी विकर्ण शब्द सबसे बड़ा एकवचन मान को रद्द करते हैं [यहाँ अंतर: यह स्पष्ट नहीं है] , अर्थात और इसलिए ।

‖ X - A ‖_{F} = ‖ U S V^{⊤} - A ‖ = ‖ S - U^{⊤} A V ‖ = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - A ‖_{F} = \sum_{i j} (S_{i j} - B_{i j})^{2} = \sum_{i} (s_{i} - B_{i i})^{2} + \sum_{i \neq j} B_{i j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— अमीबा का कहना है कि मोनिका को बहाल करो
स्रोत

फ्रोबेनिअस मानदंड के मामले में प्रमाण सही नहीं है (या कम से कम पूर्ण) क्योंकि तर्क यहाँ इस संभावना को समाप्त नहीं करता है कि उसी रैंक का एक मैट्रिक्स "छोटे" बंद होने के दौरान कुछ अन्य विकर्ण शब्दों को रद्द कर सकता है। विकर्ण। अंतराल को और अधिक स्पष्ट रूप से देखने के लिए कि विकर्णों को स्थिर और "शून्य" करना, अक्सर विकर्णों की रैंक को बढ़ा सकता है !

— कार्डिनल

यह भी ध्यान दें कि एसवीडी को बेल्ट्रामि (कम से कम एक सामान्य रूप में, विशेष मामले में) और जॉर्डन को 1874 की शुरुआत में जाना जाता था।

— कार्डिनल

@कार्डिनल: हम्म, मुझे यकीन नहीं है कि मैं अंतर देख रहा हूं। तो कुछ अन्य विकर्ण मामले में बाहर रद्द के बजाय सबसे बड़ी हैं और कुछ अशून्य है बंद विकर्ण शर्तों के बजाय, तो दोनों रकम, और , बढ़ने जा रहे हैं। तो यह केवल पुनर्निर्माण त्रुटि को बढ़ाएगा। नहीं? फिर भी, मैंने साहित्य में फ्रोबेनियस मानदंड के लिए एक और प्रमाण खोजने की कोशिश की, और पढ़ा है कि इसे किसी तरह से ऑपरेटर के मानक मामले से आसानी से पालन करना चाहिए। लेकिन अभी तक मैं यह नहीं देखता कि इसे कैसे फॉलो करना चाहिए ...

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— अमीबा का कहना है कि मोनिका

मैं कर गिनीकृमि स्टीवर्ट (1993) की तरह, विलक्षण मूल्य अपघटन, के प्रारंभिक इतिहास पर सियाम समीक्षा , वॉल्यूम। ३५, नहीं। ४, ५५१-५६६ और, ऐतिहासिक मामलों में आपकी पहले से प्रदर्शित रुचि को देखते हुए, मुझे लगता है कि आप भी करेंगे। दुर्भाग्य से, मुझे लगता है कि स्टीवर्ट अनजाने में अत्यधिक Schmidt के 1907 प्रमाण की लालित्य को खारिज कर दिया। इसके भीतर छिपा एक प्रतिगमन व्याख्या है जिसे स्टीवर्ट अनदेखा करते हैं और जो वास्तव में काफी सुंदर है। एक और प्रमाण है जो आपके द्वारा लिए गए प्रारंभिक विकर्ण दृष्टिकोण का अनुसरण करता है, लेकिन जिसे अंतराल को भरने के लिए कुछ अतिरिक्त काम की आवश्यकता होती है। (cont।)

— कार्डिनल

@कार्डिनल: हां, आप सही कह रहे हैं, अब मुझे अंतर दिखाई दे रहा है। स्टीवर्ट पेपर के लिए बहुत बहुत धन्यवाद, यह एक बहुत ही दिलचस्प पढ़ा गया था। मैं देखता हूं कि स्टीवर्ट श्मिट और वेइल के साक्ष्य प्रस्तुत करते हैं, लेकिन वे दोनों इस बात की तुलना में अधिक जटिल दिखते हैं कि मैं यहां क्या कॉपी करना चाहूंगा (और अब तक मुझे उनके ध्यान से अध्ययन करने का समय नहीं मिला है)। मुझे आश्चर्य है: मुझे उम्मीद थी कि यह एक बहुत ही सरल परिणाम होगा, लेकिन ऐसा लगता है कि यह मेरे विचार से कम तुच्छ है। विशेष रूप से, मैंने उम्मीद नहीं की होगी कि फ्रोबेनियस मामला ऑपरेटर मानक एक की तुलना में बहुत अधिक जटिल है। मैं अब पोस्ट को संपादित करूंगा। नया साल मुबारक हो!

— अमीबा का कहना है कि

पीसीए के साथ प्राप्त निम्न-रैंक सन्निकटन मैट्रिक्स द्वारा पुनर्निर्माण त्रुटि का क्या मानदंड न्यूनतम है?

एकल शब्द उत्तर: दोनों।

ऑपरेटर के लिए सबूत -norm222

फ्रोबेनियस मानदंड का प्रमाण

फ्रोबेनियस मानदंड के लिए पहले प्रमाण का प्रयास

ऑपरेटर के लिए सबूत -norm $2$