मैट्रिक्स में एक नई पंक्ति जोड़ने के बाद SVD अपघटन को अद्यतन करना

Question

मान लीजिए कि मैं एक घने मैट्रिक्स है के SVD अपघटन के साथ, आकारमें मैं SVD गणना कर सकते हैं इस प्रकार है: ।$\textbf{A}$$m \times n$

$$\mathbf{A}=\mathbf{USV}^\top.$$ Rsvd(A)

यदि एक नई -th पंक्ति को जोड़ा जाता है , तो क्या कोई पुराने के आधार पर नए SVD अपघटन की गणना कर सकता है (यानी , , और का उपयोग करके ), बिना पुनर्गणना के। खरोंच से SVD?$(m+1)$$\mathbf A$$\mathbf U$$\mathbf S$$\mathbf V$

Comments

के साहित्य की जाँच करें rank 1 updates। ब्रांड द्वारा लाइटवेट अनुशंसाकर्ता प्रणालियों के लिए फास्ट ऑनलाइन एसवीडी संशोधन एक सुलभ पहला पेपर है। मैं दुर्भाग्य से एसवीडी के लिए पहले से ही आर में लागू नहीं देखा था। चोलस्की अपडेट्स ( updownसे Matrix) CHOLMOD की बदौलत मौजूद हैं । आपके मैट्रिक्स की विरलता वास्तव में आपके अंतिम समाधान के लिए एक अलग बना देगी; क्या आप एक सघन या विरल मैट्रिक्स मानते हैं? $A$

— us --r11852 का कहना है कि

+1 से @ usεr11852 यह भी ध्यान दें कि QR को अपडेट करने के लिए यह बहुत आसान और अधिक मानक है और कुछ अनुप्रयोगों में QR पर्याप्त है और किसी को वास्तव में SVD की आवश्यकता नहीं है। इसलिए अपने आवेदन के बारे में भी सोचें।

— अमीबा का कहना है कि मोनिका

हां, मैट्रिक्स घनी है।

— user1436187

तब सिफारिश करने वाले साहित्य को 'खाई' और छवि प्रसंस्करण पर ध्यान केंद्रित करें। एक डेटाबेस में "नई छवियों" के संदर्भ में पर्यटन के साथ इसी तरह के प्रश्न पोस्ट किए गए हैं। उदाहरण के लिए, मेरा कूबड़ यह है कि किसी व्यक्ति के पास अपने आइजनफेस की प्रविष्टियों को ऑन-लाइन अपडेट करने के लिए एक एल्गोरिथम होना चाहिए। ये लोग घने मैट्रिक्स अभ्यावेदन के साथ काम करते हैं।

— us --r11852

अन्य एसई वेबसाइटों पर कुछ संबंधित धागे: scicomp.stackexchange.com/questions/2678 , scicomp.stackexchange.com/questions/19253 , mathoverflow.net/questions/143375 ।

— अमीबा का कहना है कि मोनिका

Answer 1

हां, मौजूदा मैट्रिक्स में एक नई पंक्ति जोड़ने के बाद कोई SVD अपघटन को अद्यतन कर सकता है।

सामान्य तौर पर यह " एक में जोड़ें " समस्या सूत्रीकरण रैंक वन अपडेट के रूप में जाना जाता है । यदि आप मामले में गहराई से देखना शुरू करना चाहते हैं तो @amoeba द्वारा " कुशल रैंक-दो अपडेट्स ऑफ एजेनवेल्यू डिकम्पोजिशन" पर उपलब्ध कराया गया MathOverflow लिंक एक बेहतरीन पहला कदम है; पहला पेपर आपके विशिष्ट प्रश्न का एक स्पष्ट समाधान प्रदान करता है। बस स्पष्ट करने के लिए क्या रैंक-एक और रैंक-दो मतलब हैं, ताकि आप उलझन में नहीं मिलता है, तो अपने नए है कि इस तरह है:$A^*$

$$\begin{align} A^* = A - uv^T \end{align}$$

जहां और v वैक्टर हैं तो आप इसे रैंक-वन अपडेट (या गड़बड़ी ) के रूप में संदर्भित करते हैं । इस अद्यतन का मूल शर्मन-मॉरिसन सूत्र द्वारा तय किया गया है। । यदि गड़बड़ी एक रैंक से अधिक है यानी। ए - = ए - यू वी $u$$v$

$$\begin{align} A^* = A - UV^T \end{align}$$

वुडबरी सूत्र खेलने में आता है। यदि आप इन सूत्रों को देखते हैं तो आप देखेंगे कि उलटा बहुत सारे हैं। आप सीधे इनका समाधान नहीं करते हैं। जैसा कि आप पहले से ही उनके सबसिस्टम का एक बड़ा सौदा पहले से ही हल कर चुके हैं (यानी आपके पास पहले से गणना की गई कुछ अपघटन है) आप इनका उपयोग तेज और / या अधिक स्थिर अनुमान प्राप्त करने के लिए करते हैं। (यही कारण है कि लोग अभी भी इस क्षेत्र पर शोध करते हैं।) मैंने जेई जेंटल द्वारा एक संदर्भ के रूप में " कम्प्यूटेशनल स्टेटिस्टिक्स " पुस्तक का उपयोग किया है ; मुझे लगता है कि अध्याय। 5 न्यूमेरिकल रैखिक बीजगणित आपको ठीक से स्थापित करेगा। (द यूबर-क्लासिक: " हार्वेस्टी द्वारा एक सांख्यिकीविद के दृष्टिकोण से मैट्रिक्स बीजगणित " अनजाने में रैंक अपडेट पर बिल्कुल भी स्पर्श नहीं करता है।)

चीजों के आंकड़ों / आवेदन पक्ष को देखते हुए, रेंक वन अपडेट रेकमेंडर सिस्टम में आम हैं क्योंकि किसी में हजारों ग्राहक प्रविष्टियां हो सकती हैं और एसवीडी (या उस मामले के लिए कोई भी अपघटन) को फिर से जोड़ सकते हैं) हर बार एक नया उपयोगकर्ता रजिस्टर या एक नया उत्पाद। जोड़ा या हटाया काफी बेकार है (यदि अप्राप्य नहीं है)। आमतौर पर सिफारिश करने वाला सिस्टम मैट्रस विरल होता है और यह एल्गोरिदम को और अधिक कुशल बनाता है। एक सुलभ पहला पेपर एम। ब्रांड द्वारा पांडुलिपि " हल्के ऑनलाइन एसवीडी संशोधन के लिए हल्का सिफारिशकर्ता सिस्टम " है। सघन मैट्रिसेस में जाने से मुझे लगता है कि पैटर्न रिकॉग्निशन और इमेजिंग प्रोसेसिंग के कागजात को देखने से आपको उपयोग करने के लिए वास्तविक एल्गोरिथ्म प्राप्त करने में काफी मदद मिल सकती है। उदाहरण के लिए कागजात:

1. रेन और दाई द्वारा फेस रिकग्निशन (2009) के लिए द्विदिश प्रमुख घटकों का वृद्धिशील शिक्षण
2. ली एट अल द्वारा वृद्धिशील और मजबूत सबस्पेस सीखने (2003) पर ।
3. अनुक्रमिक करहुनेन-लोवे आधार निष्कर्षण और लीवे और लिंडेनबाम द्वारा छवियों (2000) के लिए इसके आवेदन ।
4. रॉस एट अल द्वारा रोबस्ट विजुअल ट्रैकिंग (2007) के लिए वृद्धिशील शिक्षण ।

सभी अपने मूल में एक ही समस्या से निपटने लगते हैं; नई सुविधाएँ आ रही हैं और हमें अपने प्रतिनिधित्व को तेजी से अद्यतन करने की आवश्यकता है । ध्यान दें कि ये मैट्रेस सममित या चौकोर नहीं हैं। एम। ब्रांड का एक अन्य काम इस समस्या को भी हल कर सकता है (देखें कागज " पतले एकवचन मूल्य अपघटन का तेज़-रैंक संशोधन) (2006) " - यह पोस्ट की शुरुआत में दिए गए एमओ लिंक में भी उल्लेख किया गया है।) विषय पर बहुत सारे महान कागज हैं, लेकिन सबसे अधिक गणितीय हैं (उदाहरण के लिए, बेनेच-जॉर्जेस और नादकुदिती का पेपर) " बड़े आयताकार यादृच्छिक मेट्रिसेस (2012) के निम्न श्रेणी के गड़बड़ी के विलक्षण मान और वैक्टर") और मुझे नहीं लगता कि वे जल्द ही समाधान पाने में मदद करेंगे। मेरा सुझाव है कि आप इमेज प्रोसेसिंग साहित्य पर अपना ध्यान केंद्रित रखें।

दुर्भाग्य से मैं रैंक-वन अपडेट रूटीन के लिए किसी भी आर कार्यान्वयन में नहीं आया हूं। कम्प्यूटेशनल साइंस एसई से " पायथन, सी, या फोरट्रान में अपडेटेबल एसवीडी कार्यान्वयन " पर जवाब MATLAB और सी ++ कार्यान्वयन की एक संख्या देता है जिसे आप विचार करना चाह सकते हैं। आमतौर पर आर, पायथन आदि कार्यान्वयन सी, सी ++ या फोरट्रान कार्यान्वयन के आसपास के रैपर हैं।

Comments

यह एक अच्छी टिप्पणी है, लेकिन मुझे इस सवाल का जवाब नहीं मिलने पर निराशा हुई। यह पता चला है कि एमओ उत्तर से जुड़े मैथ्यू ब्रांड द्वारा एक अन्य पेपर में एक स्पष्ट समाधान शामिल है।

— व्हिबर

आप और @whuber दोनों के लिए +1 (और मुझे नहीं लगता कि किसी अन्य SE साइट पर उपलब्ध कराई गई किसी भी जानकारी को "डुप्लिकेट करना" से बचना है! मैं तर्क दूंगा कि हमें इस साइट पर उपलब्ध कराई गई जानकारी को आत्मनिर्भर बनाने का प्रयास करना चाहिए। यथा संभव। वास्तव में, यहां मौजूद लगभग सभी जानकारी कुछ अर्थों में मौजूदा पाठ्यपुस्तकों, ऑनलाइन संसाधनों, या शोध पत्रों को दोहरा रही है)। एक प्रश्न: आपने शेरमैन-मॉरिसन और वुडबरी फॉर्मूलों का उल्लेख किया है, जो बताता है कि रैंक-एक या उच्च-रैंक अपडेट के बाद मैट्रिक्स का व्युत्क्रम कैसे बदलता है; उन्हें SVD के साथ क्या करना है?

— अमीबा का कहना है कि मोनिका

मैं समझता हूं कि आप लोगों को उस लिंक के लिए एमओ पृष्ठ पर क्यों निर्देशित करना चाहते हैं, लेकिन आप सीधे यह कहते हुए विचार कर सकते हैं कि यह समस्या को हल करता है! ("एक अच्छा पहला कदम" एक बहुत बड़ी समझ है।) आपकी बहुत सी टिप्पणी को गलत समझा जा सकता है क्योंकि यह संकेत करता है कि आपने अभी तक एक अच्छा समाधान नहीं पाया है।

— व्ह्यूबर

@ शुभकर्ता: "अच्छा" "महान" बन गया और अब मैंने कागज का भी उल्लेख किया है, बेहतर है? :) (जिस तरह से प्रतिक्रिया के लिए धन्यवाद।)

— us2r11852 का कहना है कि मोनिक

इतिहास की खातिर: बंच और नीलसन एसवीडी को अपडेट करने और डाउट करने का तरीका प्रदर्शित करने वाले पहले व्यक्ति थे। प्रभाव में ब्रांड की विधि इस पुराने पेपर के तरीकों को सामान्य करती है।

— JM एक सांख्यिकीविद