एक छोटे से मानक समायोजन के Eigenvectors

मेरे पास एक डेटासेट है जो धीरे-धीरे बदल रहा है, और मुझे इसके सहसंयोजक मैट्रिक्स के आइजनवेक्टरों / ईजेनवेल्यूल्स का ट्रैक रखने की आवश्यकता है।

मैं उपयोग कर रहा हूं scipy.linalg.eigh, लेकिन यह बहुत महंगा है, और यह इस तथ्य का उपयोग नहीं करता है कि मेरे पास पहले से ही एक अपघटन है जो केवल थोड़ा गलत है।

क्या इस समस्या से निपटने के लिए कोई बेहतर तरीका सुझा सकता है?

— यारोस्लाव बुलटोव
स्रोत

आपका डेटा कितना बड़ा है? क्या आपको पूर्ण eigensystem की आवश्यकता है, या केवल कुछ सबसे बड़े eigenvalues की? क्या आपको उनकी बिल्कुल आवश्यकता है, या एक सन्निकटन करना होगा?

— cfh

मुझे पूरा इग्निशन सिस्टम चाहिए। मुझे सहसंयोजक मैट्रिक्स के व्युत्क्रम की प्रतिगमन व्याख्या का उपयोग करके छोटे मानक अद्यतन के बाद मैट्रिक्स के व्युत्क्रम को अपडेट करने के लिए एक एल्गोरिथ्म मिला, इसलिए मैंने माना कि आइजनवेक्टरों के लिए कुछ ऐसा ही होना चाहिए।

— यारोस्लाव बुलटोव

आप उस पूर्ण ईगेंडेकोम्पोजिशन के साथ क्या करते हैं? एक बेहतर शॉर्टकट हो सकता है जो इसके माध्यम से नहीं जाता है ... और मैंने सीएफएच के सवाल को दोहराया: "कितना बड़ा"?

— फेडेरिको पोलोनी

मेरे पास 8k फीचर्स और लाखों डेटा पॉइंट्स हैं, इसलिए कोविरेंस अनुमानित है। यह इस एल्गोरिथम को लागू करना है। ग्रेडिएंट अपडेट कुछ सहसंयोजक मैट्रिक्स के प्रतिजन पर निर्भर करता है, और प्रत्येक चरण में यह सहसंयोजक मैट्रिक्स बदलता है

— यारोस्लाव बुलटोव

जवाबों:

$A(t)$ $A(t + \delta t)$

एक उप-ट्रैकिंग ट्रैकिंग विधि स्पष्ट रूप से अधिक उपयोगी है (3) । (4) का एक अंश :

एक चरम (अधिकतम या न्यूनतम) eigen जोड़ी (eigenvalue और eigenvector) की पुनरावृत्ति गणना 1966 [72] तक वापस हो सकती है। 1980 में, थॉम्पसन ने eigenvector के आकलन के लिए एक एलएमएस-प्रकार के अनुकूली एल्गोरिथ्म का प्रस्ताव दिया, जो नमूना कोवरियनस मैट्रिक्स के सबसे छोटे eigenvalue के अनुरूप है, और पिस्सेंको के हार्मोनिक अनुमानक [14] के साथ कोण / आवृत्ति कंघी के अनुकूली ट्रैकिंग एल्गोरिदम प्रदान किया। सरकार एट अल। [Conj३] ने चरम आइगेनवीक्टर की भिन्नता को ट्रैक करने के लिए संयुग्म ढाल ढाल का उपयोग किया जो धीरे-धीरे बदलते सिग्नल के सहसंयोजक मैट्रिक्स के सबसे छोटे आइगेनवेल्यू से मेल खाता है और थॉम्पसन के एलएमएस-प्रकार के एल्गोरिथ्म की तुलना में इसके बहुत तेजी से अभिसरण साबित हुआ। इन विधियों का उपयोग केवल सीमित अनुप्रयोग के साथ एकल चरम मूल्य और eigenvector को ट्रैक करने के लिए किया गया था, लेकिन बाद में उन्हें eigen-subspace ट्रैकिंग और अपडेट करने के तरीकों के लिए बढ़ाया गया। 1990 में, कॉमोन और गोलूब [6] ने अत्यधिक विलक्षण मूल्य और एकवचन वेक्टर पर नज़र रखने के लिए लैंज़ोस पद्धति का प्रस्ताव रखा, जो मूल रूप से कुछ बड़ी और विरल सममितीय समस्या के निर्धारण के लिए तैयार की गई एक सामान्य विधि है। $Ax = kx$

[६]: कॉमोन, पी।, और गोलूब, जीएच (१ ९९ ०)। सिग्नल प्रोसेसिंग में कुछ अत्यधिक विलक्षण मूल्यों और वैक्टर को ट्रैक करना। आईईईई के प्रसंस्करण में (पीपी। 1327-1343)।

[१४]: थॉम्पसन, पीए (१ ९ pson०)। निष्पक्ष आवृत्ति के लिए एक अनुकूली वर्णक्रमीय विश्लेषण तकनीक

[[२]: ब्रैडबरी, डब्ल्यूडब्ल्यू, और फ्लेचर, आर (१ ९ ६६)। आइजनप्रोलेम के समाधान के लिए नई पुनरावृत्ति विधियां। संख्यात्मक गणित, ९ (९), २५ ९ -२६६।

[[३]: सरकार, टीके, डायनाट, एसए, चेन, एच।, और ब्रुले, जेडी (१ ९ ark६)। संयुग्म ढाल विधि द्वारा अनुकूली वर्णक्रमीय आकलन। IEEE लेनदेन ध्वनिक, भाषण और सिग्नल प्रोसेसिंग पर, 34 (2), 272-284।

[[४]: गोलूब, जीएच, और वैन लोड, सीएफ (१ ९ ub ९)। मैट्रिक्स संगणना (दूसरा संस्करण)। बाल्टीमोर: द जॉन हॉपकिंस यूनिवर्सिटी प्रेस।

मुझे यह भी उल्लेख करना चाहिए कि सममित मैट्रिक के समाधान, जैसे कि आपके द्वारा दिए गए समाधान का उपयोग क्या होना चाहिए scipy.linalg.eigh, कुछ हद तक सस्ते हैं। यदि आप केवल कुछ ही स्वदेशी में रुचि रखते हैं, तो आपको अपनी विधि में गति में सुधार भी मिल सकता है। अर्नोल्डी विधि का उपयोग अक्सर ऐसी स्थितियों में किया जाता है।

— स्पेंसर ब्रिंगेल्सन
स्रोत

सूचक के लिए धन्यवाद, क्यूआर एल्गोरिथ्म एक अच्छा प्रारंभिक बिंदु जैसा लगता है

— यारोस्लाव बुलटोव

A

$A$

A + λ I

$A+\lambda I$

ps: 4k-by-4k मैट्रिक्स पर linalg.eigh लगभग 20 सेकंड ले रहा है (यह केवल किसी कारण के लिए सिंगल कोर का उपयोग करता है)। मुझे प्रति अपडेट लगभग 0.25 सेकंड की आवश्यकता है

— यारोस्लाव बुलटोव

$t^0$ $\mathcal{O}(N^3)$ $\mathcal{O}(k N^2)$ $N$ $k$

यहां कुछ प्रासंगिक संदर्भ दिए गए हैं:

पहले क्रम के आदेशों (शैंपेन, IEEE TSP 42 (10) 1994) के आधार पर डेटा कोवरियन मैट्रिसेस का अनुकूली इगेंडेकम्पोजीशन

एक सहसंयोजक मैट्रिक्स (यूईईई टीएसपी, 39 (5) एनआईएस) के आइजनवेल्यू अपघटन को अद्यतन करने वाली पुनरावर्ती

उच्च आयाम में ऑनलाइन प्रमुख घटक विश्लेषण: कौन सा एल्गोरिदम चुनना है? (कार्डोत और देग्रास)

विलक्षण मूल्य अपघटन (गुजरात और ईसेनस्टैड, 1994) को अद्यतन करने के लिए एक स्थिर और तेज़ एल्गोरिथम

— GoHokies
स्रोत

दुर्भाग्य से मेरे पास छोटे रैंक अपडेट नहीं हैं, मेरे पास पूर्ण रैंक के छोटे मानक अपडेट हैं

— यारोस्लाव बुलटोव

@YaroslavBulatov मुझे एक कुशल एल्गोरिथ्म के बारे में पता नहीं है जो छोटे-मानक पूर्ण रैंक अपडेट को संभाल सकता है - सबसे अच्छा मुझे यह मिल सकता था यह संदर्भ था , लेकिन यह बहुत आशाजनक नहीं लगता है। निश्चित रूप से eigenvalue perturbation पर साहित्य का एक बड़ा निकाय है जिसे आप देखना चाहते हैं (अन्य उत्तर देखें)।

— गोहोकिस २४'१