एक बहुत बड़े धनात्मक मैट्रिक्स (65M x 3.4M) के एकवचन मान अपघटन (SVD) की गणना करने का सबसे अच्छा तरीका क्या है जहाँ डेटा अत्यंत विरल है?
मैट्रिक्स का 0.1% से कम गैर शून्य है। मुझे एक तरीका चाहिए:
- मेमोरी में फिट होगा (मुझे पता है कि ऑनलाइन तरीके मौजूद हैं)
- एक उचित समय में गणना की जाएगी: 3,4 दिन
- पर्याप्त सटीक होगा हालांकि सटीकता मेरी मुख्य चिंता नहीं है और मैं इसे नियंत्रित करने में सक्षम होना चाहूंगा कि मैंने इसमें कितने संसाधन लगाए।
एक हास्केल, पायथन, सी # आदि पुस्तकालय होना बहुत अच्छा होगा जो इसे लागू करता है। मैं मैथलैब या आर का उपयोग नहीं कर रहा हूं लेकिन यदि आवश्यक हो तो मैं आर के साथ जा सकता हूं।
3
आपके पास कितनी मेमोरी है? 0.1% 65M * 3.4M अभी भी 221e9 गैर शून्य मान है। यदि आप प्रति मूल्य 4 बाइट्स का उपयोग करते हैं, तो यह अभी भी 55 gb से अधिक कोई उपरि मान नहीं है, इसलिए स्पार्सिटी अभी भी समस्या का समाधान नहीं करती है ... क्या आपको एक बार में पूरे सेट को मेमोरी में लोड करने की आवश्यकता है?
—
बिटविन
मुझे और सटीक होना चाहिए था। 32-बिट पूर्णांक के साथ 250-500mb से अधिक नहीं। शायद बहुत कम है, लेकिन जैसा कि मैं इसे समझ रहा हूं, आयामीता समस्या है। मेरे पास 16GB की मशीन है।
—
सोनिया
इस बारे में कैसा है? quora.com/…
—
बिटवाइज़
: जो औजार "एक तेज, वृद्धिशील, कम स्मृति, बड़े मैट्रिक्स SVD एल्गोरिथ्म" एक अजगर पुस्तकालय के लिए इस वेबपेज लिंक en.wikipedia.org/wiki/Latent_semantic_analysis
—
बिटवाइस
यह भी देखें stats.stackexchange.com/questions/2806 ।
—
अमीबा का कहना है कि मोनिका