तेज मैट्रिक्स गुणन के लिए मेमोरी की आवश्यकता

मान लीजिए कि हम मैट्रिसेस को गुणा करना चाहते हैं । धीमी मैट्रिक्स गुणा एल्गोरिथ्म समय में चलता है और मेमोरी का उपयोग करता है । सबसे तेज मैट्रिक्स गुणा समय में चलता है , जहां रैखिक बीजगणित स्थिर है, लेकिन इसकी स्मृति जटिलता के बारे में क्या जाना जाता है? $n \times n$ $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

ऐसा लगता है कि यह एक प्राथमिकता हो सकती है कि तेज मैट्रिक्स गुणा मेमोरी का उपभोग करता है । क्या कोई गारंटी है कि इसे मेमोरी में किया जा सकता है ? क्या यह मामला है कि वर्तमान में ज्ञात मैट्रिक्स गुणन एल्गोरिदम मेमोरी का उपयोग करते हैं? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(मैं वास्तव में आयताकार मैट्रिक्स गुणन में दिलचस्पी रखता हूं, लेकिन मुझे लगता है कि उत्तर उस मामले में भी वैसा ही होगा जैसा कि स्क्वायर केस के लिए होता है, और स्क्वायर केस का बेहतर अध्ययन किया जाता है।)

ds.algorithms linear-algebra

— डेविड हैरिस
स्रोत

अंतरिक्ष का उपयोग सभी स्ट्रैसेन जैसे एल्गोरिदम के लिए सबसे अधिक है (अर्थात जो ऊपरी रूप से मैट्रिक्स गुणन के क्रम को बीजगणित पर आधारित करते हैं)। कोपरस्मिथ-विनोग्राद एल्गोरिथ्म की अंतरिक्ष जटिलता देखें $O(n^2)$

हालाँकि, मैंने अपने पिछले उत्तर में महसूस किया कि मैंने यह नहीं बताया कि अंतरिक्ष उपयोग ... इसलिए यहाँ कुछ हाथ से लहराता है। इस बात पर विचार करें कि स्ट्रैसन जैसा एल्गोरिथ्म क्या करता है। यह मैट्रिक्स गुणा के लिए एक निश्चित एल्गोरिथ्म से शुरू होता है जो कुछ निरंतर लिए गुणन का उपयोग करता है । विशेष रूप से, यह एल्गोरिथ्म (जो भी हो) WLOG लिखा जा सकता है ताकि: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

यह गणना करता है विभिन्न मैट्रिक्स जो पहले मैट्रिक्स के गुणा प्रविष्टियों विभिन्न scalars और द्वारा मैट्रिक्स दूसरा मैट्रिक्स से इसी तरह के रूप में, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
यह उन रैखिक संयोजनों गुणा करता है , फिर $L_i \cdot R_i$
की यह पलता प्रविष्टियों विभिन्न scalars द्वारा, फिर प्राप्त करने के लिए entrywise अप इन सभी मैट्रिक्स कहते हैं । $L_i \cdot R_i$ $A \cdot B$

(यह एक तथाकथित "बिलिनियर" एल्गोरिथ्म है, लेकिन यह पता चलता है कि प्रत्येक "बीजगणितीय" मैट्रिक्स गुणन एल्गोरिथ्म को इस तरह से लिखा जा सकता है।) प्रत्येक , इस एल्गोरिथ्म को केवल स्टोर करना होगा। मौजूदा उत्पाद और के वर्तमान मूल्य , किसी भी बिंदु पर स्मृति में (शुरू में सब-शून्य करने के लिए सेट) इसलिए स्थान उपयोग है । $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

इस परिमित एल्गोरिथ्म को देखते हुए यह तो मनमाने ढंग से करने के लिए बढ़ा दिया गया है मैट्रिक्स, में बड़े मैट्रिक्स तोड़कर आयाम के ब्लॉक , लागू करने के परिमित ब्लॉक करने के लिए एल्गोरिथ्म जब भी दो ब्लॉक को गुणा करने की आवश्यकता होती है, मैट्रिसेस और पुनरावर्ती रूप से एल्गोरिथ्म को कॉल करना। प्रत्यावर्तन के प्रत्येक स्तर में, हम केवल रखने की जरूरत स्मृति में क्षेत्र तत्वों (भंडारण $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ विभिन्न मैट्रिक्स)। के लिए स्थान उपयोग मान लिया जाये कि आव्यूह गुणन है , इस पुनरावर्ती एल्गोरिदम के स्थान उपयोग है , जो $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ को हल करती । $S(\ell) \leq O(K^{2\ell})$

— रेयान विलियम्स
स्रोत

किसी भी स्ट्रैसेन-स्टाइल एल्गोरिथ्म के लिए, यह मुझे सही लगता है। लेकिन ताम्रकार-Winograd भी साबित कर दिया कि करने के लिए नीचे पाने के लिए

वास्तव में Strassen शैली एल्गोरिदम, करीब है और करीब सच प्रतिपादक करने के लिए हो जाता है, जिनमें से प्रत्येक की एक अनंत अनुक्रम की आवश्यकता है। वास्तव में, सीडब्ल्यू-शैली एल्गोरिदम और सीयू-शैली एल्गोरिदम दोनों ऐसे अनुक्रम प्रदान करते हैं (यद्यपि हम जहां तक जानते हैं,

तक नहीं पहुंचते हैं)। परिमेय के साथ, यह है कि इस तरह के एक अनुक्रम में प्रयोग किया जाता स्थिरांक बहुत जल्दी विकसित होगा संभव है, ताकि ""

कलन विधि का उपयोग हो सकते हैं

अंतरिक्ष।

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

— जोशुआ ग्रूको

... लेकिन अपने तर्क से, एक हमेशा समय में एक एल्गोरिथ्म प्राप्त कर सकते हैं

और अंतरिक्ष

किसी के लिए

।

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

— जोशुआ ग्रूको

@Joshua, इन Strassen प्रकार एल्गोरिदम के स्मृति आवश्यकता की तरह है

, जहां मैं एल्गोरिथ्म के इंडेक्स नंबर होता है और च गणना कर सका है। इसलिए, यदि आप पर इन एल्गोरिदम खोज से

और कश्मीर n का धीरे-धीरे बढ़ रही समारोह है, तो काम बन जाता है

और स्मृति है

।

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

— डेविड हैरिस

@DavidHarris: ठीक है, यकीन है कि, जब तक कि

है धीरे-धीरे बढ़ रही की तुलना में काफी

, अर्थात्,

जल्दी के रूप में के रूप में अधिक से अधिक विकसित करने के लिए है

। सवाल यह है कि किसी भी परिवार के लिए,

क्या है और

कितनी जल्दी बढ़ता है। लेकिन इस बात की कोई गारंटी नहीं है कि

धीरे-धीरे बढ़ेगा कुल मिलाकर

मेमोरी उपयोग ...

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

— यहोशू ग्रूचो

@Joshua। विचार यह है कि लंबाई

इनपुट पर , हम पहले

पुटीय स्ट्रैसेन-प्रकार के एल्गोरिदम पर खोज करते हैं, सत्यापित करते हैं कि क्या वे वैध हैं, और जो सबसे तेज़ है उसे चुनें। बस

को

एक फंक्शन के रूप में चुनें ताकि

। के बाद से

यह संकेत मिलता है कि किसी भी Strassen प्रकार एल्गोरिथ्म का चयन किया जाएगा

पर्याप्त रूप से बड़े। तो समय

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

साथ ही।

n^{ω + o (1)}

$n^{\omega+o(1)}$

— डेविड हैरिस

अधिक आम तौर पर, फास्ट मैट्रिक्स गुणन प्रति प्रोसेसर मेमोरी में प्रोसेसर पर किया जा सकता है । हालाँकि, प्रोसेसर के बीच संचार तब उप-अपनाने योग्य होता है। अधिक स्मृति का उपयोग करके इष्टतम संचार प्राप्त किया जा सकता है। जहां तक मुझे पता है, यह ज्ञात नहीं है कि क्या इष्टतम संचार और इष्टतम मेमोरी एक साथ प्राप्त की जा सकती है। विवरण http://dx.doi.org/10.1007/PL00008264 में हैं $p$ $O(n^2/p)$

— अलेक्जेंडर टिस्किन
स्रोत