ग्राफ लाप्लासियन (व्युत्क्रम) कोवरियनस के साथ मल्टीवेरेट गौसियन से नमूना लेना

हम उदाहरण के लिए Koutis-Miller-Peng (Spielman & Teng के काम के आधार पर) से जानते हैं, कि हम बहुत जल्दी रैखिक प्रणालियों को मैट्रिसेस लिए हल कर सकते हैं, जो कि गैर-ऋणात्मक बढ़त भार के साथ कुछ स्पार्फ ग्राफ के लिए ग्राफ लाप्लासियन मैट्रिक्स हैं । $A x = b$ $A$

अब (पहला प्रश्न) इनमें से किसी एक ग्राफ लाप्लासियन मेट्रिसेस का उपयोग कोविरियन या एक (दूसरा प्रश्न) के रूप में करने पर विचार करें , जो शून्य-माध्य सामान्य वितरण , या विपरीत सहसंयोजक मैट्रिक्स है। । इन मामलों में से प्रत्येक के लिए, मेरे पास दो प्रश्न हैं: $A$ $\mathcal{N}(\boldsymbol{0}, A)$ $\mathcal{N}(\boldsymbol{0}, A^{-1})$

A. इस वितरण से हम कितनी कुशलता से एक नमूना बना सकते हैं? (आमतौर पर एक नमूना खींचने के लिए, हम चोल्स्की अपघटन गणना करते हैं $A = LL^T$ , एक मानक सामान्य आकर्षित करते हैं $y \sim \mathcal{N}(\boldsymbol{0}, I)$ , फिर एक नमूने की गणना करते हैं $x = L^{-1} y$ )।

B. हम के निर्धारक की कितनी कुशलता से गणना कर सकते हैं $A$ ?

ध्यान दें कि इन दोनों को आसानी से हल किया जा सकता है जो चोल्स्की अपघटन दिया गया है, लेकिन मैं तुरंत नहीं देखता कि कैसे एक मानक विरल चोल्स्की एल्गोरिथ्म का उपयोग करके $L$ अधिक कुशलता से निकाला जा सकता है, जो कि उपर्युक्त में प्रस्तुत तकनीकों का उपयोग नहीं करेगा। काम करता है, और जो विरल-लेकिन-उच्च-त्रिविमीय रेखांकन के लिए घन जटिलता होगी।

— dan_x
स्रोत

मुझे लगता है कि आप दोनों मामलों में "कुशल" पर विचार करने में थोड़ा अधिक विशिष्ट हो सकते हैं। क्या "कुशल" वही है जो "चोल्स्की अपघटन पर निर्भर नहीं है"?

— सुरेश वेंकट

सलाह के लिये धन्यवाद। यह संभव है कि सभी प्रश्नों का उत्तर "आपको चोल्स्की अपघटन की गणना करने की आवश्यकता है, और ऐसी कोई संरचना नहीं है जिसे मैट्रिक्स की विरलता से आगे बढ़ाया जा सके।" मुझे यह जानने में दिलचस्पी होगी कि क्या यह सच था (लेकिन मुझे आशा है कि यह नहीं है)। अंतिम पैराग्राफ में "कुशलतापूर्वक" के संबंध में, हां, मेरा मतलब है कि मानक विरल चोल्स्की एल्गोरिदम की तुलना में अधिक कुशलता से। यद्यपि यदि चोल्स्की को समान रूप से उपवास करने के लिए उपर्युक्त कार्य की तकनीकों का उपयोग करने का एक तरीका था, जितना कि अन्य साधनों के माध्यम से हो सकता है, तो यह भी दिलचस्प होगा।

— dan_x

यदि आप से नमूना लेना चाहते हैं , तो आप उस उपयोग कर सकते हैं , जहां ग्राफ का घटना मैट्रिक्स है। इस प्रकार, आप एक मानक गाऊसी से ( किनारों हैं) पर नमूना कर सकते हैं और रैखिक परिवर्तन लागू कर सकते हैं । मुझे नहीं पता कि यह नीचे दिए गए सुझावों की तुलना कैसे करता है, लेकिन आपको चोल्स्की अपघटन की गणना करने की आवश्यकता नहीं है।

N (0, A)

$N(0,A)$

A = B^{T} B

$A = B^T B$

B

$B$

R^{E}

$\mathbb{R}^E$

E

$E$

B

$B$

— लोरेंजो नजट

यहां दो अलग-अलग मुद्दे हैं।

को लागू करने के लिए लिए कुशल सॉल्वर का उपयोग कैसे करें । $Ax=b$ $A^{1/2}b$
निर्धारक की गणना कैसे करें।

संक्षिप्त उत्तर 1) तर्कसंगत मैट्रिक्स फ़ंक्शन सन्निकटन का उपयोग करते हैं, और 2) आप नहीं करते हैं, लेकिन आपको किसी भी रास्ते की आवश्यकता नहीं है। मैं नीचे इन दोनों मुद्दों को संबोधित करता हूं।

मैट्रिक्स वर्गमूल सन्निकटन

यहाँ विचार स्केलर फ़ंक्शंस के लिए एक तर्कसंगत फ़ंक्शन सन्निकटन को मैट्रिक्स फ़ंक्शंस के लिए तर्कसंगत फ़ंक्शन सन्निकटन में बदलने के लिए है।

हम जानते हैं कि ऐसे परिमेय कार्य मौजूद हैं जो वर्गाकार रूट फंक्शन को लगभग अच्छी तरह से अनुमानित कर सकते हैं, सकारात्मक । दरअसल, अंतराल पर उच्च सटीकता प्राप्त करने के लिए , आपको श्रृंखला में शब्द चाहिए। उचित वजन (प्राप्त करने के लिए ) और डंडे ( ), बस ऑनलाइन या एक किताब में देखो तर्कसंगत समारोह सन्निकटन।

\sqrt{x} \approx r (x) := \frac{a_{1}}{x + b_{1}} + \frac{a_{2}}{x + b_{2}} + \dots + \frac{a_{N}}{x + b_{N}},

$\sqrt{x} \approx r(x) := \frac{a_1}{x+b_1} + \frac{a_2}{x+b_2} + \dots + \frac{a_N}{x+b_N},$

b_{i}

$b_i$

[m, M]

$[m,M]$

O (\log \frac{M}{m})

$O(\log \frac{M}{m})$

a_{i}

$a_i$

- b_{i}

$-b_i$

अब अपने मैट्रिक्स पर इस तर्कसंगत फ़ंक्शन को लागू करने पर विचार करें:

r (A) = a_{1} (A + b_{1} I)^{- 1} + a_{2} (A + b_{2} I)^{- 1} + \dots + a_{N} (A + b_{N} I)^{- 1} .

$r(A) = a_1(A + b_1 I)^{-1} + a_2(A + b_2 I)^{-1} + \dots + a_N(A + b_N I)^{-1}.$

की समरूपता के कारण , हमारे पास जहां के एकमात्र मूल्य अपघटन (SVD) है । तो, तर्कसंगत मैट्रिक्स सन्निकटन की गुणवत्ता eigenvalues के स्थान पर तर्कसंगत फ़ंक्शन सन्निकटन की गुणवत्ता के बराबर है। $A$

\begin{aligned} | | A^{1 / 2} - r (A) | |_{2} & = | | U (Σ^{1 / 2} - r (Σ)) U^{*} | |_{2}, \\ = max_{i} | \sqrt{σ_{i}} - r (σ_{i}) | \end{aligned}

$\begin{align} ||A^{1/2} - r(A)||_2 &= ||U\left(\Sigma^{1/2} - r(\Sigma)\right)U^*||_2, \\ &= \max_i |\sqrt{\sigma_i} - r(\sigma_i)| \end{align}$

A = U Σ U^{*}

$A = U \Sigma U^*$

A

$A$

by की स्थिति संख्या को अस्वीकार करते हुए , हम सकारात्मक रूप से स्थानांतरित ग्राफ़ के लैपलासियन समाधान, द्वारा किसी भी वांछित सहिष्णुता के लिए लागू कर सकते हैं। $A$ $\kappa$ $A^{1/2}b$ $O(\log \kappa)$

(A + b I) x = b .

$(A + bI)x=b.$

इन समाधानों को आपके पसंदीदा ग्राफ लाप्लासियन सॉल्वर के साथ किया जा सकता है - मैं मल्टीग्रिड टाइप तकनीक पसंद करता हूं, लेकिन आपके द्वारा दिए गए कागज में से एक भी ठीक होना चाहिए। अतिरिक्त केवल सॉल्वर के अभिसरण में मदद करता है। $bI$

इस पर चर्चा करने वाले एक उत्कृष्ट पेपर के लिए, साथ ही साथ और अधिक सामान्य जटिल विश्लेषण तकनीकें जो गैर-मेट्रिक मेट्रिसेस पर लागू होती हैं, कम्प्यूटिंग , , और समोच्च इंटीग्रल द्वारा संबंधित मैट्रिक्स फ़ंक्शन $A^α$ $\log(A)$ , हेल, हिघम और ट्रेफेथेन द्वारा (2008) देखें। )।

निर्धारक "अभिकलन"

निर्धारक की गणना कठिन है। जहाँ तक मुझे पता है, सबसे अच्छा तरीका है कि क्यूआर एल्गोरिथ्म का उपयोग करके शूर अपघटन गणना की , तो ऊपरी-त्रिकोणीय मैट्रिक्स के विकर्ण से पढ़ें । यह समय लेता है , जहां ग्राफ में नोड्स की संख्या है। $A = Q U Q^*$ $U$ $O(n^3)$ $n$

हालांकि, निर्धारकों की गणना एक अंतर्निहित रूप से बीमार स्थिति है, इसलिए यदि आप कभी भी एक पेपर पढ़ते हैं जो एक बड़े मैट्रिक्स के कंप्यूटिंग निर्धारकों पर निर्भर करता है, तो आपको विधि पर बहुत संदेह होना चाहिए।

सौभाग्य से, आपको वास्तव में निर्धारक की आवश्यकता नहीं है। उदाहरण के लिए,

एक एकल गाऊसी वितरण से नमूने खींचने के लिए , सामान्यीकरण स्थिरांक सभी बिंदुओं पर समान है, इसलिए आपको इसे गणना करने की आवश्यकता नहीं है। $N(0,A^{-1})$
यदि आपका मैट्रिक्स गैर-गाऊसी वितरण के बिंदु पर एक स्थानीय गाऊसी सन्निकटन के व्युत्क्रम सहसंयोजक का प्रतिनिधित्व करता है, तो निर्धारक वास्तव में बिंदु से बिंदु तक बदल जाता है। हालाँकि, हर प्रभावी नमूनाकरण योजना में मुझे पता है (मार्कोव चेन मोंटे कार्लो, महत्व नमूनाकरण, आदि सहित) जो आपको वास्तव में निर्धारित करने वाले अनुपात की जरूरत है , जहां वर्तमान बिंदु है, और प्रस्तावित अगला नमूना है। $A = A_x$ $x$ $det (A_{x_{0}}^{- 1} A_{x_{p}}),$ $\det(A_{x_0}^{-1}A_{x_p}),$ $x_0$ $x_p$

हम को पहचान के लिए निम्न-रैंक अपडेट के रूप में देख सकते हैं, जहां प्रभावी संख्यात्मक। रैंक, , निम्न-रैंक अपडेट का एक स्थानीय उपाय है कि वास्तविक वितरण गैर-गॉसियन कैसे है; आमतौर पर यह मैट्रिक्स की पूर्ण रैंक की तुलना में बहुत कम है। वास्तव में, यदि बड़ा है, तो वास्तविक वितरण स्थानीय रूप से गैर-गाऊसी है, जिसे स्थानीय गौसियन सन्निकटन का उपयोग करके इस वितरण को पूरा करने की कोशिश करने की पूरी रणनीति पर सवाल उठाना चाहिए। $A_{x_0}^{-1}A_{x_p}$

A_{x_{0}}^{- 1} A_{x_{p}} = I + Q D Q^{*},

$A_{x_0}^{-1}A_{x_p} = I + Q D Q^*,$

r

$r$

r

$r$

निम्न श्रेणी के कारक और को मैट्रिक्स से अलग-अलग वैक्टर में यादृच्छिक SVD या Lanczos के साथ पाया जा सकता है , जिनमें से प्रत्येक एप्लिकेशन को एक ग्राफ की आवश्यकता होती है लाप्लासियन समाधान। इस प्रकार इन निम्न रैंक कारकों को प्राप्त करने के लिए समग्र कार्य । $Q$ $D$

A_{x_{0}}^{- 1} A_{x_{p}} - I

$A_{x_0}^{-1}A_{x_p} -I$

O (r)

$O(r)$

O (r max (n, E))

$O(r \max(n,E))$

जानने , निर्धारक अनुपात तो है $D = \text{diag}(d_1,d_2,\dots,d_r)$

det (A_{x_{0}}^{- 1} A_{x_{p}}) = det (I + Q D Q^{*}) = \exp (\sum_{i = 1}^{r} \log d_{i}) .

$\det(A_{x_0}^{-1}A_{x_p}) = \det(I + Q D Q^*) = \exp\left(\sum_{i=1}^r \log d_i\right).$

ये निम्न रैंक निर्धारक राशन गणना की तकनीक मार्टिन, एट अल द्वारा बड़े पैमाने पर सांख्यिकीय व्युत्क्रम समस्याओं के लिए आवेदन के साथ ए स्टोचस्टिक न्यूटन एमसीएमसी विधि में पाया जा सकता है । (2012)। इस पत्र में इसे सातत्य समस्याओं पर लागू किया जाता है, इसलिए "ग्राफ" 3 डी अंतरिक्ष में एक ग्रिड है और ग्राफ लाप्लासियन वास्तविक लाप्लासियन मैट्रिक्स है। हालांकि, सभी तकनीक सामान्य ग्राफ लैपलैशियन पर लागू होती हैं। इस तकनीक को अब तक सामान्य रेखांकन पर लागू करने वाले अन्य कागजात हैं (विस्तार तुच्छ है और मूल रूप से मैंने अभी जो लिखा है)।

— निक अल्जर
स्रोत