यादृच्छिक ट्रेस तकनीक

10

मैं बर्कले, टेक में कैलिफ़ोर्निया विश्वविद्यालय, एम। सीजर में निम्नलिखित यादृच्छिक ट्रेस तकनीक , "चोल्स्की अपघटन के लिए निम्न रैंक अपडेट" से मिल चुका हूं। रेप, 2007।

tr (A) = E [x^{T} A x]

$\operatorname{tr}(\mathbf{A}) = {E[\mathbf{x}^T \mathbf{A} \mathbf{x}]}$

जहाँ । $\mathbf{x} \sim N(\mathbf{0},\mathbf{I})$

गहरी गणित पृष्ठभूमि वाले व्यक्ति के रूप में, मुझे आश्चर्य है कि यह समानता कैसे प्राप्त की जा सकती है। इसके अलावा, हम उदाहरण के लिए, ज्यामितीय रूप से व्याख्या कैसे कर सकते हैं ? एक वेक्टर के आंतरिक उत्पाद और उसके रेंज मूल्य को लेने के अर्थ को समझने के लिए मुझे कहां देखना चाहिए? मीन लग्न के योग के बराबर क्यों है? सैद्धांतिक संपत्ति के अलावा, इसका व्यावहारिक महत्व क्या है? $\mathbf{x}^T \mathbf{A} \mathbf{x}$

मैंने एक MATLAB कोड स्निपेट लिखा है यह देखने के लिए कि क्या यह काम करता है

#% tr(A) == E[x'Ax], x ~ N(0,I)

N = 100000;
n = 3;
x = randn([n N]); % samples
A = magic(n); % any n by n matrix A

y = zeros(1, N);
for i = 1:N
    y(i) = x(:,i)' * A * x(:,i);
end
mean(y)
trace(A)

ट्रेस 15 है जहां सन्निकटन 14.9696 है।

normal-distribution matlab

— petrichor
स्रोत

12

एनबी घोषित परिणाम सामान्यता की किसी भी धारणा या के निर्देशांक की स्वतंत्रता पर निर्भर नहीं करता है । यह सकारात्मक निश्चित होने पर भी निर्भर नहीं करता है । वास्तव में, केवल यह मान लें कि के निर्देशांक में शून्य का मतलब है, एक का विचरण और असंबंधित (लेकिन जरूरी नहीं कि स्वतंत्र हो); वह है, , , और सभी । $\newcommand{\x}{\mathbf{x}}\newcommand{\e}{\mathbb{E}}\newcommand{\tr}{\mathbf{tr}}\newcommand{\A}{\mathbf{A}}\x$ $\A$ $\x$ $\e \x_i = 0$ $\e \x_i^2 = 1$ $\e \x_i \x_j = 0$ $i \neq j$

नंगे-हाथों दृष्टिकोण

Let एक मनमाना मैट्रिक्स है। परिभाषा से । फिर, और इसलिए हम कर रहे हैं। $\A = (a_{ij})$ $n \times n$ $\tr(\A) = \sum_{i=1}^n a_{ii}$

t r (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} = \sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j},

$\tr(\A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n a_{ii} \e \x_i^2 = \sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j ,$

अगर यह स्पष्ट नहीं है, तो ध्यान दें कि दाएं हाथ, अपेक्षा की रैखिकता से,

\sum_{i = 1}^{n} a_{i i} E x_{i}^{2} + \sum_{i \neq j} a_{i j} E x_{i} x_{j} = E (\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}) = E (x^{T} A x)

$\sum_{i=1}^n a_{ii} \e \x_i^2 + \sum_{i\neq j} a_{ij} \e \x_i \x_j = \e\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} \x_i \x_j \Big) = \e(\x^T \A \x)$

ट्रेस गुणों के माध्यम से सबूत

यह लिखने के लिए एक और तरीका है जो विचारोत्तेजक है, लेकिन थोड़ा और अधिक उन्नत उपकरणों पर वैचारिक रूप से निर्भर करता है। हमें यह अपेक्षा है कि अपेक्षा और ट्रेस ऑपरेटर दोनों रैखिक हैं और किन्हीं दो मैट्रिक्स और उपयुक्त आयामों के, । फिर, चूंकि , हमारे पास और इसलिए, $\A$ $\newcommand{\B}{\mathbf{B}}\B$ $\tr(\A\B) = \tr(\B\A)$ $\x^T \A \x = \tr(\x^T \A \x)$

E (x^{T} A x) = E (t r (x^{T} A x)) = E (t r (A x x^{T})) = t r (E (A x x^{T})) = t r (A E x x^{T}),

$\e(\x^T \A \x) = \e( \tr(\x^T \A \x) ) = \e( \tr(\A \x \x^T) ) = \tr( \e( \A \x \x^T ) ) = \tr( \A \e \x \x^T ),$

E (x^{T} A x) = t r (A I) = t r (A) .

$\e(\x^T \A \x) = \tr(\A \mathbf{I}) = \tr(\A) .$

द्विघात रूप, आंतरिक उत्पाद और दीर्घवृत्त

यदि सकारात्मक निश्चित है, तो पर एक आंतरिक उत्पाद को माध्यम से परिभाषित किया जा सकता है। और मूल में केंद्रित में एक दीर्घवृत्त को परिभाषित करता है । $\A$ $\mathbf{R}^n$ $\langle \x, \mathbf{y} \rangle_{\A} = \x^T \A \mathbf{y}$ $\mathcal{E}_{\A} = \{\x: \x^T \A \x = 1\}$ $\mathbf{R}^n$

— कार्डिनल
स्रोत

यह बोल्ड और mormalcase चर का पालन करने के लिए काफी भ्रमित है । मुझे लगता है कि वे स्केलर मूल्य हैं। मैं अधिक स्पष्ट रूप से समझता हूं जब मैं उम्मीद के रूप से शुरू करता हूं जैसा आपने पिछले भाग में किया था। So अब मेरे लिए बहुत स्पष्ट है।

x_{i}

$\mathbf{x}_i$

x_{i}

$x_i$

E [(x^{T} A x)] = E [(\sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j})] = \sum_{i = 1}^{n} a_{i i} E [x_{i}^{2}] + \sum_{i \neq j} a_{i j} E [x_{i} x_{j}]

$\newcommand{\x}{\mathbf{x}}\newcommand{\tr}{\operatorname{tr}} {E[(\x^T \mathbf{A} \x)]} = {E[\Big(\sum_{i=1}^n \sum_{j=1}^n a_{ij} x_i x_j \Big)]} = \sum_{i=1}^n a_{ii} {E[x_i^2]} + \sum_{i\neq j} a_{ij} {E[x_i x_j]}$

— पेट्रीकॉर

x_{i}

$\mathbf{x}_i$ वेक्टर का th समन्वय है । बाकी लोग बस टाइपो हैं। उसके लिए माफ़ करना। मैं आपके संकेतन का यथासंभव अनुसरण करने की कोशिश कर रहा था। मैं सामान्य रूप से साथ का उपयोग यादृच्छिक चर के निर्देशांक के रूप में । लेकिन, मैं (संभावित) भ्रमित नहीं करना चाहता था।

i

$i$

x

$\mathbf{x}$

X = (X_{i})

$\mathbf{X} = (X_i)$

X_{i}

$X_i$

X

$\mathbf{X}$

— कार्डिनल

वास्तव में, यह उत्तर के अनुरूप है। मैं सिर्फ यह सुनिश्चित करना चाहता था कि सबस्क्रिप्ट किए गए चर वेक्टर के तत्व हैं। अब यह स्पष्ट है।

— 21

खैर, यह सुसंगत (अब) है क्योंकि मैंने इसे संपादित किया है! :) टाइपो को इंगित करने के लिए धन्यवाद। मैं अगले कुछ दिनों में कुछ बिंदु पर ज्यामिति के बारे में थोड़ा और जोड़ने की कोशिश करूंगा।

— 22

3

यदि सममित सकारात्मक निश्चित है, तो साथ orthonormal, और विकर्ण के साथ eigenvalues के साथ विकर्ण। चूँकि की पहचान सहसंयोजक मैट्रिक्स है, और अलंकारिक है, की एक पहचान सहसंयोजक मैट्रिक्स भी है। इसलिए लिखना , हमारे पास । चूँकि अपेक्षा संचालक रेखीय है, यह सिर्फ । प्रत्येक स्वतंत्रता की 1 डिग्री के साथ ची-स्क्वायर है, इसलिए अपेक्षित मूल्य 1 है। इसलिए उम्मीद है कि eigenvalues का योग है। $A$ $A = U^tDU$ $U$ $D$ $x$ $U$ $Ux$ $y = Ux$ $E[x^TAx] = E[y^tDy]$ $\sum_{i=0}^n \lambda_i E[y_i^2]$ $y_i$

ज्यामितीय रूप से, सममितीय सकारात्मक निश्चित मेट्रिसेस 1-1 पत्राचार में दीर्घवृत्त के साथ होता है - समीकरण द्वारा दिया गया । दीर्घवृत्त की कुल्हाड़ियों की लंबाई द्वारा दी जाती है, जहां eigenvalues हैं। $A$ $x^TAx = 1$ $1/\sqrt\lambda_i$ $\lambda_i$

जब जहां कोविर्सियस मैट्रिक्स होता है, तो यह महालनोबिस दूरी का वर्ग है । $A = C^{-1}$ $C$

— aprokopiw
स्रोत

1

मुझे प्रश्न का "इसका व्यावहारिक महत्व क्या है" बताएं। वहाँ जिसमें हम गणना मैट्रिक्स वेक्टर उत्पादों की क्षमता है कई स्थितियों रहे हैं कुशलता से भले ही हम मैट्रिक्स की एक भंडारित प्रति की जरूरत नहीं है या की एक प्रतिलिपि को बचाने के लिए पर्याप्त भंडारण नहीं है । उदाहरण के लिए, का आकार 100,000 से 100,000 तक हो सकता है और पूरी तरह से सघन हो सकता है- इस तरह के मैट्रिक्स को डबल प्रीसिसन फ्लोटिंग पॉइंट फॉर्मेट में स्टोर करने के लिए 80 गीगाबाइट रैम की आवश्यकता होगी। $Ax$ $A$ $A$ $A$

इस तरह के रैंडमाइज्ड एल्गोरिदम का उपयोग या (संबंधित एल्गोरिथम का उपयोग करके) व्यक्तिगत विकर्ण प्रविष्टियों का पता लगाने के लिए किया जा सकता है । $A$ $A$

इस तकनीक के कुछ अनुप्रयोगों में बड़े पैमाने पर भूभौतिकीय उलटा समस्याओं पर चर्चा की जाती है

जेके मैककार्थी, बी। बोरोकर्स, और आरसी एस्टर। बड़े भूभौतिकीय उलटा समस्याओं के लिए मॉडल रिज़ॉल्यूशन मैट्रिक्स विकर्ण का कुशल स्टोचैस्टिक आकलन एन डी सामान्यीकृत क्रॉस सत्यापन। जर्नल ऑफ जियोफिजिकल रिसर्च, 116, बी 10304, 2011। कागज से लिंक

— ब्रायन बोरचर्स
स्रोत

+1 मैं इस सेमेस्टर के यादृच्छिक एल्गोरिदम से मिला और उनके साथ मोहित हुआ। मुझे एक और अच्छा लेख जोड़ने दें। नाथन Halko, पर-गुन्नार Martinsson, जोएल ए Tropp, "अनियमितता के साथ संरचना ढूँढना: अनुमानित मैट्रिक्स decompositions के निर्माण के लिए संभाव्य एल्गोरिदम", 2010, arxiv.org/abs/0909.4061

— petrichor