मैट्रिक्स फ़ंक्शन के व्युत्पन्न की इस गणना का क्या औचित्य है?

एंड्रयू एनजी के मशीन लर्निंग कोर्स में, वह इस सूत्र का उपयोग करते हैं:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

और वह एक त्वरित प्रमाण करता है जो नीचे दिखाया गया है:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

सबूत बिना किसी टिप्पणी के बहुत घना लगता है और मुझे इसे समझने में परेशानी हो रही है। दूसरी से तीसरी समानता में वास्तव में क्या हुआ?

machine-learning matrix derivative

— Moneyball
स्रोत

वह , और के आयामों के बारे में विशेष धारणा बना रहा होगा , अन्यथा यह सूत्र सामान्य रूप से कोई मतलब नहीं रखता है। बाएं हाथ की तरफ को मैट्रिक्स होना चाहिए , a मैट्रिक्स, और को मैट्रिक्स मनमाना गैर-नकारात्मक पूर्णांक । लेकिन तब दाईं ओर के उत्पादों को तब तक परिभाषित नहीं किया जाएगा जब तक कि ।

A

$A$

B

$B$

C

$C$

A

$A$

i \times j

$i\times j$

B

$B$

j \times j

$j\times j$

C

$C$

i \times m

$i\times m$

i, j, m

$i,j,m$

i = m

$i=m$

— whuber

@ जब भी मैं देखता हूं। मान्यताओं को देखते हुए, मुझे अभी भी यह समझ में नहीं आया है कि दूसरी से तीसरी पंक्ति में संक्रमण कैसे हुआ, जहां वह परिचय देते हैं ।

\circ

$\circ$

— मनीबल

दूसरी और तीसरी पंक्ति के बीच वह । दूसरी और तीसरी पंक्ति के बीच उसने उत्पाद नियम का उपयोग किया है। बाद में वह छुटकारा पाने के लिए चेन नियम का उपयोग करता है ।

f (A) = A B

$f(A)=AB$

f ()

$f()$

— ब्रायन बोरचर्स

इस धारणा का एक सूक्ष्म लेकिन भारी दुरुपयोग है जो भ्रमित करने वाले कई चरणों का प्रतिपादन करता है। आइए इस मुद्दे को मैट्रिक्स गुणा, ट्रांसपोज़िशन, निशान और डेरिवेटिव की परिभाषाओं पर वापस जाएं। स्पष्टीकरण को छोड़ देने के इच्छुक लोगों के लिए, बस अंतिम खंड "पुट इट इट ऑल टुगेदर" पर जाएं, यह देखने के लिए कि एक कठोर प्रदर्शन कितना छोटा और सरल हो सकता है।

संकेतन और धारणाएँ

आयाम

अभिव्यक्ति के लिए का अर्थ यह है कि एक मैट्रिक्स है, को एक (वर्ग) मैट्रिक्स होना चाहिए और का मैट्रिक्स होना चाहिए , उत्पाद का मैट्रिक्स। ट्रेस लेने के लिए (जो विकर्ण तत्वों का योग है, ), फिर , एक वर्ग मैट्रिक्स बनाते हैं । $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$

संजात

संकेतन " " संबंध में एक अभिव्यक्ति के व्युत्पन्न को संदर्भित करता है । आमतौर पर, भेदभाव एक ऐसा कार्य है जो फ़ंक्शंस । एक बिंदु पर व्युत्पन्न एक रेखीय परिवर्तन है । इन वेक्टर रिक्त स्थान के लिए आधार चुनने पर, इस तरह के परिवर्तन को मैट्रिक्स के रूप में दर्शाया जा सकता है । यहां पर यह मामला नहीं है! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

वैक्टर के रूप में मैट्रिस

इसके बजाय, को एक तत्व के रूप में माना जा रहा है : इसके गुणांक अनियंत्रित किए जा रहे हैं (आमतौर पर या तो पंक्ति या स्तंभ द्वारा स्तंभ) लंबाई के एक वेक्टर में । फ़ंक्शन में वास्तविक मान हैं, जहां । नतीजतन, को मैट्रिक्स होना चाहिए : यह एक पंक्ति वेक्टर है जो पर एक रैखिक रूप का प्रतिनिधित्व करती है । कैसे भी हो, प्रश्न में गणना रैखिक रूपों का प्रतिनिधित्व करने के एक अलग तरीके का उपयोग करती है: उनके गुणांक मेट्रिसेस में वापस रोल किए जाते हैं । $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ $\mathbb{R}^{mn}$ $m\times n$

एक रैखिक रूप में ट्रेस

Let एक निरंतर मैट्रिक्स है। फिर, ट्रेस और मैट्रिक्स गुणन की परिभाषा से, $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

इस के गुणांकों के सबसे सामान्य संभव रैखिक संयोजन को व्यक्त करता है : रूप में एक ही आकार के एक मैट्रिक्स है और पंक्ति में अपने गुणांक और स्तंभ का गुणांक है रैखिक संयोजन में। चूँकि , और की भूमिकाएँ समान अभिव्यक्ति दे रही हैं $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω A^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

या तो कार्यों या साथ एक निरंतर मैट्रिक्स पहचान करके , हम रैखिक का प्रतिनिधित्व कर सकते हैं मैट्रिसेस के रूप में मैट्रिसेस के स्थान पर प्रपत्र । (Do से कार्यों के डेरिवेटिव के साथ इन भ्रमित नहीं करने के लिए !) $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

एक व्युत्पन्न कम्प्यूटिंग

परिभाषा

सांख्यिकी में सामना किए गए मैट्रिक्स कार्यों में से कई के डेरिवेटिव परिभाषा से सबसे आसानी से और मज़बूती से गणना किए जाते हैं: आपको वास्तव में मैट्रिक्स भेदभाव के जटिल नियमों का सहारा लेने की आवश्यकता नहीं है। इस परिभाषा का कहना है कि पर डिफ़्रेंशिएबल है यदि और केवल यदि वहाँ एक रेखीय परिवर्तन ऐसा है कि $f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

मनमाने ढंग से छोटे विस्थापन के लिए । छोटे-ओह संकेतन का अर्थ है कि द्वारा अंतर को अनुमानित करने में की गई त्रुटि पर्याप्त रूप से छोटे लिए के आकार से मनमाने ढंग से छोटी है । विशेष रूप से, हम हमेशा उन त्रुटियों को अनदेखा कर सकते हैं जो आनुपातिक हैं । $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

हिसाब

चलो फ़ंक्शन की परिभाषा को प्रश्न में लागू करते हैं। इसमें दो उत्पाद के साथ शब्द का गुणा, विस्तार और अनदेखी करना, $h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

व्युत्पन्न पहचान करने के लिए , हमें इसे फॉर्म में प्राप्त करना चाहिए । दाईं ओर पहला शब्द पहले से ही इस रूप में है, जिसमें । सही पर अन्य शब्द रूप है के लिए । आइये इसे लिखते हैं: $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \sum_{k = 1}^{m} X_{i j} h_{k j} C_{k i} = \sum_{i, j, k} h_{k j} (C_{k i} X_{i j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

रिकॉलिंग , को फिर से लिखा जा सकता है $X=AB$ $(2)$

f (A + h) - f (A) = Tr (h B A^{'} C) + Tr (C A B h^{'}) + o (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

यह है इस अर्थ में है कि हम के व्युत्पन्न विचार कर सकते हैं पर होने के लिए क्योंकि इन मैट्रिक्स खेलने ट्रेस सूत्र में की भूमिकाएँ । $f$ $A$

D f (A) = (B A^{'} C)^{'} + C A B = C^{'} A B^{'} + C A B,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

यह सब एक साथ डालें

यहाँ, फिर, एक पूर्ण समाधान है।

चलो एक हो मैट्रिक्स, एक मैट्रिक्स, और एक मैट्रिक्स। आज्ञा देना । चलो एक होना मनमाने ढंग से छोटे गुणांक के साथ मैट्रिक्स। क्योंकि (पहचान ) है विभेदीकरण और इसका व्युत्पन्न मैट्रिक्स द्वारा निर्धारित रैखिक रूप है $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$
$\begin{aligned} f (A + h) - f (A) & = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) \\ = Tr (h (C^{'} A B^{'})^{'} + (C A B) h^{'}) + o (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $C^{'} A B^{'} + C A B .$ $C^\prime A B^\prime + CAB.$

क्योंकि इसमें केवल आधा काम होता है और इसमें केवल सबसे बुनियादी जोड़-तोड़ और अंश (गुणन और पारगमन) शामिल होते हैं, इसे सरल माना जाता है - और यकीनन परिणाम के अधिक प्रदर्शन - प्रदर्शन। यदि आप वास्तव में मूल प्रदर्शन में अलग-अलग चरणों को समझना चाहते हैं, तो आप उन्हें यहां दिखाए गए गणनाओं से तुलना करने के लिए उपयोगी हो सकते हैं।

— व्हीबर
स्रोत

यह जानना उपयोगी है कि जब भी मैट्रिसेस संगत आकार के होते हैं , सामान्य रूप से, यह जानना उपयोगी होता है । यह जानना (3) एक तुच्छ कदम है।

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

— ब्रायन बॉर्चर्स

@Amoeba मैं नहीं बता सकता कि आप विनोदी होने की कोशिश कर रहे हैं या नहीं। आंशिक रूप से व्युत्पन्न करने के लिए न तो प्रश्न और न ही उत्तर का कुछ भी सीधा संबंध है। फॉर्म स्पष्ट रूप से एक रेखीय रूप है जिसे वेक्टर स्पेस पर वास्तविक मैट्रिसेस पर परिभाषित किया गया है । जब कोई दावा है कि एक समारोह के व्युत्पन्न एक बिंदु पर बराबर होती है कुछ मैट्रिक्स , उनका अर्थ यह है कि रेखीय है प्रपत्र ।

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

— whuber

@Amoeba यह बिल्कुल सही है - यह इस उत्तर की पहली पंक्ति में मुखरता को सही ठहराता है। यही कारण है कि मैंने " इस अर्थ में" लिखा और, बाद में सारांश में, "समान" के बजाय "द्वारा निर्धारित" वाक्यांश का उपयोग किया। मैं इस बात से इनकार नहीं करूंगा कि स्पष्टीकरण चुनौतीपूर्ण रहा है; मैं इस बारे में सोचूंगा कि इसे कैसे स्पष्ट किया जाए और मैं आपकी सभी टिप्पणियों और सुझावों की सराहना करता हूं।

— whuber

@ user10324 इस साइट पर मैं जो कुछ भी पोस्ट करता हूं, वह मेरा अपना सूत्रीकरण है - मैं शायद ही कभी स्रोतों से परामर्श करता हूं (और जब मैं करता हूं तो मैं उन्हें दस्तावेज देता हूं)। ये पोस्ट कई पुस्तकों और पत्रों को पढ़ने से आसवन हैं। कुछ सर्वश्रेष्ठ पुस्तकें ऐसी नहीं हैं जो पूरी तरह से गणितीय रूप से कठोर हैं, लेकिन जिन्होंने अंतर्निहित विचारों को खूबसूरती से समझाया और चित्रित किया है। पहले कुछ जो दिमाग में आते हैं - परिष्कार के क्रम में - फ्रीडमैन, पिसानी, और पर्स, सांख्यिकी (कोई भी संस्करण); जैक कीफर, सांख्यिकीय हस्तक्षेप का परिचय ; और स्टीवन श्रेवे, वित्त II के लिए स्टोचैस्टिक कैलकुलस ।

— whuber

@ जब मैं अंत में ट्रेस के रैखिक रूप क्या है की कुछ समझ है। जब मैं आपके स्पष्टीकरण को और अधिक ध्यान से पढ़ सकता था, तो मैं अलग-अलग पोस्ट पर फिर से एक ही सवाल पूछने के लिए माफी चाहता हूं। मेरा एक और सवाल है। यदि आपका समीकरण equationf किसी भी मैट्रिक्स फंक्शन के डेरिवेटिव को खोजने के लिए लागू किया जा सकता है, तो क्या का के समान आयाम है ? तो यदि , तो ?

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$

— मनीबल