बहुभिन्नरूपी सामान्य घनत्व का व्युत्पन्न कैसे करें?

मान लें कि मेरे पास सामान्य घनत्व है। मैं दूसरा (आंशिक) व्युत्पन्न wrt प्राप्त करना चाहता हूं । मैट्रिक्स का व्युत्पन्न लेना निश्चित नहीं है। $N(\mu, \Sigma)$ $\mu$

विकी का कहना है कि मैट्रिक्स के अंदर तत्व द्वारा व्युत्पन्न तत्व लेते हैं।

मैं लाप्लास सन्निकटन साथ काम कर रहा हूं। मोड ।

\log P_{N} (θ) = \log P_{N} - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ}) .

$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$

\hat{θ} = μ

$\hat\theta=\mu$

मुझे यह कैसे हुआ?

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (\hat{θ} | y),

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$

मैंने क्या किया है:

\log P (θ | y) = - \frac{k}{2} \log 2 π - \frac{1}{2} \log | Σ | - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ})

$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$

तो, मैं व्युत्पन्न wrt to , पहले बंद, एक संक्रमण है, दूसरी बात, यह एक मैट्रिक्स है। इसलिए, मैं फंस गया हूं। $\theta$

नोट: यदि मेरे प्रोफेसर को यह पता चला है, तो मैं व्याख्यान का उल्लेख कर रहा हूं।

self-study normal-distribution matrix

— user1061210
स्रोत

आपकी समस्या का हिस्सा यह हो सकता है कि लॉग-लाइक के लिए आपकी अभिव्यक्ति में त्रुटि है - आपके पासजहाँ आपको होना चाहिए । इसके अलावा, किसी भी संयोग से आपको ?

| Σ |

$|\Sigma|$

\log (| Σ |)

$\log(|\Sigma|)$

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y)

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y)$

— मैक्रों

हाँ, आप सही हैं, क्षमा करें। आंशिक व्युत्पन्न के सामने नकारात्मक संकेत क्यों है?

— user1061210

मैं सिर्फ नकारात्मक संकेत के बारे में स्पष्ट कर रहा था क्योंकि, नकारात्मक दूसरा व्युत्पन्न मनाया मछुआरा जानकारी है, जो आमतौर पर ब्याज की है। साथ ही, अपनी गणना के द्वारा, मुझे वह

\frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y) = - Σ^{- 1}

$\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y) = -\Sigma^{-1}$

— मैक्रो

तो, असतत / निरंतर कार्य के लिए सामान्य प्रक्रिया क्या है? लॉग लें, टेलर विस्तार फ़ॉर्म में लिखें, दो बार wrt अंतर करें । फिशर जानकारी आम तौर पर सही नहीं है अन्य सबसे घनत्व, सही?

θ

$\theta$

— user1061210

@user जैसा कि मैंने बताया, लघुगणक के दूसरे व्युत्पन्न में गैर-सकारात्मक स्वदेशी गुण होना चाहिए । हां, भिन्नताओं और नकारात्मक दूसरे आंशिक व्युत्पत्तियों के बीच संबंध हैं, जैसा कि अधिकतम संभावना अनुमान, फिशर जानकारी, आदि के सिद्धांत से पता चलता है - मैक्रो ने इन टिप्पणियों में पहले उल्लेख किया है।

— whuber

जवाबों:

मैट्रिक्स कुकबुक के अध्याय 2 में मैट्रिक्स कैलकुलस सामान की एक अच्छी समीक्षा है जो बहुत सारी उपयोगी पहचान देता है जो समस्याओं की मदद करने में मदद करता है जिससे बहुविकल्पीय गॉसियन संभावना को अलग करने में मदद करने के लिए नियमों सहित संभावनाएं और आंकड़े मिलेंगे।

यदि आपके पास एक यादृच्छिक वेक्टर जो सामान्य वेक्टर के साथ बहुभिन्नरूपी वेक्टर और सहसंयोजक मैट्रिक्स , तो मैट्रिक्स की रसोई की किताब में समीकरण (86) का उपयोग करें ताकि यह पता चल सके कि ढाल लॉग संभावना संबंध में है ${\boldsymbol y}$ ${\boldsymbol \mu}$ ${\boldsymbol \Sigma}$ ${\bf L}$ ${\boldsymbol \mu}$

\begin{aligned} \frac{\partial L}{\partial μ} & = - \frac{1}{2} (\frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial μ}) \\ = - \frac{1}{2} (- 2 Σ^{- 1} (y - μ)) \\ = Σ^{- 1} (y - μ) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$

मैं इसे फिर से अंतर करने के लिए आपके पास छोड़ दूंगा और इसका उत्तर खोजने के लिए । $-{\boldsymbol \Sigma}^{-1}$

"अतिरिक्त ऋण", उपयोग समीकरणों (57) और (61) के रूप में लगता है कि के संबंध में ढाल है ${\boldsymbol \Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (\frac{\partial \log (| Σ |)}{\partial Σ} + \frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial Σ}) \\ = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$

मैंने कई चरणों को छोड़ दिया है, लेकिन मैंने यह व्युत्पत्ति केवल मैट्रिक्स कुकबुक में पाई गई पहचानों का उपयोग करके की है, इसलिए मैं इसे अंतराल में भरने के लिए आपको छोड़ दूंगा।

मैंने अधिकतम संभावना अनुमान के लिए इन स्कोर समीकरणों का उपयोग किया है, इसलिए मुझे पता है कि वे सही हैं :)

— मैक्रो
स्रोत

महान संदर्भ - यह खुद की सिफारिश करने जा रहा था। हालांकि मैट्रिक्स बीजगणित नहीं जानता है, जो किसी के लिए एक अच्छा शैक्षणिक संदर्भ नहीं है। असली चुनौती वास्तव में काम करने से आती है । एक असली दर्द।

Σ

$\Sigma$

— probabilityislogic

मैट्रिक्स कलन पर एक और अच्छा स्रोत मैग्नस एंड न्यूडकेर है, amazon.com/…

— स्टासक

समीकरण का संदर्भ संख्या बदल दिया गया है (शायद एक नए संस्करण के कारण)। नया संदर्भ समीकरण 86 है।

— गोलकैश

मैं यहां ऑफ-बेस हो सकता हूं लेकिन मुझे नहीं लगता कि यह फॉर्मूला सही है। मैं वास्तविक उदाहरणों के साथ इसका उपयोग कर रहा हूं और उनके परिमित अंतर को देख रहा हूं। ऐसा लगता है कि लिए सूत्र विकर्ण प्रविष्टियों के लिए सही मान देता है। हालाँकि, ऑफ-विकर्ण प्रविष्टियाँ आधी हैं जो उन्हें होनी चाहिए।

\frac{\partial L}{\partial Σ}

$\frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}}$

— jjet

आपको यह सुनिश्चित करने की आवश्यकता है कि आप में दोहराए गए तत्वों का ठीक से ध्यान रखें , अन्यथा आप व्युत्पन्न गलत होंगे। उदाहरण के लिए, (141) मैट्रिक्स कुकबुक एक सममित लिए निम्न व्युत्पत्ति देता है $\mathbf{\Sigma}$ $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial \log | Σ |}{\partial Σ} & = 2 Σ^{- 1} - (Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$

और (14) सहप्रसरण मैट्रिक्स के कार्यों के भेदभाव के देता है

\begin{aligned} \frac{\partial trace (Σ^{- 1} x x^{⊤})}{\partial Σ} & = - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$

जहां ने हेडमार्ड उत्पाद का निरूपण किया है और सुविधा के लिए हमने को परिभाषित किया है । $\circ$ $\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

विशेष रूप से ध्यान दें कि यह वैसा ही नहीं है जब समरूपता लागू नहीं की जाती है। परिणामस्वरूप हमारे पास वह है $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{\partial}{\partial Σ} \frac{1}{2} (D \log | 2 π | + \log | Σ | + x^{⊤} Σ^{- 1} x)) \\ = - \frac{\partial}{\partial Σ} \frac{1}{2} (\log | Σ | + trace (Σ^{- 1} x x^{⊤})) \\ = - \frac{1}{2} (2 Σ^{- 1} - (Σ^{- 1} \circ I) - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I)) \end{aligned}

$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$

जहाँ , और के आयाम को दर्शाता है और के व्युत्पन्न0 है $D$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{\mu}$ $D\log|2\pi|$

यह सुनिश्चित करता है के तत्व मेल खाती है करने के लिए । $i,j^{th}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

— लॉरेंस मिडलटन
स्रोत

मैंने @ मैक्रों के उत्तर को कम्प्यूटेशनल रूप से सत्यापित करने की कोशिश की, लेकिन पाया कि कोवरियस समाधान में एक छोटी सी त्रुटि प्रतीत होती है। उसने हालांकि, ऐसा प्रतीत होता है कि सही समाधान वास्तव में निम्नलिखित आर स्क्रिप्ट एक सरल उदाहरण प्रदान करता है जिसमें परिमित अंतर की गणना प्रत्येक तत्व । यह दर्शाता है कि

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) = A \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$

B = 2 A - diag (A)

${\bf B}=2{\bf A} - \text{diag}({\bf A})$

Σ

${\boldsymbol \Sigma}$

A

${\bf A}$ केवल विकर्ण तत्वों के लिए सही उत्तर प्रदान करता है जबकि हर प्रविष्टि के लिए सही है।

B

${\bf B}$

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f

— jjet
स्रोत

आपकी टिप्पणी के लिये धन्यवाद। मेरा मानना है कि आप सभी की तुलना में अलग-अलग तरह से संकेतन की व्याख्या करते हैं, क्योंकि आप एक साथ ऑफ-विकर्ण तत्वों के मिलान को बदलते हैं , जिससे परिवर्तन का प्रभाव दोगुना हो जाता है। वास्तव में आप एक दिशात्मक व्युत्पन्न के कई की गणना कर रहे हैं । मैक्रों के समाधान के साथ एक छोटी सी समस्या प्रतीत होती है कि एक प्रस्ताव के रूप में इनोफ़र को लिया जाना चाहिए - लेकिन यह सममित मैट्रिक के आवेदन में कुछ भी नहीं बदलेगा।

Σ

$\Sigma$

— whuber