लॉजिस्टिक फ़ंक्शन का हेसियन

मुझे लॉजिस्टिक रिग्रेशन में ऑब्जेक्टिव फंक्शन, का Hessian प्राप्त करने में कठिनाई होती है $l(\theta)$ , जहाँ the : $l(\theta)$

l (θ) = \sum_{i = 1}^{m} [y_{i} \log (h_{θ} (x_{i})) + (1 - y_{i}) \log (1 - h_{θ} (x_{i}))]

$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$

$h_\theta(x)$ एक लॉजिस्टिक फ़ंक्शन है। हेसियन । मैंने इसे गणना करके प्राप्त करने का प्रयास किया , लेकिन तब मुझे यह स्पष्ट नहीं था कि मैं के मैट्रिक्स नोटेशन को कैसे प्राप्त । $X^T D X$ $\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$ $\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$

किसी को भी प्राप्त करने का कोई भी साफ और आसान तरीका पता है ? $X^T D X$

logistic

— DSKim
स्रोत

आप के लिए क्या मिला

\frac{\partial^{2} l}{\partial θ_{i} \partial θ_{j}}

$\frac{\partial^2 l}{\partial \theta_i \partial \theta_j}$ ?

— Glen_b -Reinstate मोनिका

यहां उन स्लाइडों का एक अच्छा सेट है जो आपके लिए सटीक गणना दिखाते हैं: sites.stat.psu.edu/~jiali/course/stat597e/notes2/logit.pdf

मुझे एक अद्भुत वीडियो मिला जो हेसियन कदम की गणना करता है। लॉजिस्टिक रिग्रेशन (बाइनरी) - हेसियन की गणना

— नाओमी

यहाँ मैं समाधान के लिए सभी आवश्यक गुणों और पहचानों को आत्म-निहित होने के लिए प्राप्त करता हूं, लेकिन इसके अलावा यह व्युत्पत्ति स्वच्छ और आसान है। आइए हम अपने संकेतन को औपचारिक रूप दें और नुकसान के कार्य को थोड़ा और कॉम्पैक्ट तरीके से लिखें। पर विचार करें $m$ नमूने $\{x_i,y_i\}$ ऐसी है कि $x_i\in\mathbb{R}^d$ और $y_i\in\mathbb{R}$ । याद रखें कि बाइनरी लॉजिस्टिक रिग्रेशन में हमारे पास आमतौर पर हाइपोथीसिस फ़ंक्शन $h_\theta$ लॉजिस्टिक फ़ंक्शन होता है। औपचारिक रूप से

h_{θ} (x_{i}) = σ (ω^{T} x_{i}) = σ (z_{i}) = \frac{1}{1 + e^{- z_{i}}},

$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$

जहां $\omega\in\mathbb{R}^d$ और $z_i=\omega^Tx_i$ । नुकसान समारोह (जो मुझे लगता है कि ओपी एक नकारात्मक संकेत याद कर रहा है) को तब निम्न रूप में परिभाषित किया गया है:

l (ω) = \sum_{i = 1}^{m} - (y_{i} \log σ (z_{i}) + (1 - y_{i}) \log (1 - σ (z_{i})))

$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$

लॉजिस्टिक फ़ंक्शन के दो महत्वपूर्ण गुण हैं जो मैं भविष्य के संदर्भ के लिए यहां प्राप्त करता हूं। सबसे पहले, ध्यान दें कि $1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$ ।

उस पर भी ध्यान दें

\begin{aligned} \frac{\partial}{\partial z} σ (z) = \frac{\partial}{\partial z} (1 + e^{- z})^{- 1} = e^{- z} (1 + e^{- z})^{- 2} & = \frac{1}{1 + e^{- z}} \frac{e^{- z}}{1 + e^{- z}} = σ (z) (1 - σ (z)) \end{aligned}

$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$

घटकों के संबंध में डेरिवेटिव लेने के बजाय, यहां हम सीधे वैक्टर के साथ काम करेंगे (आप यहां वैक्टर के साथ डेरिवेटिव की समीक्षा कर सकते हैं )। नुकसान समारोह के हेस्सियन $l(\omega)$ द्वारा दिया जाता है $\vec{\nabla}^2l(\omega)$ , लेकिन पहले याद है कि $\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$ और $\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$ ।

चलो $l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$ । ऊपर और श्रृंखला नियम से प्राप्त गुणों का उपयोग करना

\begin{aligned} \frac{\partial \log σ (z_{i})}{\partial ω^{T}} & = \frac{1}{σ (z_{i})} \frac{\partial σ (z_{i})}{\partial ω^{T}} = \frac{1}{σ (z_{i})} \frac{\partial σ (z_{i})}{\partial z_{i}} \frac{\partial z_{i}}{\partial ω^{T}} = (1 - σ (z_{i})) x_{i} \\ \frac{\partial \log (1 - σ (z_{i}))}{\partial ω^{T}} & = \frac{1}{1 - σ (z_{i})} \frac{\partial (1 - σ (z_{i}))}{\partial ω^{T}} = - σ (z_{i}) x_{i} \end{aligned}

$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$

It's now trivial to show that

\vec{\nabla} l_{i} (ω) = \frac{\partial l_{i} (ω)}{\partial ω^{T}} = - y_{i} x_{i} (1 - σ (z_{i})) + (1 - y_{i}) x_{i} σ (z_{i}) = x_{i} (σ (z_{i}) - y_{i})

$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$

whew!

Our last step is to compute the Hessian

{\vec{\nabla}}^{2} l_{i} (ω) = \frac{\partial l_{i} (ω)}{\partial ω \partial ω^{T}} = x_{i} x_{i}^{T} σ (z_{i}) (1 - σ (z_{i}))

$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$

For $m$ samples we have $\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$ . This is equivalent to concatenating column vectors $x_i\in\mathbb{R}^d$ into a matrix $X$ of size $d\times m$ such that $\sum_{i=1}^m x_ix_i^T=XX^T$ . The scalar terms are combined in a diagonal matrix $D$ such that $D_{ii}=\sigma(z_i)(1-\sigma(z_i))$ . Finally, we conclude that

\vec{H} (ω) = {\vec{\nabla}}^{2} l (ω) = X D X^{T}

$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$

A faster approach can be derived by considering all samples at once from the beginning and instead work with matrix derivatives. As an extra note, with this formulation it's trivial to show that $l(\omega)$ is convex. Let $\delta$ be any vector such that $\delta\in\mathbb{R}^d$ . Then

δ^{T} \vec{H} (ω) δ = δ^{T} {\vec{\nabla}}^{2} l (ω) δ = δ^{T} X D X^{T} δ = δ^{T} X D (δ^{T} X)^{T} = ‖ δ^{T} D X ‖^{2} \geq 0

$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$

since $D>0$ and $\|\delta^TX\|\geq 0$ . This implies $H$ is positive-semidefinite and therefore $l$ is convex (but not strongly convex).

— Manuel Morales
स्रोत

In the last equation, shouldn't it be

| | δ D^{1 / 2} X | |

$||\delta D^{1/2}X||$ since

X D X^{⊤}

$XDX^\top$ =

X D^{1 / 2} (X D^{1 / 2})^{⊤}

$XD^{1/2}(XD^{1/2})^\top$ ?

— appletree

Shouldn't it be

X^{T} D X

$X^T D X$ ?

— Chintan Shah