लॉजिस्टिक रिग्रेशन से लागत समारोह कैसे व्युत्पन्न होता है

Question

मैं कौरसेरा पर मशीन लर्निंग स्टैनफोर्ड कोर्स कर रहा हूं।

लॉजिस्टिक रिग्रेशन पर अध्याय में, लागत समारोह यह है:

फिर, इसे यहाँ व्युत्पन्न किया गया है:

मैंने लागत समारोह के व्युत्पन्न होने की कोशिश की, लेकिन मुझे कुछ पूरी तरह से अलग मिला।

व्युत्पन्न कैसे प्राप्त किया जाता है?

मध्यस्थ कदम कौन से हैं?

Comments

+1, मेरे प्रश्न में @ एडमो का उत्तर यहाँ देखें। आंकड़े.स्टैकएक्सचेंज.com

— डू

"पूरी तरह से अलग" वास्तव में आपके प्रश्न का उत्तर देने के लिए पर्याप्त नहीं है, इसके अलावा आपको यह बताने के लिए कि आप पहले से ही क्या जानते हैं (सही ढाल)। यह बहुत अधिक उपयोगी होगा यदि आपने हमें दिया कि आपकी गणना के परिणामस्वरूप क्या हुआ, तो हम आपकी मदद कर सकते हैं जहां आपने गलती की थी।

— मैथ्यू

@MatthewDrury क्षमा करें, मैट, मैंने आपकी टिप्पणी आने से ठीक पहले उत्तर की व्यवस्था की थी। ऑक्टेवियन, क्या आपने सभी चरणों का पालन किया है? मैं बाद में इसे कुछ अतिरिक्त मूल्य देने के लिए संपादित करूंगा ...

— एंटोनी पारेलाडा

जब आप कहते हैं "व्युत्पन्न" क्या आपका मतलब है "विभेदित" या "व्युत्पन्न"?

— Glen_b -Reinstate मोनिका

Answer 1

पाठ्यक्रम में नोटों से अनुकूलित, जो मुझे एंड्रयू एनजी के कौरसेरा मशीन लर्निंग कोर्स के पेज के भीतर छात्रों द्वारा योगदान किए गए नोट्स के बाहर उपलब्ध नहीं है (इस व्युत्पत्ति सहित) ।

---

निम्न में से, सुपरस्क्रिप्ट व्यक्तिगत माप या प्रशिक्षण का उदाहरण देता है "उदाहरण।"$(i)$

$\small \frac{\partial J(\theta)}{\partial \theta_j} = \frac{\partial}{\partial \theta_j} \,\frac{-1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right] \\[2ex]\small\underset{\text{linearity}}= \,\frac{-1}{m}\,\sum_{i=1}^m \left[ y^{(i)}\frac{\partial}{\partial \theta_j}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\frac{\partial}{\partial \theta_j}\log\left(1-h_\theta \left(x^{(i)}\right)\right) \right] \\[2ex]\Tiny\underset{\text{chain rule}}= \,\frac{-1}{m}\,\sum_{i=1}^m \left[ y^{(i)}\frac{\frac{\partial}{\partial \theta_j}h_\theta \left(x^{(i)}\right)}{h_\theta\left(x^{(i)}\right)} + (1 -y^{(i)})\frac{\frac{\partial}{\partial \theta_j}\left(1-h_\theta \left(x^{(i)}\right)\right)}{1-h_\theta\left(x^{(i)}\right)} \right] \\[2ex]\small\underset{h_\theta(x)=\sigma\left(\theta^\top x\right)}=\,\frac{-1}{m}\,\sum_{i=1}^m \left[ y^{(i)}\frac{\frac{\partial}{\partial \theta_j}\sigma\left(\theta^\top x^{(i)}\right)}{h_\theta\left(x^{(i)}\right)} + (1 -y^{(i)})\frac{\frac{\partial}{\partial \theta_j}\left(1-\sigma\left(\theta^\top x^{(i)}\right)\right)}{1-h_\theta\left(x^{(i)}\right)} \right] \\[2ex]\Tiny\underset{\sigma'}=\frac{-1}{m}\,\sum_{i=1}^m \left[ y^{(i)}\, \frac{\sigma\left(\theta^\top x^{(i)}\right)\left(1-\sigma\left(\theta^\top x^{(i)}\right)\right)\frac{\partial}{\partial \theta_j}\left(\theta^\top x^{(i)}\right)}{h_\theta\left(x^{(i)}\right)} - (1 -y^{(i)})\,\frac{\sigma\left(\theta^\top x^{(i)}\right)\left(1-\sigma\left(\theta^\top x^{(i)}\right)\right)\frac{\partial}{\partial \theta_j}\left(\theta^\top x^{(i)}\right)}{1-h_\theta\left(x^{(i)}\right)} \right] \\[2ex]\small\underset{\sigma\left(\theta^\top x\right)=h_\theta(x)}= \,\frac{-1}{m}\,\sum_{i=1}^m \left[ y^{(i)}\frac{h_\theta\left( x^{(i)}\right)\left(1-h_\theta\left( x^{(i)}\right)\right)\frac{\partial}{\partial \theta_j}\left(\theta^\top x^{(i)}\right)}{h_\theta\left(x^{(i)}\right)} - (1 -y^{(i)})\frac{h_\theta\left( x^{(i)}\right)\left(1-h_\theta\left(x^{(i)}\right)\right)\frac{\partial}{\partial \theta_j}\left( \theta^\top x^{(i)}\right)}{1-h_\theta\left(x^{(i)}\right)} \right] \\[2ex]\small\underset{\frac{\partial}{\partial \theta_j}\left(\theta^\top x^{(i)}\right)=x_j^{(i)}}=\,\frac{-1}{m}\,\sum_{i=1}^m \left[y^{(i)}\left(1-h_\theta\left(x^{(i)}\right)\right)x_j^{(i)}- \left(1-y^{i}\right)\,h_\theta\left(x^{(i)}\right)x_j^{(i)} \right] \\[2ex]\small\underset{\text{distribute}}=\,\frac{-1}{m}\,\sum_{i=1}^m \left[y^{i}-y^{i}h_\theta\left(x^{(i)}\right)- h_\theta\left(x^{(i)}\right)+y^{(i)}h_\theta\left(x^{(i)}\right) \right]\,x_j^{(i)} \\[2ex]\small\underset{\text{cancel}}=\,\frac{-1}{m}\,\sum_{i=1}^m \left[y^{(i)}-h_\theta\left(x^{(i)}\right)\right]\,x_j^{(i)} \\[2ex]\small=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

---

सिग्मोइड फ़ंक्शन का व्युत्पन्न है

$\Tiny\begin{align}\frac{d}{dx}\sigma(x)&=\frac{d}{dx}\left(\frac{1}{1+e^{-x}}\right)\\[2ex] &=\frac{-(1+e^{-x})'}{(1+e^{-x})^2}\\[2ex] &=\frac{e^{-x}}{(1+e^{-x})^2}\\[2ex] &=\left(\frac{1}{1+e^{-x}}\right)\left(\frac{e^{-x}}{1+e^{-x}}\right)\\[2ex] &=\left(\frac{1}{1+e^{-x}}\right)\,\left(\frac{1+e^{-x}}{1+e^{-x}}-\frac{1}{1+e^{-x}}\right)\\[2ex] &=\sigma(x)\,\left(\frac{1+e^{-x}}{1+e^{-x}}-\sigma(x)\right)\\[2ex] &=\sigma(x)\,(1-\sigma(x)) \end{align}$

Comments

+1 सभी प्रयासों के लिए!, मैट्रिक्स नोटेशन का उपयोग करना आसान हो सकता है?

— हायतौ डू

क्या मैं रैखिक प्रतिगमन में कह सकता हूं, उद्देश्य और व्युत्पन्न , जहां लॉजिस्टिक रिग्रेशन में , यह समान है, व्युत्पन्न जहां , और ? $\|Ax-b\|^2$$2A^Te$$e=Ax-b$$A^Te$$e=p-b$$p=\text{sigmoid}~(Ax)$

— हायतौ डू

यही कारण है कि मैं आपके प्रयास की सराहना करता हूं। आप हमें ओपी की भाषा के लिए समय बिताने के लिए !!

— हायतौ डू

मेरी समझ यह है कि गैर-रैखिक सक्रियण कार्यों के लिए चुकता त्रुटि को अवांछनीय बनाने के लिए उत्तलता मुद्दे हैं। मैट्रिक्स संकेतन में, यह । $\frac{\partial J(\theta)}{\partial \theta}=\frac{1}{m}X^\top\left( \sigma(X\theta)-\mathbf y\right)$

— एंटोनी परेलाडा

@MohammedNoureldin मैंने श्रृंखला नियम को लागू करने से पहले अंशों में आंशिक व्युत्पन्न लिया।

— एंटनी परेला

Answer 2

मामले की अत्यधिक जटिलता की छाप से बचने के लिए, हमें केवल समाधान की संरचना को देखना चाहिए।

सरलीकरण और संकेतन के कुछ दुरुपयोग के साथ, को योग में एक शब्द होने दें , और का एक कार्य है। : $G(\theta)$$J(\theta)$$h = 1/(1+e^{-z})$$z(\theta)= x \theta$

$$G = y \cdot \log(h)+(1-y)\cdot \log(1-h)$$

हम श्रृंखला नियम का उपयोग कर सकते हैं: और इसे एक करके हल करें एक ( और स्थिरांक हैं)।$\frac{d G}{d \theta}=\frac{d G}{d h}\frac{d h}{d z}\frac{d z}{d \theta}$$x$$y$

$$\frac{d G}{\partial h} = \frac{y} {h} - \frac{1-y}{1-h} = \frac{y - h}{h(1-h)}$$ लिए sigmoid धारण करता है, जो पिछले कथन का सिर्फ एक भाजक है।$\frac{d h}{d z} = h (1-h)$

अंत में, ।$\frac{d z}{d \theta} = x$

सभी को एक साथ जोड़कर परिणाम मांगे गए अभिव्यक्ति के लिए मिलता है: आशा है कि यह भी मदद करता है।

$$\frac{d G}{d \theta} = (y-h)x$$

Answer 3

इस उत्तर का श्रेय टिप्पणियों से एंटोनी परेलाडा को जाता है, जो मुझे लगता है कि इस पृष्ठ पर एक अधिक प्रमुख स्थान के हकदार हैं (क्योंकि इससे मुझे तब मदद मिली जब कई अन्य उत्तर नहीं थे)। इसके अलावा, यह एक पूर्ण व्युत्पत्ति नहीं है, लेकिन के एक स्पष्ट कथन के अधिक है । (पूर्ण व्युत्पत्ति के लिए, अन्य उत्तर देखें)।$\frac{\partial J(\theta)}{\partial \theta}$

$$\frac{\partial J(\theta)}{\partial \theta} = \frac{1}{m} \cdot X^T\big(\sigma(X\theta)-y\big)$$

कहा पे

$$\begin{equation} \begin{aligned} X \in \mathbb{R}^{m\times n} &= \text{Training example matrix} \\ \sigma(z) &= \frac{1}{1+e^{-z}} = \text{sigmoid function} = \text{logistic function} \\ \theta \in \mathbb{R}^{n} &= \text{weight row vector} \\ y &= \text{class/category/label corresponding to rows in X} \end{aligned} \end{equation}$$

इसके अलावा, उन लोगों के लिए एक पायथन कार्यान्वयन जो के ग्रेडिएंट की गणना संबंध में करना चाहते हैं ।$J$$\theta$

import numpy
def sig(z):
return 1/(1+np.e**-(z))


def compute_grad(X, y, w):
    """
    Compute gradient of cross entropy function with sigmoidal probabilities

    Args: 
        X (numpy.ndarray): examples. Individuals in rows, features in columns
        y (numpy.ndarray): labels. Vector corresponding to rows in X
        w (numpy.ndarray): weight vector

    Returns: 
        numpy.ndarray 

    """
    m = X.shape[0]
    Z = w.dot(X.T)
    A = sig(Z)
    return  (-1/ m) * (X.T * (A - y)).sum(axis=1) 

Answer 4

हम में से जो कैलकुलस में इतने मजबूत नहीं हैं, लेकिन लागत फ़ंक्शन को समायोजित करने के साथ चारों ओर खेलना चाहते हैं और डेरिवेटिव की गणना करने का एक तरीका खोजने की आवश्यकता है ... कैलकुलस को फिर से सीखने के लिए एक छोटा कट स्वचालित रूप से प्रदान करने के लिए यह ऑनलाइन टूल है नियम के चरण स्पष्टीकरण के साथ व्युत्पत्ति।

https://www.derivative-calculator.net