कोर्टेरा मशीन लर्निंग कोर्स के प्रति नियमित रैखिक प्रतिगमन लागत समारोह की व्युत्पत्ति

12

मैंने कुछ महीने पहले कौरसेरा के माध्यम से एंड्रयू एनजी के पाठ्यक्रम "मशीन लर्निंग" को लिया, अधिकांश गणित / व्युत्पत्तियों पर ध्यान नहीं दिया और इसके बजाय कार्यान्वयन और व्यावहारिकता पर ध्यान केंद्रित किया। तब से मैंने कुछ अंतर्निहित सिद्धांत का अध्ययन करने के लिए वापस जाना शुरू कर दिया है, और प्रो.एन.जी के कुछ व्याख्यानों पर फिर से विचार किया है। मैं "नियमित रूप से रैखिक प्रतिगमन" पर उनके व्याख्यान के माध्यम से पढ़ रहा था, और देखा कि उन्होंने निम्नलिखित लागत समारोह दिया:

J (θ) = \frac{1}{2 m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)})^{2} + λ \sum_{j = 1}^{n} θ_{j}^{2}]

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

फिर, वह इस लागत समारोह के लिए निम्नलिखित ढाल देता है:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) - y^{(i)}) x_{j}^{(i)} - λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j]$

मैं थोड़ा उलझन में हूं कि वह एक से दूसरे में कैसे पहुंचता है। जब मैंने अपना स्वयं का व्युत्पत्ति करने की कोशिश की, तो मुझे निम्नलिखित परिणाम मिले:

\frac{\partial}{\partial θ_{j}} J (θ) = \frac{1}{m} [\sum_{i = 1}^{m} (h_{θ} (x^{(i)}) + y^{(i)}) x_{j}^{(i)} + λ θ_{j}]

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) + y^{(i)})x^{(i)}_j + \lambda\theta_j]$

यह अंतर मूल लागत समारोह और प्रो। एन.जी के फार्मूले में नियमितीकरण पैरामीटर के बीच 'प्लस' का संकेत है, जो उनके ग्रेडिएंट फ़ंक्शन में 'माइनस' संकेत में बदल रहा है, जबकि मेरे परिणाम में ऐसा नहीं हो रहा है।

सहज रूप से मैं समझता हूं कि यह नकारात्मक क्यों है: हम ढाल के आधार पर थीटा पैरामीटर को कम कर रहे हैं, और हम नियमितता पैरामीटर को उस राशि को कम करना चाहते हैं जिसे हम ओवरफिटिंग से बचने के लिए पैरामीटर बदल रहे हैं। मैं केवल पथरी पर थोड़ा अटक गया हूं जो इस अंतर्ज्ञान का समर्थन करता है।

FYI करें, आप स्लाइड 15 और 16 पर, यहाँ डेक पा सकते हैं ।

regression self-study

— वेलिंग्टन
स्रोत

1

आपके परिणाम में आपके पास y ^ (i) से पहले " + " है - क्या वह टाइपो है?

— स्टीव एस

12

$J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j]$

अभी

$\frac{\partial}{\partial \theta_j}(h_\theta (x^{(i)}) - y^{(i)})^2=2[(h_\theta (x^{(i)}) - y^{(i)})\frac{\partial}{\partial \theta_j}\{h_\theta(x^{(i)})\}]$

ध्यान दें कि एक रेखीय मॉडल में (आपके द्वारा पृष्ठों पर चर्चा की जा रही है), model $\frac{\partial}{\partial \theta_j}(h_\theta(x^{(i)})=[x^{(i)}]_j$

$\frac{\partial}{\partial \theta_j}\lambda\sum_{j=1}^n\theta^2=2\lambda\theta_j$

तो रैखिक मामले के लिए

$\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j + \lambda\theta_j]$

लगता है कि शायद आप और एंड्रयू दोनों ही टाइपो हो सकते हैं। खैर, हम तीनों में से कम से कम दो को लगता है।

— Glen_b -Reinstate मोनिका
स्रोत

इसकी पुष्टि, एंड्रयू के नोट पर सिर्फ एक टाइपो, यह एक + संकेत होना चाहिए। और प्रो सही ढंग से अंतर्ज्ञान Prof (1-α (λ / m)) सहित हर चीज को सही ढंग से समझाता है, जिसका अर्थ है कि हर बार यह सिकुड़ता है usual फिर नियमित होने से पहले सामान्य हिस्से को घटा दिया जाता है।

— Gob00st

4

दरअसल अगर आप वीडियो के ठीक बाद लेक्चर नोट्स की जांच करते हैं, तो यह सूत्र को सही तरीके से दिखाता है। आपके द्वारा यहां स्लाइड की गई वीडियो की सटीक स्लाइड दिखाई देती है।

— पीयूष
स्रोत

coursera.org/learn/machine-learning/supplement/pKAsc/… यहाँ वीडियो को सही सूत्र दिखाने के ठीक बाद नोटों का लिंक दिया गया है।

— Gob00st

1

दरअसल, मुझे लगता है कि यह सिर्फ एक टाइपो है।

$-\alpha$ $-\lambda\theta$ $-\alpha$

सही बात?

— स्टीव एस
स्रोत