नुकसान के कार्य का दूसरा क्रम सन्निकटन (गहरी शिक्षा पुस्तक, 7.33)

Question

गुडफेलो की (2016) पुस्तक में गहन अध्ययन पर, उन्होंने L2 नियमितीकरण ( https://www.deeplearningbook.org/contents/ अनियमितization.html पृष्ठ 247) पर शीघ्र रोक लगाने की बात की ।

लागत समारोह का द्विघात अनुमान है:$j$

$$\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*)$$

जहां हेसियन मैट्रिक्स (Eq। 7.33) है। क्या यह बीच का शब्द याद आ रहा है? टेलर विस्तार होना चाहिए: $H$

$$f(w+\epsilon)=f(w)+f'(w)\cdot\epsilon+\frac{1}{2}f''(w)\cdot\epsilon^2$$

Answer 1

वे इष्टतम पर भार के बारे में बात करते हैं:

हम लागत फ़ंक्शन को वजन ir के समान रूप से इष्टतम मूल्य के पड़ोस में एक द्विघात अनुमान के साथ मॉडल कर सकते हैं$J$$w^∗$

उस समय, पहला व्युत्पन्न शून्य है - मध्य अवधि इस प्रकार बाहर छोड़ दी जाती है।