तंत्रिका नेटवर्क के संदर्भ में माध्य-चुकता त्रुटि हमेशा उत्तल होती है?

9

एकाधिक संसाधनों मैंने उल्लेख किया है कि एमएसई महान है क्योंकि यह उत्तल है। लेकिन मुझे ऐसा नहीं लगता, खासकर न्यूरल नेटवर्क के संदर्भ में।

मान लें कि हमारे पास निम्नलिखित हैं:

$X$ : प्रशिक्षण डाटासेट
$Y$ : लक्ष्य
$\Theta$ : मॉडल के मापदंडों का सेट (गैर-रेखीय के साथ एक तंत्रिका नेटवर्क मॉडल) $f_\Theta$

फिर:

MSE (Θ) = (f_{Θ} (X) - Y)^{2}

$\operatorname{MSE}(\Theta) = (f_\Theta(X) - Y)^2$

यह नुकसान फ़ंक्शन हमेशा उत्तल क्यों होगा? क्या यह पर निर्भर करता है ? $f_\Theta(X)$

— user74211
स्रोत

1

संक्षेप में उत्तर: MSE अपने इनपुट और मापदंडों के आधार पर उत्तल है। लेकिन एक मनमाना तंत्रिका नेटवर्क पर यह सक्रियण कार्यों के रूप में गैर-रैखिकता की उपस्थिति के कारण हमेशा उत्तल नहीं होता है। मेरे उत्तर के लिए स्रोत यहाँ है ।

— Varsh
स्रोत

1

उत्तलता

एक समारोह के साथ है उत्तल, अगर, किसी के लिए , और किसी भी के लिए , $f(x)$ $x ∈ Χ$ $x_1 ∈ Χ$ $x_2 ∈ Χ$ $0 ≤ λ ≤ 1$
$f (λ x_{1} + (1 - λ) x_{2}) \leq λ f (x_{1}) + (1 - λ) f (x_{2}) .$ $f(λ x_1 + (1 − λ) x_2) ≤ λf(x_1) + (1 − λ) f (x_2).$

यह साबित किया जा सकता है कि इस तरह के उत्तल में एक वैश्विक न्यूनतम है। एक अद्वितीय वैश्विक न्यूनतम स्थानीय मिनीमा द्वारा बनाए गए जाल को समाप्त करता है जो एल्गोरिदम में हो सकता है जो वैश्विक न्यूनतम पर अभिसरण प्राप्त करने का प्रयास करता है, जैसे कि त्रुटि फ़ंक्शन का न्यूनतमकरण। $f(x)$

यद्यपि एक त्रुटि फ़ंक्शन सभी सतत, रैखिक संदर्भों और कई गैर-रेखीय संदर्भों में 100% विश्वसनीय हो सकता है, लेकिन इसका मतलब यह नहीं है कि सभी संभव गैर-रेखीय संदर्भों के लिए वैश्विक न्यूनतम पर अभिसरण।

औसत वर्ग त्रुटि

एक फ़ंक्शन को देखते हुए आदर्श प्रणाली व्यवहार और सिस्टम का एक मॉडल (जहां पैरामीटर वेक्टर, मैट्रिक्स, क्यूब, या हाइपरक्यूब और ) ) है, का तर्कसंगत रूप से या अभिसरण बनाया गया है। (न्यूरल नेट ट्रेनिंग में), निम्न वर्ग त्रुटि (MSE) फ़ंक्शन को निम्नानुसार दर्शाया जा सकता है। $s(x)$ $a(x, p)$ $p$ $1 ≤ n ≤ N$

e (β) := N^{- 1} \sum_{n} [a (x_{n}) - s (x_{n})]^{2}

$e(β) := N^{-1} \sum_{n} [a(x_n) − s(x_n)]^2$

सामग्री आप पढ़ रहे हैं शायद का दावा नहीं है कि या के संबंध में उत्तल हैं , लेकिन उस के संबंध में उत्तल है और कोई फर्क नहीं पड़ता कि वे क्या हैं। यह बाद का कथन किसी भी निरंतर और लिए सिद्ध किया जा सकता है । $a(x, p)$ $s(x)$ $x$ $e(β)$ $a(x, p)$ $s(x)$ $a(x, p)$ $s(x)$

कन्वर्जेंस एल्गोरिथ्म को कन्फ्यूज़ करना

यदि प्रश्न यह है कि क्या एक विशिष्ट और को प्राप्त करने की विधि जो एक उचित एमएसई अभिसरण मार्जिन के भीतर ए अनुमान लगाती है, उसे भ्रमित किया जा सकता है, तो उत्तर है, "हां।" यही कारण है कि एमएसई एकमात्र त्रुटि मॉडल नहीं है। $a(x, p)$ $s(x)$ $a(x, p)$

सारांश

संक्षेप में सबसे अच्छा तरीका यह है कि निम्नलिखित ज्ञान के आधार पर way को स्टॉक उत्तल त्रुटि मॉडल के एक सेट से परिभाषित या चुना जाना चाहिए। $e(β)$

सिस्टम के ज्ञात गुण $s(x)$
सन्निकटन मॉडल की परिभाषा $a(x, p)$
अभिसरण क्रम में अगला राज्य उत्पन्न करने के लिए टेन्सर का उपयोग किया जाता था

स्टॉक उत्तल त्रुटि मॉडल के सेट में निश्चित रूप से एमएसई मॉडल शामिल है क्योंकि इसकी सादगी और कम्प्यूटेशनल थ्रिफ्ट।

— FauChristian
स्रोत

तो संक्षिप्त जवाब है MSE wrt थीटा हमेशा उत्तल होता है। हालांकि फीडफोर्ड (एक्स, थीटा) जो गैर-उत्तल हो सकता है?

— user74211

खैर, @ user74211, उस टिप्पणी वास्तव में सवाल का जवाब नहीं है। विशेष रूप से पूछे जाने वाले प्रश्न HOW का मतलब है कि वर्ग त्रुटि हमेशा उत्तल हो सकती है यदि यह जिस फ़ंक्शन पर लागू होता है वह नहीं है। आपकी टिप्पणी प्रश्न में कथनों का एक सबसेट है, बिना स्पष्टीकरण मांगे।

— FauChristian