क्या RMSE और MAE का समान मूल्य हो सकता है?

मैं आरएमएसई, , एमएई, एमएसई, आदि जैसे क्रॉस सत्यापन और त्रुटि मेट्रिक्स की गणना कर रहा हूं । $R^2$

cross-validation rms mae

हाँ। क्यों नहीं? बता दें कि

X

$X$ हमेशा

0

$0$ और

लिए एक भविष्यवक्ता

X

$X$ हमेशा

1

$1$ । वहां आपके पास

— डेविड

हाँ, सिद्धांत रूप में। सबसे सरल मामला जिसकी मैं कल्पना कर सकता हूं, वह डेटासेट है जहां सभी भविष्यवाणी त्रुटियां (यानी अवशिष्ट) ठीक 1 हैं। आरएमएसई और एमएई 1 के समान मान लौटाएंगे। एक अन्य परिदृश्यों का भी निर्माण कर सकता है, लेकिन कोई भी बहुत संभावना नहीं है। $\pm$

संपादित करें: यह इंगित करने के लिए @DilipSarwate (अपने उत्कृष्ट उत्तर में @ user20160 द्वारा विस्तृत रूप से बताया गया) के लिए धन्यवाद कि यह परिणाम संभव है अगर और केवल अगर सभी भविष्यवाणी त्रुटियों के पूर्ण मान समान हैं। मेरे उदाहरण में, दूसरे शब्दों में मान 1 के बारे में कुछ खास नहीं है ; 1 के बजाय कोई अन्य संख्या काम करेगी। $\pm$

— mkt - मोनिका को बहाल करें
स्रोत

क्या आप उन अन्य परिदृश्‍यों का उदाहरण दे सकते हैं जिनकी आप कल्पना करते हैं? मेरा मतलब है एक स्केलर मल्टीपल के अलावा एक उदाहरण (जब सभी अवशिष्ट ऊपर के उदाहरण के बजाय )।

\pm σ

$\pm \sigma$

\pm 1

$\pm 1$

— दिलीप सरवटे 17

@DilipSarwate मैं यह विचार कर रहा था जब user20160 ने एक बेहतर जवाब जोड़ा जो इसे अधिक विस्तार से कवर कर सकता था।

— mkt -

@mkt तरह के शब्दों के लिए धन्यवाद। आपका उत्तर सही है और संक्षिप्त (+1)

— user20160

@DilipSarwate इनपुट के लिए धन्यवाद

— -

आपके उत्तर के लिए कुछ अतिरिक्त अलंकरण: (i) भी होना चाहिए ( ) और (ii) वास्तव में अवशिष्टों का मान होना चाहिए और वास्तव में अवशिष्टों का मान होना चाहिए , जो निश्चित रूप से है कि सभी बच निरपेक्ष मूल्य है आप राज्य के रूप में है, लेकिन (ii) यह सुनिश्चित करने के लिए कि बच योग के रूप में वे चाहिए। अवशिष्ट औसत से विचलन हैं और इसलिए शून्य के योग होने चाहिए।

n

$n$

n = 2 k

$n=2k$

k

$k$

+ σ

$+\sigma$

k

$k$

- σ

$-\sigma$

σ

$\sigma$

0

$0$

— दिलीप सरवटे

औसत निरपेक्ष त्रुटि (MAE) कुछ शर्तों के तहत औसत चुकता त्रुटि (MSE) या रूट माध्य चुकता त्रुटि (RMSE) के बराबर हो सकती है, जो मैं नीचे दिखाऊंगा। इन शर्तों के व्यवहार में होने की संभावना नहीं है।

प्रारंभिक

आज्ञा देना वें डेटा बिंदु के लिए अवशिष्ट के निरपेक्ष मान को निरूपित करें , और डाटासेट में सभी बिंदुओं के लिए निरपेक्ष अवशिष्ट युक्त वेक्टर हो । दे एक निरूपित लोगों की वेक्टर, MAE, एमएसई, और RMSE के रूप में लिखा जा सकता है: $r_i = |y_i - \hat{y}_i|$ $i$ $r = [r_i, \dots, r_n]^T$ $n$ $\vec{1}$ $n \times 1$

\begin{matrix} (1) & M A E = \frac{1}{n} {\vec{1}}^{T} r M S E = \frac{1}{n} r^{T} r R M S E = \sqrt{\frac{1}{n} r^{T} r} \end{matrix}

$MAE = \frac{1}{n} \vec{1}^T r \quad MSE = \frac{1}{n} r^T r \quad RMSE = \sqrt{\frac{1}{n} r^T r} \tag{1}$

एमएसई

MSE को MAE के बराबर सेट करना और पुन: व्यवस्थित करना देता है:

\begin{matrix} (2) & (r - \vec{1})^{T} r = 0 \end{matrix}

$(r - \vec{1})^T r = 0 \tag{2}$

MSE और MAE सभी डेटासेट के लिए समान हैं जहां पूर्ण अवशिष्ट उपरोक्त समीकरण को हल करते हैं। दो स्पष्ट समाधान हैं: (इसमें शून्य त्रुटि है) और (अवशिष्ट सभी , जैसा कि उल्लेख किया गया है)। लेकिन, असीम रूप से कई समाधान हैं। $r = \vec{0}$ $r = \vec{1}$ $\pm 1$

हम समीकरण ज्यामितीय रूप से व्याख्या कर सकते हैं: LHS और का डॉट उत्पाद है । शून्य डॉट उत्पाद से तात्पर्य ओर्थोगोनलिटी से है। तो, MSE और MAE समान हैं यदि प्रत्येक पूर्ण अवशिष्ट से 1 घटाना एक वेक्टर देता है जो मूल पूर्ण अवशिष्ट के लिए रूढ़िवादी है। $(2)$ $r-\vec{1}$ $r$

इसके अलावा, वर्ग को पूरा करके, समीकरण को फिर से लिखा जा सकता है: $(2)$

\begin{matrix} (3) & (r - \frac{1}{2} \vec{1})^{T} (r - \frac{1}{2} \vec{1}) = \frac{n}{4} \end{matrix}

$\Big( r-\frac{1}{2} \vec{1} \Big)^T \Big( r-\frac{1}{2} \vec{1} \Big) = \frac{n}{4} \tag{3}$

यह समीकरण पर त्रिज्या साथ केंद्रित एक -dimensional क्षेत्र का वर्णन करता है । MSE और MAE बराबर हैं यदि और केवल यदि पूर्ण अवशिष्ट इस हाइपरस्फियर की सतह पर स्थित हैं। $n$ $[\frac{1}{2}, \dots, \frac{1}{2}]^T$ $\frac{1}{2} \sqrt{n}$

RMSE

RMSE को MAE के बराबर सेट करना और पुन: व्यवस्थित करना देता है:

\begin{matrix} (4) & r^{T} A r = 0 \end{matrix}

$r^T A r = 0 \tag{4}$

A = (n I - \vec{1} {\vec{1}}^{T})

$A = (n I - \vec{1} \vec{1}^T)$

जहां पहचान मैट्रिक्स । समाधान सेट की अशक्त जगह है ; वह है, सभी का सेट ऐसा है कि । अशक्त स्थान खोजने के लिए, ध्यान दें कि एक मैट्रिक्स है, जिसमें विकर्ण तत्व बराबर हैं और अन्य सभी तत्व बराबर हैं । कथन समीकरणों की प्रणाली से मेल खाता है: $I$ $A$ $r$ $A r = \vec{0}$ $A$ $n \times n$ $n-1$ $-1$ $A r = \vec{0}$

\begin{matrix} (5) & (n - 1) r_{i} - \sum_{j \neq i} r_{j} = 0 \forall i \end{matrix}

$(n-1) r_i - \sum_{j \ne i} r_j = 0 \quad \forall i \tag{5}$

या, चीजों को फिर से व्यवस्थित करना:

\begin{matrix} (6) & r_{i} = \frac{1}{n - 1} \sum_{j \neq i} r_{j} \forall i \end{matrix}

$r_i = \frac{1}{n-1}\sum_{j \ne i} r_j \quad \forall i \tag{6}$

यही है, प्रत्येक तत्व को अन्य तत्वों के माध्य के बराबर होना चाहिए। इस आवश्यकता को पूरा करने का एकमात्र तरीका सभी तत्वों के बराबर होना है (यह परिणाम के ईजेंडेकम्पोजीशन पर विचार करके भी प्राप्त किया जा सकता है )। इसलिए, समाधान सेट में समान प्रविष्टियों के साथ सभी नॉनवेजेटिव वैक्टर होते हैं: $r_i$ $A$

{r ∣ r = c \vec{1} \forall c \geq 0}

$\{r \mid r = c \vec{1} \enspace \forall c \ge 0\}$

तो, RMSE और MAE बराबर हैं यदि और केवल अवशिष्ट के पूर्ण मान सभी डेटा बिंदुओं के लिए समान हैं।

— user20160
स्रोत

+1। मुझे यह सत्यापित करने की आवश्यकता महसूस हुई कि इस सम्मोहन क्षेत्र का अधिकांश भाग उस क्षेत्र में है जहाँ सभी घटक गैर-ऋणात्मक हैं, जो कि पूर्ण अवशिष्ट की आवश्यकता है: जो मुझे आश्वस्त करते हैं कि वास्तव में एक महान कई (गैर-तुच्छ) समाधान हैं।

r

$r$

— whuber

दरअसल, सवाल यह था कि क्या आरएमएसई और एमएई कभी बराबर हो सकते हैं और क्या नहीं कि एमएसई और एमएई कभी बराबर हो सकते हैं। शायद @ mkt का उत्तर (या सामान्य संस्करण जो मैंने एक टिप्पणी में सुझाया है) RMSE = MAE प्रश्न का एकमात्र उत्तर है?

— दिलीप सरवटे

@DilipSarwate, हाँ, यह पोस्ट करने के बाद एहसास हुआ कि मैंने 'R' भाग को छोड़ दिया था। मैंने अब RMSE को शामिल करने के लिए संपादन किया है। मेरा मानना है कि आपके द्वारा सुझाया गया संस्करण इस मामले में एकमात्र संभव उत्तर है।

— user20160

@ एक अच्छी बात है। मैं कुछ इस तरह से संपादित करने की कोशिश करूँगा।

— user20160

@ हायम यदि केवल 1 मान है, तो परिभाषा के अनुसार आरएमएसई एमएई के बराबर होना चाहिए। क्योंकि इसमें सिर्फ 1 त्रुटि है, इसे चुकाना और मूल लेना केवल मूल त्रुटि का पूर्ण मान देता है।

— mkt - मोनिका