क्यों एफ बीटा स्कोर बीटा को उसी तरह परिभाषित करता है?

10

यह F बीटा स्कोर है:

F_{β} = (1 + β^{2}) \cdot \frac{p r e c i s i o n \cdot r e c a l l}{(β^{2} \cdot p r e c i s i o n) + r e सी ए एल एल}

$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$

विकिपीडिया लेख में कहा गया है कि । $F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

मुझे विचार नहीं आया। क्यों इस तरह परिभाषित ? क्या मैं को इस तरह परिभाषित कर सकता हूं : $\beta$ $F_\beta$

{एफ}_{β} = (1 + β) \cdot \frac{पी आर इ सी मैं रों मैं ओ n \cdot आर इ सी ए एल एल}{(β \cdot पी आर इ सी मैं रों मैं ओ n) + आर इ सी ए एल एल}

$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$

और कैसे दिखाना है β times as much importance?

machine-learning precision-recall model-evaluation

— साफ
स्रोत

2

नीचे दिए गए एक नए उत्तर की जाँच करें जिसमें अंतर कैलकुलस शामिल है जो "क्यों बीटा वर्ग और बीटा नहीं " को संबोधित करता है ।

— javadba

19

दे पहले परिभाषा उपलब्ध कराने में वजन और हो दूसरे में वजन, दो परिभाषा बराबर है जब आप सेट कर रहे हैं , इसलिए इन दोनों परिभाषाओं में केवल सांकेतिक अंतर का प्रतिनिधित्व स्कोर की परिभाषा । मैंने इसे पहले तरीके (जैसे विकिपीडिया पृष्ठ पर ) और दूसरा (जैसे यहाँ ) दोनों को परिभाषित करते देखा है । $\beta$ $\tilde\beta$ $\tilde\beta = \beta^2$ $F_\beta$

उपाय सटीक और याद है, अर्थात् परिशुद्धता के पारस्परिक और याद की पारस्परिक की औसत की पारस्परिक का हरात्मक माध्य लेने के द्वारा प्राप्त किया जाता है: $F_1$

\begin{aligned} {एफ}_{1} & = \frac{1}{\frac{1}{2} \frac{1}{शुद्धता} + \frac{1}{2} \frac{1}{याद}} \\ = 2 \frac{शुद्धता \cdot याद}{शुद्धता + याद} \end{aligned}

$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$

भाजक में भार का उपयोग करने के बजाय जो कि 1 और (राशि याद के लिए और सटीक के लिए ) के बराबर हैं, हम बदले में अभी भी 1 के लिए योग को असाइन कर सकते हैं। जिस पर रिकॉल का वजन गुना है, वह वजन परिशुद्धता पर ( याद के लिए और सटीक के लिए) है। इससे स्कोर की आपकी दूसरी परिभाषा : $\frac{1}{2}$ $\frac{1}{2}$ $\beta$ $\frac{\beta}{\beta+1}$ $\frac{1}{\beta+1}$ $F_\beta$

\begin{aligned} {एफ}_{β} & = \frac{1}{\frac{1}{β + 1} \frac{1}{शुद्धता} + \frac{β}{β + 1} \frac{1}{याद}} \\ = (1 + β) \frac{शुद्धता \cdot याद}{β \cdot शुद्धता + याद} \end{aligned}

$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$

फिर, अगर हम इस्तेमाल किया था के बजाय यहाँ हम आपका पहला परिभाषा पर, आ चुके हैं तो दो परिभाषा के बीच मतभेद सिर्फ सांकेतिक है। $\beta^2$ $\beta$

— josliber
स्रोत

1

याद अवधि के बजाय सटीक अवधि के साथ उन्होंने बहु- क्यों बनाया ?

β

$\beta$

— अनवर

1

नीचे दिए गए एक नए उत्तर में "क्यों बीटा स्क्वार्ड और बीटा नहीं" को संबोधित करने वाला अंतर कैलकुलस ।

— javadba

@Anwarvic उन्होंने उलटा याद के साथ को गुणा किया । फैक्टरिंग करने के बाद और साथ विस्तार करने के बाद एक शब्द बचा है

β

$\beta$

(1 + β)

$(1+ \beta)$

precision \cdot recall

$\text{precision} \cdot \text{recall}$

β \cdot precision

$\beta \cdot \text{precision}$

— user2740

6

साथ एफ बीटा स्कोर को परिभाषित करने के लिए कारण वास्तव में बोली आप (यानी संलग्न करने के लिए चाहते हैं प्रदान करना है क्या यह संलग्न करने के लिए इसका मतलब है के लिए एक विशेष परिभाषा दी परिशुद्धता के रूप में याद करते हैं करने के लिए बहुत महत्व के रूप में बार) परिशुद्धता की तुलना में याद करने के लिए कई बार महत्व। $\beta^{2}$ $\beta$ $\beta$

दो मेट्रिक्स के सापेक्ष महत्व को परिभाषित करने का विशेष तरीका जो फॉर्मुलेशन की ओर जाता है, वह सूचना पुनर्प्राप्ति (वैन रिज्सबर्गेन, 1979) में पाया जा सकता है : $\beta^{2}$

परिभाषा: किसी उपयोगकर्ता द्वारा सटीकता और रिकॉल के लिए संबंधित महत्वपूर्ण महत्व अनुपात है, जिस पर , जहां परिशुद्धता और याद के आधार पर प्रभावशीलता का माप है। $P/R$ $\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$ $E = E(P, R)$

इस के लिए प्रेरणा:

सबसे आसान तरीका मुझे पता है कि यह अनुपात निर्दिष्ट करने के लिए है जिस पर उपयोगकर्ता याद में एक समान नुकसान के लिए सटीक रूप से वेतन वृद्धि का व्यापार करने के लिए तैयार है। $P/R$

यह देखने के लिए कि यह सुराग सूत्रीकरण हम की भारित हरात्मक माध्य के लिए सामान्य सूत्र के साथ शुरू कर सकते हैं और और के संबंध में उनकी आंशिक डेरिवेटिव की गणना और । स्रोत उद्धृत का उपयोग करता है ("प्रभावशीलता उपाय" के लिए), जो सिर्फ और स्पष्टीकरण बराबर है कि क्या हम या विचार करते हैं । $\beta^{2}$ $P$ $R$ $P$ $R$ $E$ $1-F$ $E$ $F$

F = \frac{1}{(\frac{α}{P} + \frac{1 - α}{R})}

$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$

\partial F / \partial P = \frac{α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} P^{2}}

$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$

\partial F / \partial R = \frac{1 - α}{(\frac{α}{P} + \frac{1 - α}{R})^{2} R^{2}}

$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$

अब, डेरिवेटिव को एक दूसरे के बराबर सेट करने से और अनुपात बीच संबंध पर प्रतिबंध लग जाता है । यह देखते हुए कि हम संलग्न करने के लिए इच्छा याद करने के लिए बहुत महत्व परिशुद्धता के रूप में हम अनुपात पर विचार करेंगे के रूप में कई बार¹ : $\alpha$ $P/R$ $\beta$ $R/P$

\partial F / \partial P = \partial F / \partial R \to \frac{α}{P^{2}} = \frac{1 - α}{R^{2}} \to \frac{R}{P} = \sqrt{\frac{1 - α}{α}}

$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$

इस अनुपात के रूप में को परिभाषित करना और लिए पुन: व्यवस्थित करना, संदर्भ में : $\beta$ $\alpha$ $\beta^{2}$

β = \sqrt{\frac{1 - α}{α}} \to β^{2} = \frac{1 - α}{α} \to β^{2} + 1 = \frac{1}{α} \to α = \frac{1}{β^{2} + 1}

$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$

1 - α = 1 - \frac{1}{β^{2} + 1} \to \frac{β^{2}}{β^{2} + 1}

$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$

हमने प्राप्त किया:

एफ = \frac{1}{(\frac{1}{β^{2} + 1} \frac{1}{पी} + \frac{β^{2}}{β^{2} + 1} \frac{1}{आर})}

$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$

जिसे आपके प्रश्न में रूप देने के लिए पुनर्व्यवस्थित किया जा सकता है।

इस प्रकार, उद्धृत परिभाषा को देखते हुए, यदि आप परिशुद्धता के रूप में याद करने के लिए अधिक महत्व के रूप में बार संलग्न करना चाहते हैं तो सूत्रीकरण का उपयोग किया जाना चाहिए। यदि कोई एक का उपयोग करता है, तो यह व्याख्या नहीं है । समतुल्य, कम सहज, इस मामले में व्याख्या कि हम सिर्फ उपयोग करते हैं, यह होगा कि हम परिशुद्धता के रूप में याद रखने के लिए अधिक महत्व के रूप में बार संलग्न करना चाहते हैं । $\beta$ $\beta^{2}$ $\beta$ $\beta$ $\sqrt{\beta}$

जैसा कि आप सुझाव देते हैं, आप एक स्कोर को परिभाषित कर सकते हैं, हालांकि आपको इस बात की जानकारी होनी चाहिए कि इस मामले में या तो व्याख्या की कोई धारण नहीं है या आप सटीक और याद के बीच व्यापार की मात्रा निर्धारित करने के लिए कुछ अन्य परिभाषा दे रहे हैं।

फुटनोट:

$P/R$ का उपयोग सूचना पुनर्प्राप्ति में किया जाता है लेकिन यह एक टाइपो प्रतीत होता है, एफ-माप का सच देखें (सास्की, 2007)।

संदर्भ:

— एक व्यक्ति
स्रोत

1

यह स्वीकृत उत्तर होना चाहिए।

— jadadba

3

किसी बात को जल्दी से कहना।

इसका मतलब है कि जैसे-जैसे बीटा वैल्यू बढ़ती है, आप सटीक को अधिक महत्व देते हैं।

मुझे वास्तव में लगता है कि यह विपरीत है - चूंकि उच्च एफ-β स्कोरिंग में बेहतर है, आप चाहते हैं कि भाजक छोटा हो। इसलिए, यदि आप ished में कमी करते हैं, तो मॉडल को एक अच्छा सटीक स्कोर करने के लिए कम सजा दी जाती है। यदि आप If बढ़ाते हैं, तो सटीक होने पर एफ-pun स्कोर को अधिक दंडित किया जाता है।

यदि आप F-β स्कोरिंग को वेट करना चाहते हैं ताकि यह परिशुद्धता को मान दे, तो to 0 <β <1 होना चाहिए, जहां ,-> 0 मान केवल परिशुद्धता (अंशांक बहुत छोटा हो जाता है, और भाजक में केवल एक चीज याद आती है) इसलिए एफ-dec स्कोर कम हो जाता है क्योंकि याद बढ़ता है)।

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

— एच फ्रेजेड
स्रोत

0

कारण यह है कि just ^ 2 को सटीकता से गुणा किया जाता है, जिस तरह से एफ-स्कोर को परिभाषित किया जाता है। इसका मतलब है कि जैसे-जैसे बीटा वैल्यू बढ़ती है, आप सटीक को अधिक महत्व देते हैं। यदि आप इसे रिकॉल के साथ गुणा करना चाहते हैं तो यह भी काम करेगा, इसका मतलब सिर्फ इतना होगा कि जैसे बीटा वैल्यू बढ़ती है आप वैल्यू रिकॉल को और अधिक बढ़ाते हैं।

— महमूद
स्रोत

0

1 से अधिक बीटा मान का मतलब है कि हम चाहते हैं कि हमारा मॉडल प्रेसिजन की तुलना में मॉडल रिकॉल पर अधिक ध्यान दे। दूसरे पर, 1 से कम का मान परिशुद्धता पर अधिक जोर देता है।

— मोहित शर्मा
स्रोत