क्या एक अच्छा लॉग नुकसान माना जाता है?

Question

मैं लॉग लॉस को बेहतर ढंग से समझने की कोशिश कर रहा हूं और यह कैसे काम करता है, लेकिन एक चीज जो मुझे नहीं मिल सकती है वह यह है कि लॉग लॉस नंबर को किसी तरह के संदर्भ में डाल दिया जाए। यदि मेरे मॉडल में 0.5 का लॉग लॉस है, तो क्या यह अच्छा है? क्या एक अच्छा और बुरा स्कोर माना जाता है? ये थ्रेसहोल्ड कैसे बदलते हैं?

Comments

यह धागा यहां प्रासंगिक है: आंकड़े

— मोनिका

Answer 1

Logloss बस जहाँ p वास्तविक वर्ग के लिए जिम्मेदार प्रायिकता है।$L(p_i)=-\log(p_i)$$p$

तो अच्छा है, हम संभावना जिम्मेदार ठहराया 1 , सही वर्ग के लिए है, जबकि एल ( पी ) = + ∞ , बुरा है, क्योंकि हम संभावना जिम्मेदार ठहराया 0 वास्तविक वर्ग के लिए।$L(p)=0$$1$$L(p)=+\infty$$0$

तो, आपके सवाल का उत्तर औसतन मतलब है, आप सही वर्ग संभावना के लिए जिम्मेदार ठहराया पी ≈ 0.61 नमूने भर में।$L(p)=0.5$$p\approx0.61$

अब, यह तय करना कि क्या यह काफी अच्छा है, वास्तव में अनुप्रयोग-निर्भर है, और इसलिए यह तर्क पर निर्भर है।

Answer 2

किसी भी मीट्रिक की तरह, एक अच्छा मीट्रिक वह बेहतर है जो "गूंगा", द्वारा-मौका अनुमान है, अगर आपको टिप्पणियों के बारे में कोई जानकारी नहीं है। इसे आंकड़ों में इंटरसेप्ट-ओनली मॉडल कहा जाता है।

यह "गूंगा" -गुस्सा 2 कारकों पर निर्भर करता है:

1. कक्षाओं की संख्या
2. कक्षाओं का संतुलन: प्रेक्षित प्रेस्क्रिप्शन में उनका प्रचलन

लॉगलॉस मीट्रिक के मामले में, एक सामान्य "सुप्रसिद्ध" मीट्रिक यह कहना है कि 0.693 गैर-सूचनात्मक मूल्य है। यह आंकड़ा p = 0.5द्विआधारी समस्या के किसी भी वर्ग के लिए भविष्यवाणी करके प्राप्त किया जाता है। यह केवल संतुलित बाइनरी समस्याओं के लिए मान्य है । क्योंकि जब एक वर्ग का प्रचलन 10% होता है, तो आप p =0.1हमेशा उस वर्ग के लिए भविष्यवाणी करेंगे । यह आपकी डंबल की बेसलाइन होगी, बाय-बाय प्रेडिक्शन, क्योंकि प्रेडिक्टिंग 0.5डम्बर होगा।

I. डम्ब-लॉगलॉस पर कक्षाओं की संख्या का प्रभाव N:

संतुलित स्थिति में (प्रत्येक वर्ग में एक ही प्रचलन है), जब आप p = prevalence = 1 / Nहर अवलोकन के लिए भविष्यवाणी करते हैं, तो समीकरण बस बन जाता है:

Logloss = -log(1 / N)

log किया जा रहा है Ln जो लोग कि सम्मेलन का उपयोग के लिए, neperian लघुगणक।

बाइनरी केस में, N = 2 :Logloss = - log(1/2) = 0.693

तो गूंगा-लॉजॉसेस निम्नलिखित हैं:

द्वितीय। गूंगा-लोग्लॉस पर कक्षाओं के प्रसार का प्रभाव:

ए। बाइनरी वर्गीकरण का मामला

इस मामले में, हम हमेशा भविष्यवाणी करते हैं p(i) = prevalence(i), और हम निम्नलिखित तालिका प्राप्त करते हैं:

इसलिए, जब कक्षाएं बहुत असंतुलित होती हैं (व्यापकता <2%), तो 0.1 का लॉगलॉस वास्तव में बहुत खराब हो सकता है! जैसे 98% की सटीकता उस स्थिति में खराब होगी। तो शायद Logloss उपयोग करने के लिए सबसे अच्छा मीट्रिक नहीं होगा

ख। तीन श्रेणी का मामला

"गूंगा" -लोगलॉस प्रचलन के आधार पर - तीन-स्तरीय मामला:

हम यहां संतुलित बाइनरी और तीन-श्रेणी के मामलों (0.69 और 1.1) के मूल्यों को देख सकते हैं।

निष्कर्ष

0.69 का लॉगलॉस मल्टीस्कल्स समस्या में अच्छा हो सकता है, और बाइनरी बायस्ड मामले में बहुत खराब हो सकता है।

अपने मामले के आधार पर, आप बेहतर होगा कि आप अपने आप को समस्या की आधारभूत गणना करें, अपनी भविष्यवाणी के अर्थ की जांच करने के लिए।

पक्षपाती मामलों में, मैं समझता हूं कि लॉगलॉस में सटीकता और अन्य नुकसान कार्यों के समान समस्या है: यह आपके प्रदर्शन का केवल वैश्विक माप प्रदान करता है। इसलिए आप अल्पसंख्यक वर्गों (याद और सटीक) पर केंद्रित मैट्रिक्स के साथ अपनी समझ को बेहतर ढंग से पूरक करेंगे, या शायद लॉगलॉस का उपयोग न करें।

Comments

(+1) CV में आपका स्वागत है! आप अपनी पोस्ट में गणित टाइपसेटिंग का उपयोग कर सकते हैं। अधिक जानकारी: math.meta.stackexchange.com/questions/5020/…

— कहना है मोनिका

मेरे जवाब से बेहतर, +1

— फायरबग

Answer 3

तो यह वास्तव में फायरबग्स प्रतिक्रिया की तुलना में अधिक जटिल है और यह सब उस प्रक्रिया की अंतर्निहित भिन्नता पर निर्भर करता है जिसे आप भविष्यवाणी करने की कोशिश कर रहे हैं।

जब मैं कहता हूं कि भिन्नता का क्या अर्थ है 'अगर कोई घटना ठीक उसी परिस्थितियों में दोहराई जानी थी, जिसे ज्ञात और अज्ञात है, तो संभावना क्या है कि वही परिणाम फिर से होगा।'

एक पूर्ण भविष्यवक्ता के पास एक हानि होगी, प्रायिकता के लिए P: हानि = P ln P + (1-P) ln (1-P)

यदि आप किसी चीज की भविष्यवाणी करने की कोशिश कर रहे हैं, जहां उसके खराब होने पर, कुछ घटनाओं की भविष्यवाणी 50/50 के परिणाम के साथ की जाएगी, तो औसत नुकसान को एकीकृत करने और लेने से होगा: L = 0.5

यदि आप जो अनुमान लगाने की कोशिश कर रहे हैं वह एक अधिक दोहराव है एक आदर्श मॉडल का नुकसान कम है। उदाहरण के लिए, पर्याप्त जानकारी के साथ एक आदर्श मॉडल एक ऐसी घटना के परिणाम की भविष्यवाणी करने में सक्षम था जहां सभी संभावित घटनाओं में सबसे खराब यह कह सकता है कि 'यह घटना 90% संभावना के साथ होगी' तो औसत नुकसान एल = 0.18 होगा ।

यदि संभावनाओं का वितरण एक समान नहीं है तो भी अंतर है।

तो आपके प्रश्न के उत्तर में उत्तर है 'यह इस बात पर निर्भर करता है कि आप क्या भविष्यवाणी करना चाहते हैं?'

Comments

यह सर्वविदित है $L\approx 0.693$गैर-सूचनात्मक बाइनरी लॉगरिदमिक लॉस ( यानी यादृच्छिक अनुमान) है। मैं वास्तव में आपकी गणना का पालन नहीं करता हूं, क्या आप इसके लिए एक समान वितरण मान रहे हैं$p$या कुछ इस तरह का?

— फायरबग

कल्पना कीजिए कि आपके पास एक प्रणाली है, जहां आप इसकी वर्तमान स्थिति के बारे में सभी संभावित जानकारी जानते हैं। कल्पना करें कि सिस्टम में यादृच्छिकता का कुछ आंतरिक स्तर है ताकि, उसके राज्य के बारे में सभी मापदंडों को देखते हुए, एक परिणाम अलग हो सके। उदाहरण के लिए कहें कि इस प्रणाली में यह 0-10% तक हो सकता है। एक आदर्श मॉडल (यानी जहां इसका प्रदर्शन केवल अंतर्निहित भिन्नता द्वारा सीमित है) मिलेगा$L\approx 0.18$। तुलना के लिए एक प्रणाली जो 0-100% से भिन्न होती है वह अपने सबसे अच्छे रूप में प्राप्त करेगी$L\approx 0.5$।

— शिमोन

मैं आपके बदतर मामले से असहमत नहीं हूं। मैं केवल यह कह रहा हूं कि एक 'अच्छा परिणाम' प्रणाली पर निर्भर करता है। 0.4 कुछ प्रणालियों (जैसे बाद के उदाहरण) या एक खराब (पूर्व के लिए) के लिए एक अच्छे परिणाम का संकेत दे सकता है।

— शिमोन

Answer 4

मैं कहता हूँ कि मानक आँकड़ों का उत्तर केवल अवरोधन की तुलना करना है। (यह अन्य उत्तरों में उल्लिखित असंतुलित कक्षाओं को संभालता है) cf mcFadden's pseudo r ^ 2। https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-pseudo-r-squareds/

अब समस्या यह है कि अधिकतम मूल्य क्या है। मूलभूत रूप से समस्या यह है कि घटनाओं के लिए किसी मॉडल के बाहर किसी घटना की संभावना अपरिभाषित है। जिस तरह से मैं सुझाव दूंगा वह यह है कि आप अपना परीक्षण डेटा ले लें और इसे एक निश्चित स्तर पर एकत्रित करें, ताकि संभावना का अनुमान लगाया जा सके। फिर इस अनुमान के लॉगलॉस की गणना करें।

जैसे आप (web_site, ad_id, Consumer_id) पर आधारित दर के माध्यम से क्लिक की भविष्यवाणी कर रहे हैं, तो आप कुल वेब web_site स्तर के लिए क्लिक, इंप्रेशन और प्रत्येक वेब साइट के लिए परीक्षण सेट पर ctr की गणना करते हैं। फिर इन परीक्षणों का उपयोग करके अपने टेस्ट data_set पर log_loss की गणना करें, पूर्वानुमान के रूप में दरों के माध्यम से क्लिक करें। यह तब केवल वेबसाइट आईडी का उपयोग करके एक मॉडल के लिए आपके परीक्षण सेट पर इष्टतम लॉगलॉस है । समस्या यह है कि हम इस नुकसान को तब तक कम कर सकते हैं जब तक कि हम प्रत्येक रिकॉर्ड को विशिष्ट रूप से पहचानने तक केवल अधिक सुविधाएँ जोड़कर पसंद करते हैं।