मशीन लर्निंग: क्या मुझे बाइनरी भविष्यवाणियों के लिए एक श्रेणीगत क्रॉस एन्ट्रापी या बाइनरी क्रॉस एन्ट्रापी नुकसान का उपयोग करना चाहिए?

36

सबसे पहले, मुझे एहसास हुआ कि अगर मुझे द्विआधारी भविष्यवाणियां करने की आवश्यकता है, तो मुझे एक-गर्म-एन्कोडिंग के माध्यम से कम से कम दो कक्षाएं बनाना होगा। क्या ये सही है? हालांकि, केवल एक वर्ग के साथ भविष्यवाणियों के लिए बाइनरी क्रॉस एन्ट्रॉपी है? अगर मैं एक श्रेणीगत क्रॉस एन्ट्रापी नुकसान का उपयोग कर रहा था जो आमतौर पर अधिकांश पुस्तकालयों (जैसे टेन्सरफ्लो) में पाया जाता है, तो क्या कोई महत्वपूर्ण अंतर होगा?

वास्तव में, एक श्रेणीगत और बाइनरी क्रॉस एन्ट्रॉपी के बीच सटीक अंतर क्या हैं? मैंने कभी भी TensorFlow में बाइनरी क्रॉस एन्ट्रापी का कार्यान्वयन नहीं देखा है, इसलिए मैंने सोचा कि श्रेणीबद्ध एक ठीक काम करता है।

— infomin101
स्रोत

1

: द्विआधारी वर्गीकरण का उदाहरण machinelearningmastery.com/... : और बहु वर्ग वर्गीकरण machinelearningmastery.com/...

— user1367204

@ user1367204: बहु-श्रेणी-वर्गीकरण का लिंक बाइनरी वर्गीकरण के लिए पुनर्निर्देश करता है। यह होना चाहिए यह एक ।

— user3389669

51

द्विपद क्रॉस-एन्ट्रापी लॉस, $m=2$ लिए बहुराष्ट्रीय क्रॉस-एन्ट्रापी लॉस का एक विशेष मामला है ।

\begin{aligned} L (θ) & = - \frac{1}{n} \sum_{i = 1}^{n} [y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})] \\ = - \frac{1}{n} \sum_{i = 1}^{n} \sum_{j = 1}^{m} y_{i j} \log (p_{i j}) \end{aligned}

$\begin{align} \mathcal{L}(\theta) &= -\frac{1}{n}\sum_{i=1}^n \left[y_i \log(p_i) + (1-y_i) \log(1-p_i)\right] \\ &= -\frac{1}{n}\sum_{i=1}^n\sum_{j=1}^m y_{ij} \log(p_{ij}) \end{align}$

कहाँ $i$ अनुक्रमित नमूने / टिप्पणियों और $j$ अनुक्रमित वर्गों, और $y$ नमूना लेबल और (LSH, आरएचएस पर एक गर्म वेक्टर के लिए बाइनरी) है $p_{ij}\in(0,1):\sum_{j} p_{ij} =1\forall i,j$ एक नमूने के लिए भविष्यवाणी है।

— साइकोरैक्स का कहना है कि मोनिका को बहाल करो
स्रोत

3

क्या यह कहने का मतलब यह है कि जब तक मैं एक बहुराष्ट्रीय क्रॉस एन्ट्रापी नुकसान में 2 वर्गों का उपयोग करता हूं, मैं अनिवार्य रूप से एक बाइनरी क्रॉस एन्ट्रापी नुकसान का उपयोग कर रहा हूं?

— infomin101

2

@leekwotsin yup

— Sycorax का कहना है कि मोनिका

17

बाइनरी क्रॉस-एंट्रोपी मल्टी-लेबल वर्गीकरणों के लिए है, जबकि श्रेणीगत क्रॉस एन्ट्रॉपी मल्टी-क्लास वर्गीकरण के लिए है जहां प्रत्येक उदाहरण एकल वर्ग का है।

— हेनोक एस मेंगिस्टु
स्रोत

3

आपके कथन का औचित्य क्या है? आप बहु-लेबल वर्गीकरण में श्रेणीबद्ध क्रॉस एन्ट्रापी का उपयोग क्यों नहीं करेंगे?

— मीकल

क्या होगा यदि कई लेबल हैं, प्रत्येक में कई वर्ग हैं?

— slizb

1

यह वही है जो मैं सुनना चाहता था, लेकिन वह नहीं जो मेरे बॉस सुनना चाहते हैं। थोड़ी सी समझाइश तो बहुत कमाल की होती।

— आदित्य

2

मुझे लगता है कि वर्गीकरण कार्य तीन प्रकार के होते हैं:

बाइनरी वर्गीकरण: दो अनन्य कक्षाएं
बहु-श्रेणी वर्गीकरण: दो से अधिक अनन्य कक्षाएं
मल्टी-लेबल वर्गीकरण: केवल गैर-अनन्य कक्षाएं

इनसे हम कह सकते हैं

(1) के मामले में, आपको बाइनरी क्रॉस एन्ट्रॉपी का उपयोग करने की आवश्यकता है।
(2) के मामले में, आपको श्रेणीबद्ध एन्ट्रापी का उपयोग करने की आवश्यकता है।
(3) के मामले में, आपको बाइनरी क्रॉस एन्ट्रॉपी का उपयोग करने की आवश्यकता है। आप मल्टी-लेबल क्लासिफायर को एक बहु-अलग बाइनरी क्लासिफायरियर के रूप में मान सकते हैं। यदि आपके पास यहां 10 कक्षाएं हैं, तो आपके पास अलग से 10 बाइनरी क्लासीफायर हैं। प्रत्येक बाइनरी क्लासिफायर को स्वतंत्र रूप से प्रशिक्षित किया जाता है। इस प्रकार, हम प्रत्येक नमूने के लिए मल्टी-लेबल का उत्पादन कर सकते हैं। यदि आप यह सुनिश्चित करना चाहते हैं कि कम से कम एक लेबल प्राप्त किया जाना चाहिए, तो आप सबसे कम वर्गीकरण हानि फ़ंक्शन के साथ या अन्य मैट्रिक्स का उपयोग करके चयन कर सकते हैं।

मैं इस बात पर जोर देना चाहता हूं कि मल्टी-क्लास वर्गीकरण मल्टी-लेबल वर्गीकरण के समान नहीं है ! बल्कि, मल्टी-लेबल क्लासिफायर द्विआधारी क्लासिफायरियर से एक विचार उधार लेता है!

— jeongmin.cha
स्रोत