सत्यापन हानि या सटीकता पर प्रारंभिक रोक?


10

मैं वर्तमान में एक तंत्रिका नेटवर्क को प्रशिक्षित कर रहा हूं और मैं यह तय नहीं कर सकता कि मेरे शुरुआती स्टॉपिंग मानदंड को लागू करने के लिए किसका उपयोग किया जाए: सत्यापन हानि या सटीकता / f1score / auc / जो भी सत्यापन सेट पर गणना की जाती है।

अपने शोध में, मैं दोनों दृष्टिकोणों का बचाव करने वाले लेखों पर आया। केरस को सत्यापन नुकसान के लिए डिफ़ॉल्ट लगता है, लेकिन मैं विपरीत दृष्टिकोण (जैसे यहां ) के लिए ठोस उत्तर भी दे रहा हूं ।

किसी को निर्देश है कि अधिमानतः नुकसान का उपयोग कब करना है और किसी विशिष्ट मीट्रिक का उपयोग कब करना है?

जवाबों:


6

TLDR; सटीकता के बजाय नुकसान की निगरानी करें

मैं अपने स्वयं के प्रश्न का उत्तर दूंगा क्योंकि मुझे लगता है कि उत्तर प्राप्त बिंदु से चूक गए और किसी को एक दिन एक ही समस्या हो सकती है।

सबसे पहले, मुझे जल्दी से स्पष्ट करना चाहिए कि तंत्रिका नेटवर्क को प्रशिक्षित करते समय शुरुआती रोक का उपयोग पूरी तरह से सामान्य है (गुडफेलो एट अल के डीप लर्निंग बुक में संबंधित अनुभाग देखें, अधिकांश डीएल कागजात, और केरस के लिए प्रलेखन 'अर्लीस्टॉपिंग कॉलबैक)।

अब, मॉनिटर करने के लिए मात्रा के बारे में: सटीकता के नुकसान को प्राथमिकता दें। क्यों? नुकसान यह निर्धारित करता है कि एक भविष्यवाणी के बारे में मॉडल कितना निश्चित है (मूल रूप से सही वर्ग में 1 के करीब मूल्य और अन्य वर्गों में 0 के करीब)। सटीकता केवल सही भविष्यवाणियों की संख्या के लिए जिम्मेदार है। इसी तरह, संभावनाओं के बजाय कठिन भविष्यवाणियों का उपयोग करने वाले किसी भी मैट्रिक्स में एक ही समस्या है।

जाहिर है, आप जो भी मेट्रिक्स चुनते हैं, उसकी गणना एक सत्यापन सेट पर की जानी चाहिए, न कि एक प्रशिक्षण सेट (अन्यथा, आप पहले स्थान पर अर्लीस्टॉपिंग का उपयोग करने के बिंदु को पूरी तरह से याद कर रहे हैं)


यदि मान 0 और 1 के बीच हैं, तो cross_entropyनुकसान MSEया की तुलना में अधिक बेहतर उम्मीदवार है MAEइस लेख के रैप-अप सेक्शन की जाँच करें , और यह पोस्ट आँकड़ों पर
इस्माइलियन

@ इस्माइलियन यह वरीयता का मामला नहीं है; के लिए वर्गीकरण समस्याओं, एमएसई और MAE बस उपयुक्त नहीं हैं।
रेगिस्तान में

4

मेरी राय में, यह व्यक्तिपरक और समस्या विशिष्ट है। ड्राइविंग मीट्रिक के रूप में आपके दिमाग में जो भी सबसे महत्वपूर्ण कारक है, आपको उसका उपयोग करना चाहिए, क्योंकि इससे मॉडल को बेहतर तरीके से बदलने के बारे में आपके निर्णय हो सकते हैं।

एल1

उदाहरण के लिए, यदि आप अपनी रिपोर्ट में / अपने बॉस को एफ 1-स्कोर की रिपोर्ट करेंगे (और यह मानते हुए कि वे वास्तव में किस चीज की परवाह करते हैं), तो उस मीट्रिक का उपयोग करना सबसे अधिक समझ में आता है। उदाहरण के लिए, एफ-स्कोर, सटीक लेता है और ध्यान में रखता है अर्थात यह दो और महीन-महीन मैट्रिक्स के बीच संबंध का वर्णन करता है ।

उन चीजों को एक साथ लाना, सामान्य नुकसान के अलावा अन्य कंप्यूटिंग अंकों का अवलोकन के लिए अच्छा हो सकता है और यह देखने के लिए कि प्रशिक्षण पुनरावृत्तियों के दौरान आपकी अंतिम मीट्रिक को कैसे अनुकूलित किया जाता है। यह रिश्ता शायद आपको समस्या की गहरी जानकारी दे सकता है,

यह आमतौर पर कई विकल्पों को आज़माने के लिए सबसे अच्छा है, हालांकि, सत्यापन के नुकसान के लिए अनुकूलन प्रशिक्षण को लंबे समय तक चलाने की अनुमति दे सकता है, जो अंततः एक बेहतर एफ 1-स्कोर भी पैदा कर सकता है । सटीक और याद कुछ स्थानीय मिनीमा के चारों ओर बोलबाला हो सकता है, लगभग एक स्थिर एफ 1-स्कोर का निर्माण होता है - इसलिए आप प्रशिक्षण बंद कर देंगे। यदि आप शुद्ध नुकसान के लिए अनुकूलन कर रहे थे, तो आप नुकसान में पर्याप्त उतार-चढ़ाव दर्ज कर सकते थे ताकि आप अधिक समय तक प्रशिक्षण कर सकें।


एक मैट्रिक्स का उपयोग करके सत्यापन हानि को प्रशिक्षण के लिए लंबे समय तक उपयोग करने की अनुमति क्यों दी जाएगी? इसके अलावा, क्या आप दो विकल्पों के बीच के अंतर पर विस्तार कर सकते हैं? क्या आप एक ऐसे मामले को देखते हैं जहां नुकसान के बजाय मीट्रिक का उपयोग करना एक बुरा विचार होगा?
qeeeeus

@ id-2205 - कृपया मेरा संपादित उत्तर देखें।
n1k31t4

दिलचस्प बात! मैं वर्तमान में शुरुआती रोक के लिए सटीकता का उपयोग कर रहा हूं, लेकिन मैं सत्यापन हानि का उपयोग करने का प्रयास करूंगा। मैं हालांकि प्रशिक्षण प्रक्रिया में किसी भी बदलाव की उम्मीद नहीं करता! आपके जवाब के लिए धन्यवाद
qmeeus

1

मैं वर्तमान में एक तंत्रिका नेटवर्क को प्रशिक्षित कर रहा हूं और मैं यह तय नहीं कर सकता कि मेरे शुरुआती स्टॉपिंग मानदंड को लागू करने के लिए किसका उपयोग किया जाए: सत्यापन हानि या सटीकता / f1score / auc / जो भी सत्यापन सेट पर गणना की जाती है।

यदि आप एक गहरे नेटवर्क का प्रशिक्षण ले रहे हैं, तो मैं आपको अत्यधिक रोक का उपयोग न करने की सलाह देता हूं। गहरी शिक्षा में, यह बहुत प्रथागत नहीं है। इसके बजाय, आप अच्छी तरह से सामान्यीकरण के लिए ड्रॉप आउट जैसी अन्य तकनीकों को नियोजित कर सकते हैं। यदि आप उस पर जोर देते हैं, तो मानदंड चुनना आपके कार्य पर निर्भर करता है। यदि आपके पास असंतुलित डेटा है, तो आपको F1स्कोर को नियोजित करना होगा और इसे अपने क्रॉस-वैलिडेशन डेटा पर मूल्यांकन करना होगा। यदि आपके पास संतुलित डेटा है, तो अपने क्रॉस-सत्यापन डेटा पर सटीकता का उपयोग करने का प्रयास करें। अन्य तकनीकें आपके कार्य पर अत्यधिक निर्भर करती हैं।

मैं आपको एक मॉडल खोजने के लिए प्रोत्साहित करता हूं जो आपके डेटा को बहुत अच्छी तरह से फिट करता है और उसके बाद ड्रॉप आउट को रोजगार देता है। यह सबसे प्रथागत चीज़ है जो लोग गहरे मॉडल के लिए उपयोग करते हैं।


2
मैं ड्रॉपआउट का भी उपयोग कर रहा हूं। हालाँकि, मुझे इस बात का कोई कारण नहीं मिल रहा है कि शुरुआती रोक का उपयोग क्यों नहीं किया जाना चाहिए ...
qmeeus

शुरुआती पड़ाव सीखने और सामान्यीकरण दोनों समस्याओं को हल करने की कोशिश करता है। दूसरी ओर ड्रॉप आउट सामान्यीकरण समस्या को दूर करने की कोशिश करता है।
मीडिया

1
आप मेरे सवाल का जवाब नहीं देते ... मैं इस तथ्य से इनकार नहीं करता कि ड्रॉपआउट उपयोगी है और इसका इस्तेमाल ओवरफिटिंग से बचाने के लिए किया जाना चाहिए, मैं उस पर अधिक सहमत नहीं हो सकता। मेरा सवाल है: आप यह क्यों कहते हैं कि एएनएन के साथ शुरुआती रोक का इस्तेमाल नहीं किया जाना चाहिए? (अपना पहला वाक्य cf: यदि आप एक गहरे नेटवर्क का प्रशिक्षण ले रहे हैं, तो मैं आपको अत्यधिक रोक का उपयोग नहीं करने की सलाह देता हूं।)
qmeeus

क्या आपने मेरी आखिरी टिप्पणी पढ़ी? यह आपके प्रश्न का सटीक उत्तर देता है। यह पीआर से एक प्रसिद्ध उद्धरण है। अपने गहन शिक्षा वर्ग में एनजी, दूसरा कोर्स। उत्तरार्द्ध का मामला एक आसान काम है, जो बहुगुणित कार्यों को सरलता से हल करने के लिए संघर्ष नहीं कर रहा है।
मीडिया

3
और इसे खोजने के लिए और हाइपरपरमेटर्स के सही सेट को खोजने के लिए, मैं ऊपर बताए गए कारणों के लिए शुरुआती स्टॉप के साथ कुछ प्रकार की निर्देशित ग्रिड खोज को नियोजित कर रहा हूं। हालांकि लिया गया बिंदु और एक बार मैंने अंतिम मॉडल का चयन कर लिया है और मैं इसे प्रशिक्षित करूंगा, मैं जल्दी रोक का उपयोग नहीं करूंगा। इस दिलचस्प चर्चा के लिए और सलाह के लिए धन्यवाद
qmeeus
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.