ImageNet: शीर्ष -1 और शीर्ष -5 त्रुटि दर क्या है?

Question

ImageNet वर्गीकरण पत्रों में शीर्ष -1 और शीर्ष -5 त्रुटि दर कुछ समाधानों की सफलता को मापने के लिए महत्वपूर्ण इकाइयाँ हैं, लेकिन वे त्रुटि दर क्या हैं?

में दीप Convolutional तंत्रिका नेटवर्क के साथ ImageNet वर्गीकरण Krizhevsky एट अल द्वारा। एक एकल सीएनएन (पृष्ठ 7) पर आधारित हर समाधान में कोई शीर्ष -5 त्रुटि दर नहीं है, जबकि 5 और 7 सीएनएन वाले (और 7 सीएनएन के लिए त्रुटि दर 5 सीएनएन के लिए भी बेहतर है)।

क्या इसका मतलब शीर्ष -1 त्रुटि दर एक एकल सीएनएन के लिए सर्वश्रेष्ठ एकल त्रुटि दर है?

क्या शीर्ष -5 त्रुटि दर केवल पांच सीएनएन की संचित त्रुटि दर है?

Answer 1

[...] जहां शीर्ष -5 त्रुटि दर परीक्षण छवियों का अंश है, जिसके लिए सही लेबल मोड द्वारा सबसे संभावित माना जाने वाले पांच लेबल में से नहीं है।

सबसे पहले, आप CNN का उपयोग करके एक भविष्यवाणी करते हैं और पूर्वानुमानित वर्ग बहुराष्ट्रीय वितरण ( ) प्राप्त करते हैं।$\sum p_{class} = 1$

अब, शीर्ष -1 स्कोर के मामले में , आप जांचते हैं कि शीर्ष वर्ग (सबसे अधिक संभावना वाले व्यक्ति) लक्ष्य लेबल के समान है या नहीं।

शीर्ष -5 स्कोर के मामले में , आप जांचते हैं कि लक्ष्य लेबल आपकी शीर्ष 5 भविष्यवाणियों में से एक है (5 सर्वोच्च योग्यता वाले)।

दोनों मामलों में, शीर्ष स्कोर की गणना उस समय के रूप में की जाती है, जब अनुमानित लेबल लक्ष्य लेबल से मेल खाता है, जो डेटा-पॉइंटेड मूल्यांकन की संख्या से विभाजित होता है।

अंत में, जब 5-सीएनएन का उपयोग किया जाता है, तो आप पहले उनकी भविष्यवाणियों को औसत करते हैं और शीर्ष -1 और शीर्ष -5 स्कोर की गणना के लिए एक ही प्रक्रिया का पालन करते हैं।

Answer 2

आपका क्लासिफायर आपको प्रत्येक कक्षा के लिए एक संभावना देता है। कहते हैं कि हमारे पास केवल "बिल्ली", "कुत्ता", "घर", "माउस" वर्ग के रूप में (इस क्रम में) था। फिर क्लासिफायर कुछ तरह का देता है

0.1; 0.2; 0.0; 0.7

नतीजतन। टॉप -1 वर्ग "माउस" है। शीर्ष -2 वर्ग {माउस, डॉग} हैं। यदि सही वर्ग "कुत्ता" था, तो इसे शीर्ष -2 सटीकता के लिए "सही" के रूप में गिना जाएगा, लेकिन शीर्ष -1 सटीकता के लिए गलत है।

इसलिए, संभव वर्गों के साथ एक वर्गीकरण समस्या में , प्रत्येक क्लासिफायर में 100% शीर्ष- सटीकता है। "सामान्य" सटीकता शीर्ष -1 है।$k$$k$