औसत औसत परिशुद्धता बनाम मीन पारस्परिक रैंक

Question

मैं यह समझने की कोशिश कर रहा हूं कि एमएपी का उपयोग कब करना उचित है और कब एमआरआर का उपयोग किया जाना चाहिए। मुझे यह प्रस्तुति मिली जिसमें कहा गया है कि प्रासंगिक परिणामों की संख्या 5 से कम होने पर और जब यह 1. होता है तो एमआरआर का सबसे अच्छा उपयोग किया जाता है। अन्य मामलों में एमएपी उपयुक्त है। मेरे दो सवाल हैं:

• मुझे सच में समझ नहीं आया कि ऐसा क्यों है।
• मुझे इस दावे के लिए एक उपयुक्त संदर्भ नहीं मिल रहा है।

कृपया ध्यान दें कि मेरे पास बहुत मजबूत सांख्यिकीय पृष्ठभूमि नहीं है, इसलिए एक आम आदमी का स्पष्टीकरण बहुत मदद करेगा। धन्यवाद।

Answer 1

कल्पना करें कि आपके पास किसी प्रकार की क्वेरी है, और आपकी पुनर्प्राप्ति प्रणाली ने आपको शीर्ष -20 आइटमों की एक रैंक वाली सूची दी है, जो आपकी क्वेरी के लिए सबसे अधिक प्रासंगिक है। अब यह भी कल्पना कीजिए कि इस के लिए एक जमीनी सच्चाई है, कि वास्तव में हम उन 20 में से प्रत्येक के लिए कह सकते हैं कि "हाँ" यह एक प्रासंगिक उत्तर है या "नहीं" यह नहीं है।

मीन पारस्परिक रैंक (एमआरआर) आपको इन स्थितियों में गुणवत्ता का एक सामान्य उपाय देता है, लेकिन एमआरआर केवल एकल उच्चतम रैंक वाले प्रासंगिक आइटम की परवाह करता है । यदि आपका सिस्टम तीसरे-उच्चतम स्थान पर एक प्रासंगिक आइटम लौटाता है, तो यह है कि MRR की क्या परवाह है। यह परवाह नहीं है अगर अन्य प्रासंगिक आइटम (कोई भी हो) नंबर 4 या नंबर 20 वें स्थान पर हैं।

इसलिए, एमआरआर एक ऐसी प्रणाली का न्याय करने के लिए उपयुक्त है जहां या तो (ए) आपके उपयोग के मामले में केवल एक ही प्रासंगिक परिणाम है, या (बी) आप केवल उच्चतम रैंक वाले व्यक्ति के बारे में वास्तव में परवाह करते हैं। यह कुछ वेब-खोज परिदृश्यों में सही हो सकता है, उदाहरण के लिए, जहां उपयोगकर्ता केवल एक चीज़ पर क्लिक करना चाहता है, उन्हें किसी और की आवश्यकता नहीं है। (हालांकि यह आम तौर पर सच है, या आप एक वेब खोज के साथ और अधिक खुश होंगे जो दस बहुत अच्छे उत्तर लौटाते हैं, और आप अपना निर्णय ले सकते हैं कि उनमें से किस पर क्लिक करें ...?)

औसत औसत परिशुद्धता (एमएपी) पर विचार किया जाता है कि क्या सभी संबंधित आइटम अत्यधिक रैंक प्राप्त करते हैं। इसलिए शीर्ष -20 उदाहरण में, यह केवल परवाह नहीं करता है यदि नंबर 3 पर एक प्रासंगिक उत्तर है, यह भी परवाह करता है कि क्या उस सूची के सभी "हां" आइटम शीर्ष की ओर झुके हुए हैं।

जब आपके डेटासेट में केवल एक ही प्रासंगिक उत्तर होता है, तो MRR और MAP, MAP की मानक परिभाषा के बिल्कुल बराबर होते हैं ।

यह देखने के लिए कि, इस ब्लॉग पोस्ट के उदाहरणों से प्रेरित निम्नलिखित खिलौना उदाहरणों पर विचार करें :

उदाहरण 1

प्रश्न: "कैलिफोर्निया की राजधानी"

रैंक के परिणाम: "पोर्टलैंड", "सैक्रामेंटो", "लॉस एंजिल्स"

रैंक किए गए परिणाम (बाइनरी प्रासंगिकता): [0, 1, 0]

सही उत्तरों की संख्या संभव: 1

पारस्परिक रैंक:$\frac{1}{2}$

1: पर परिशुद्धता $\frac{0}{1}$

2: पर परिशुद्धता $\frac{1}{2}$

3 पर : $\frac{1}{3}$

औसत परिशुद्धता = ।$\frac{1}{m} * \frac{1}{2} = \frac{1}{1}*\frac{1}{2} = 0.5$

जैसा कि आप देख सकते हैं, एक सही उत्तर के साथ क्वेरी के लिए औसत सटीक परिणाम के पारस्परिक रैंक के बराबर है। यह इस प्रकार है कि इस तरह के प्रश्नों के संग्रह का MRR इसके MAP के बराबर होगा। हालांकि, जैसा कि निम्नलिखित उदाहरण से स्पष्ट होता है, यदि एक से अधिक सही उत्तर हैं, तो चीजें बदल जाती हैं:

उदाहरण 2

क्वेरी: "कैलिफोर्निया में शहर"

रैंक के परिणाम: "पोर्टलैंड", "सैक्रामेंटो", "लॉस एंजिल्स"

रैंक किए गए परिणाम (बाइनरी प्रासंगिकता): [0, 1, 1]

सही उत्तरों की संख्या संभव: 2

पारस्परिक रैंक:$\frac{1}{2}$

1: पर परिशुद्धता $\frac{0}{1}$

2: पर परिशुद्धता $\frac{1}{2}$

3 पर परिशुद्धता: $\frac{2}{3}$

औसत परिशुद्धता = ।$\frac{1}{m} * \big[ \frac{1}{2} + \frac{2}{3} \big] = \frac{1}{2} * \big[ \frac{1}{2} + \frac{2}{3} \big] = 0.38$

इस प्रकार, इस मामले में एमआरआर बनाम एमएपी का विकल्प पूरी तरह से इस बात पर निर्भर करता है कि आप पहले सही हिट के बाद रैंकिंग चाहते हैं या नहीं।