सटीक ग्रेडिंग / रेटिंग प्राप्त करने के लिए पीयर ग्रेडिंग डिज़ाइन - एक ग्राफ चुनना

Question

पृष्ठभूमि। मैं अर्ध-स्वचालित ग्रेडिंग के लिए कुछ कोड लिख रहा हूं, ग्रेडिंग प्रक्रिया के हिस्से के रूप में सहकर्मी ग्रेडिंग का उपयोग कर रहा हूं। छात्रों को एक बार में निबंध के जोड़े दिए जाते हैं, और छात्रों के पास यह चुनने के लिए एक स्लाइडर होता है कि कौन सा बेहतर है और कितना बेहतर है। उदाहरण के लिए, स्लाइडर कुछ इस तरह दिख सकता है:

A---X-B

सहकर्मी ग्रेडिंग के परिणामों के आधार पर, निबंधों को रैंक किया जाता है और शिक्षक तब शीर्ष X% और नीचे X% को ग्रेड करेगा और सभी निबंधों के लिए स्कोर इस आधार पर स्वचालित रूप से गणना करेंगे। मैं पहले ही इस रैंकिंग / स्कोरिंग प्रक्रिया को करने के तरीकों के साथ आ चुका हूं; वह हिस्सा अच्छी तरह से काम करता है।

मेरा प्रश्न। छात्रों को निबंध के किस जोड़े का चयन करना चाहिए?

सिमुलेशन का सुझाव है कि हमें एक सटीक रैंकिंग प्राप्त करने के लिए कम से कम 3 बार सहकर्मी होने के लिए एक निबंध की आवश्यकता है। इस प्रकार, प्रत्येक निबंध को कम से कम 3 जोड़े में प्रकट होना चाहिए जो सहकर्मी ग्रेडिंग के लिए प्रस्तुत किए जाते हैं।

इसे हम एक ग्राफ समस्या के रूप में सोच सकते हैं। निबंधों को नोड्स के रूप में सोचें। प्रत्येक किनारे सहकर्मी ग्रेडिंग प्रक्रिया के दौरान प्रस्तुत किए जाने वाले निबंधों की एक जोड़ी का प्रतिनिधित्व करता है। ऊपर दिए गए सटीकता परिणाम बताते हैं कि प्रत्येक नोड (या अधिकांश नोड्स) की डिग्री कम से कम होनी चाहिए 3. मुझे किस तरह के ग्राफ का उपयोग करना चाहिए? मुझे पीयर ग्रेडिंग के दौरान उपयोग किए जाने वाले ग्राफ को कैसे उत्पन्न करना चाहिए?

एक चुनौती यह है कि यदि आपके पास ग्राफ़ में क्लस्टर हैं, तो यह पीयर-ग्रेडिंग को तिरछा कर देगा। उदाहरण के लिए, हम उच्च-गुणवत्ता वाले निबंधों को उच्च श्रेणी के निबंधों के विरुद्ध श्रेणीबद्ध नहीं करना चाहेंगे, क्योंकि यह सहकर्मी ग्रेडिंग के परिणामों को कम कर देगा।

आप क्या सुझाव देंगे?

मुझे लगता है कि इस समस्या को निम्नलिखित जैसे कुछ का उपयोग करके अप्रत्यक्ष ग्राफ के साथ मॉडल किया जा सकता है:

• नोड को कम से कम डिग्री के साथ शुरू करें और इसे अगले कम से कम लिंक करें
• तब तक जारी रखें जब तक आपकी औसत डिग्री कम से कम 3 न हो
• नोड कनेक्टिविटी को अधिकतम करें
• कुलियों की संख्या कम से कम करें

क्या यह एक अच्छा तरीका है? यदि नहीं तो आप इसके बजाय क्या सुझाव देंगे?

Comments

यह विस्तारकों के लिए एक दिलचस्प अनुप्रयोग हो सकता है । क्या आपने विस्तारक में असाइनमेंट की व्यवस्था करने की कोशिश की है?

— शूल

किनारों का आपका विचार आधा-सही लगता है। किनारों से केवल तुलना होने का संकेत मिलता है, तुलना का परिणाम नहीं। इसलिए केवल किनारों की उपस्थिति / अनुपस्थिति से बहुत अधिक जानकारी नहीं मिलती है, केवल तुलनाएं जो हुईं। समस्या को संभालने के लिए एक प्राकृतिक तरीके में भारित / निर्देशित किनारों को शामिल किया गया है, जहां दिशा पसंदीदा की ओर है ... यह एक प्रवाह समस्या के समान लगता है ... आप "स्लाइडर" कहते हैं, क्या यह बहुस्तरीय है? या द्विआधारी? "स्लाइडर" ने मुझे रेटिंग की तरह बहुस्तरीय ध्वनि दी।

— vzn

क्या आप स्पष्ट कर सकते हैं कि आपका प्रश्न क्या है? क्या आप ग्राफ़ के चयन के बारे में पूछ रहे हैं? या आप प्रत्येक किनारे के लिए एक ग्राफ और रेटिंग का एक सेट दिया गया है, सभी निबंधों को कैसे रैंक करें? पूर्व "प्रायोगिक डिजाइन" की सामान्य श्रेणी के अंतर्गत आता है (और मेरा उत्तर इसे संबोधित करता है); बाद में, "डेटा विश्लेषण" की सामान्य श्रेणी के तहत (और मेरे उत्तर और vzn के उत्तर दोनों उस के लिए कुछ सहायक संसाधन देते हैं)।

— DW

वास्तव में हमने रैंकिंग और स्कोरिंग का काम किया था, लेकिन नीचे के दृष्टिकोण की कोशिश करेंगे।

— इस्माइल

इसी तरह की समस्याओं के कुछ विश्लेषणों में "रैंकिंग" और "स्कोरिंग" शब्द विनिमेय हैं। यह अब आगे की समीक्षा और संपादन से प्रकट होता है, आपके सिस्टम में आप "रैंकिंग" का उल्लेख करते हैं, तुलनात्मक डेटा के आधार पर रैंक के कंप्यूटर-आधारित अनुमान के रूप में, और निबंध की गुणवत्ता पर मानव-आधारित व्यक्तिपरक निर्णय के रूप में "स्कोरिंग" भी ( आमतौर पर "ग्रेडिंग" कहा जाता है) जो रैंकिंग प्रक्रिया का अनुसरण करता है। और आप मुख्य रूप से तुलना जोड़े को बांटने में रुचि रखते हैं ...

— vzn 16

Answer 1

इसके दो भाग हैं: (ए) एक ग्राफ ( प्रायोगिक डिजाइन ) का चयन करना जो यह निर्धारित करता है कि छात्रों के कौन से निबंध पीयर ग्रेडिंग प्रक्रिया में मूल्यांकन करेंगे, और (बी) छात्र के पीयर ग्रेड के आधार पर सभी निबंधों को रैंकिंग देंगे, निर्धारित करें कि शिक्षक को किस पद पर होना चाहिए। मैं प्रत्येक के लिए कुछ तरीके सुझाऊंगा।

एक ग्राफ चुनना

समस्या का विवरण। पहला कदम एक ग्राफ उत्पन्न करना है। दूसरे शब्दों में, आपको सहकर्मी ग्रेडिंग अभ्यास के दौरान छात्रों को दिखाने के लिए निबंधों के कौन से जोड़े का चयन करना होगा।

सुझाया हुआ समाधान। इस कार्य के लिए, मेरा सुझाव है कि आप एक यादृच्छिक ग्राफ उत्पन्न करें$G$, सभी 3-नियमित (सरल) रेखांकन के सेट से यादृच्छिक पर समान रूप से चयनित।

औचित्य और विवरण। यह ज्ञात है कि एक यादृच्छिक$d$-अनियमित ग्राफ एक अच्छा विस्तारक है। वास्तव में, नियमित रेखांकन में विषमतम रूप से इष्टतम विस्तार कारक होता है। इसके अलावा, क्योंकि ग्राफ यादृच्छिक है, इससे ग्रेडिंग को कम करने के जोखिम को समाप्त करना चाहिए। यादृच्छिक पर एक समान रूप से एक ग्राफ का चयन करके, आप यह सुनिश्चित कर रहे हैं कि आपका दृष्टिकोण सभी छात्रों के लिए समान रूप से उचित है। मुझे संदेह है कि एक समान रूप से यादृच्छिक 3-नियमित ग्राफ आपके उद्देश्यों के लिए इष्टतम होगा।

यह प्रश्न उठाता है: हम 3-नियमित (सरल) ग्राफ़ का चयन कैसे करते हैं $n$ अनियमित, समान रूप से यादृच्छिक पर?

सौभाग्य से, ऐसा करने के लिए ज्ञात एल्गोरिदम हैं। मूल रूप से, आप निम्न कार्य करते हैं:

1. सृजन करना $3n$अंक। आप इसे प्रत्येक की 3 प्रतियों के रूप में सोच सकते हैं$n$कोने। समान रूप से, इन पर एक यादृच्छिक परिपूर्ण मिलान उत्पन्न करें$3n$अंक। (दूसरे शब्दों में, निम्नलिखित प्रक्रिया को सभी तक दोहराएं$3n$ बिंदुओं को जोड़ा जाता है: किसी भी अनपेक्षित बिंदु का चयन करें, और इसे अन्य बिंदुओं के साथ जोड़कर एकतरफा बिंदुओं के सेट से यादृच्छिक रूप से समान रूप से चुना जाता है।)

2. प्रत्येक दो बिंदुओं के लिए जो मिलान से मेल खाते हैं, इसी कोने के बीच एक किनारा खींचें (कि वे एक प्रति हैं)। यह आपको एक ग्राफ देता है$n$ कोने।

3. अगला, परीक्षण करें यदि परिणामी ग्राफ सरल है (यानी, इसमें कोई स्व-छोर नहीं है और कोई दोहराया किनारों नहीं है)। यदि यह सरल नहीं है, तो ग्राफ को त्यागें और चरण 1 पर वापस जाएं। यदि यह सरल है, तो आप कर रहे हैं; इस ग्राफ को आउटपुट करें।

यह ज्ञात है कि यह प्रक्रिया 3-नियमित (सरल) रेखांकन के सेट पर एक समान वितरण उत्पन्न करती है। इसके अलावा, यह ज्ञात है कि चरण 3 में आपको परिणामस्वरूप ग्राफ को स्वीकार करने की निरंतर संभावना है, इसलिए औसतन एल्गोरिथ्म क्या करेगा$O(1)$ परीक्षण - तो यह बहुत कुशल है (उदाहरण के लिए, बहुपद चल रहा समय)।

मैंने इस दृष्टिकोण को बोलोबस, बेंडर और कैनफील्ड को श्रेय दिया है। दृष्टिकोण को संक्षेप में विकिपीडिया पर भी संक्षेप में प्रस्तुत किया गया है । आप इस ब्लॉग पोस्ट पर एक चर्चा भी पा सकते हैं ।

तकनीकी रूप से, इसके लिए यह आवश्यक है कि संख्या $n$ हो (अन्यथा कोई 3-नियमित ग्राफ़ नहीं है) $n$कोने)। हालांकि, इससे निपटना आसान है। उदाहरण के लिए, यदि$n$विषम है, आप बेतरतीब ढंग से एक निबंध चुन सकते हैं, इसे अलग सेट कर सकते हैं, शेष निबंधों पर एक यादृच्छिक 3-नियमित ग्राफ़ उत्पन्न कर सकते हैं, फिर सेट-निबंध से 3 और किनारों को 3 यादृच्छिक रूप से चुने गए अन्य निबंधों में जोड़ सकते हैं। (इसका मतलब है कि 3 निबंध होंगे जो वास्तव में 4 बार वर्गीकृत किए जाते हैं, लेकिन इससे कोई नुकसान नहीं होना चाहिए।)

सभी निबंधों की रैंकिंग

समस्या का विवरण। ठीक है, तो अब आपके पास एक ग्राफ है, और आपने सहकर्मी ग्रेडिंग अभ्यास के दौरान ग्रेड के लिए छात्रों को निबंध के इन जोड़े (जैसा कि ग्राफ में किनारों द्वारा इंगित किया गया है) प्रस्तुत किया है। आपके पास निबंधों की प्रत्येक तुलना के परिणाम हैं। अब आपका काम सभी निबंधों पर एक रेखीय रैंकिंग का अनुमान लगाना है, जिससे आपको यह निर्धारित करने में मदद मिल सके कि शिक्षक का मूल्यांकन किसके पास है।

समाधान। मैंने आपको ब्राडली-टेरी मॉडल का उपयोग करने का सुझाव दिया है । यह एक गणितीय दृष्टिकोण है जो इस समस्या को हल करता है। यह खिलाड़ियों के कुछ जोड़े के बीच मैचों के परिणामों के आधार पर, किसी खेल में खिलाड़ियों की रैंकिंग के लिए बनाया गया था। यह मानता है कि प्रत्येक खिलाड़ी के पास एक अज्ञात (अज्ञात) ताकत है, जिसे एक वास्तविक संख्या के रूप में मात्राबद्ध किया जा सकता है, और ऐलिस की पिटाई की संभावना उनकी ताकत के अंतर के कुछ सुचारू फ़ंक्शन द्वारा निर्धारित की जाती है। फिर, जोड़ीदार जीत / हानि रिकॉर्ड को देखते हुए, यह प्रत्येक खिलाड़ी की ताकत का अनुमान लगाता है।

यह आपके लिए एकदम सही होना चाहिए। आप प्रत्येक निबंध को एक खिलाड़ी के रूप में मान सकते हैं। दो निबंध (सहकर्मी ग्रेडिंग प्रक्रिया के दौरान) के बीच की तुलना उनके बीच एक मैच के परिणाम की तरह है। ब्रैडले-टेरी मॉडल आपको उस सभी डेटा को लेने की अनुमति देगा, और प्रत्येक निबंध के लिए एक ताकत का अनुमान लगाएगा, जहां उच्च ताकत बेहतर निबंधों के अनुरूप हैं। अब आप सभी निबंधों को रैंक-ऑर्डर करने के लिए उन शक्तियों का उपयोग कर सकते हैं।

विवरण और चर्चा। वास्तव में, ब्रैडले-टेरी मॉडल उससे भी बेहतर है जो आपने पूछा था। आपने एक रेखीय रैंकिंग के लिए कहा, लेकिन ब्रैडली-टेरी मॉडल वास्तव में प्रत्येक निबंध को एक (वास्तविक संख्या) रेटिंग देता है। इसका मतलब है कि आप न केवल निबंध जानते हैं$i$ निबंध से अधिक मजबूत है $j$, लेकिन के एक मोटे अनुमान कैसे ज्यादा मजबूत यह है। उदाहरण के लिए, आप इसका उपयोग अपने निबंध को रैंक करने के लिए चयन करने के लिए कर सकते हैं।

आपके पास मौजूद डेटा को देखते हुए, सभी निबंधों के लिए रेटिंग या रैंकिंग का अनुमान लगाने के वैकल्पिक तरीके हैं। उदाहरण के लिए, एलो विधि एक और है। मैं उनमें से कई को एक अलग प्रश्न के उत्तर में संक्षेप में प्रस्तुत करता हूं ; अधिक विवरण के लिए उस उत्तर को पढ़ें।

एक अन्य टिप्पणी: ब्रैडले-टेरी मॉडल मानती है कि दो खिलाड़ियों के बीच प्रत्येक तुलना का परिणाम एक जीत या हानि (यानी, एक द्विआधारी परिणाम) है। हालांकि, ऐसा लगता है कि आपके पास वास्तव में अधिक विस्तृत डेटा होगा: आपका स्लाइडर एक मोटा अनुमान लगाएगा कि सहकर्मी ग्रेडर ने दूसरे की तुलना में एक निबंध कितना बेहतर मूल्यांकन किया। सबसे सरल तरीका यह होगा कि प्रत्येक स्लाइडर को बाइनरी रिजल्ट में मैप करें। हालाँकि, यदि आप वास्तव में चाहते हैं, तो आप अधिक परिष्कृत विश्लेषण का उपयोग करके, सभी डेटा का उपयोग करने में सक्षम हो सकते हैं। ब्रैडली-टेरी मॉडल में लॉजिस्टिक रिग्रेशन करना शामिल है। यदि आप सामान्य रूप से आदेशित लॉग का उपयोग करने के लिए कहते हैं , तो मैं शर्त लगाता हूं कि आप प्रत्येक स्लाइडर से आपके पास मौजूद अतिरिक्त जानकारी का लाभ उठा सकते हैं, यह देखते हुए कि स्लाइडर्स से परिणाम बाइनरी नहीं हैं, लेकिन कई संभावनाओं में से एक हैं।

शिक्षक का कुशल उपयोग

आप शिक्षक को मैन्युअल रूप से सभी निबंधों के शीर्ष X% और निचले X% को ग्रेड करने का सुझाव देते हैं (सहकर्मी के ग्रेडिंग के परिणाम से अनुमान लगाई गई रैंकिंग का उपयोग करके)। यह काम कर सकता है, लेकिन मुझे संदेह है कि यह शिक्षक के सीमित समय का सबसे कुशल उपयोग नहीं है। इसके बजाय, मैं एक वैकल्पिक दृष्टिकोण का सुझाव देना चाहूंगा।

मेरा सुझाव है कि आपके पास शिक्षक ग्रेड निबंधों का एक सबसेट है, सबसेट के साथ ध्यान से चुने गए सभी निबंधों के लिए सर्वोत्तम संभव अंशांकन प्रदान करने का प्रयास करें जो शिक्षक द्वारा वर्गीकृत नहीं किए गए थे। इसके लिए, मुझे लगता है कि यदि आप ऐसे निबंधों के नमूने का चयन कर सकते हैं जो संभावित उत्तरों की सीमा को कवर करते हैं (तो हर निबंध के लिए, कुछ शिक्षक-निबंध निबंध हैं जो इससे बहुत दूर नहीं हैं)। इसके लिए, मैं दो दृष्टिकोणों के बारे में सोच सकता हूँ जिन्हें आप आज़मा सकते हैं:

• क्लस्टरिंग। रेटिंग्स लें जो टेरी-ब्रैडली मॉडल द्वारा निर्मित हैं। यह एक सेट है$n$वास्तविक संख्या, प्रति निबंध एक वास्तविक संख्या। अब उन्हें क्लस्टर करें। मान लीजिए आप शिक्षक ग्रेड लेना चाहते हैं$k$निबंध। एक दृष्टिकोण का उपयोग करना होगा$k$निबंध को क्लस्टर करने के लिए (इन एक आयामी डेटा बिंदुओं पर) क्लस्टरिंग $k$ क्लस्टर, और फिर शिक्षक के ग्रेड के लिए प्रत्येक क्लस्टर से यादृच्छिक रूप से एक निबंध का चयन करें - या प्रत्येक क्लस्टर के "क्लस्टर हेड" शिक्षक ग्रेड है।

• सबसे पहले-बिंदु। एक विकल्प के एक सबसेट का चयन करने का प्रयास करना है$k$निबंध जो एक दूसरे से यथासंभव अलग हैं। "फर्स्ट-पॉइंट-प्रथम" (एफपीएफ) एल्गोरिथ्म इसके लिए एक स्वच्छ दृष्टिकोण है। मान लें कि आपके पास कुछ दूरी समारोह है$d(e_i,e_j)$ इससे आप दो निबंधों के बीच की दूरी निर्धारित कर सकते हैं $e_i$ तथा $e_j$: एक छोटी दूरी का मतलब है कि निबंध समान हैं, एक बड़ी दूरी का मतलब है कि वे भिन्न हैं। एक सेट दिया$S$ निबंध के, चलो $d(e,S) = \min_{e' \in S} d(e,e')$ में निकटतम निबंध से की दूरी हो । सबसे पहले बिंदु पर एल्गोरिथ्म निबंध, एक सूची की गणना करता है , इस प्रकार है: वह निबंध है जो (सभी निबंधों में से)$e$$S$$k$$e_1,e_2,\dots,e_k$$e_{i+1}$$d(e,\{e_1,e_2,\dots,e_i\})$$e$ ऐसा है कि $e \notin \{e_1,e_2,\dots,e_i\}$)। इस एल्गोरिदम का एक सेट उत्पन्न करता है$k$ निबंध जो एक-दूसरे से यथासंभव भिन्न हैं - जिसका अर्थ है कि शेष निबंधों में से प्रत्येक कम से कम एक के समान सुंदर है $k$। इसलिए, शिक्षक ग्रेड होना उचित होगा$k$ एफपीएफ एल्गोरिथ्म द्वारा चयनित निबंध।

मुझे संदेह है कि इनमें से किसी भी दृष्टिकोण में शिक्षक ग्रेड के शीर्ष X% और नीचे X% से अधिक सटीक अंक हो सकते हैं - क्योंकि बहुत अच्छे और सबसे खराब निबंध संभवतः बीच में निबंधों के द्रव्यमान के प्रतिनिधि नहीं हैं।

दोनों दृष्टिकोणों में, आप एक अधिक परिष्कृत दूरी फ़ंक्शन का उपयोग कर सकते हैं जो न केवल सहकर्मी ग्रेडिंग के आधार पर ताकत के अनुमानों को ध्यान में रखता है, बल्कि निबंध से प्राप्त अन्य कारक भी हैं। टेरी-ब्रैडली मॉडल के परिणाम को ध्यान में रखते हुए सबसे सरल संभव दूरी समारोह, यानी$d(e_1,e_2) = (s(e_1)-s(e_2))^2$ कहाँ पे $s(e)$ निबंध की ताकत है $e$जैसा कि सहकर्मी ग्रेडिंग के परिणामों के आधार पर टेरी-ब्रैडली मॉडल द्वारा अनुमान लगाया गया है। हालाँकि, आप कुछ अधिक परिष्कृत कर सकते हैं। उदाहरण के लिए, आप निबंध के बीच सामान्यीकृत लेवेंसहाइट संपादित दूरी की गणना कर सकते हैं$e_1$ तथा $e_2$(उन्हें टेक्स्ट स्ट्रिंग्स के रूप में मानते हुए, संपादित दूरी की गणना, और दो के बड़े भाग से विभाजित) और उपयोग करें कि दूरी फ़ंक्शन में एक और कारक के रूप में। आप निबंधों में शब्दों पर एक बैग-ऑफ-वर्ड मॉडल का उपयोग करते हुए फ़ीचर वैक्टर की गणना भी कर सकते हैं, और इन फ़ंक्शन वैक्टर (tf-idf का उपयोग करके सामान्यीकृत सुविधाओं के साथ) के बीच L2 दूरी का उपयोग करें। आप एक दूरी फ़ंक्शन का उपयोग कर सकते हैं जो कि ताकत में अंतर का एक भारित औसत है (टेरी-ब्रैडली अनुमानों के आधार पर), सामान्यीकृत संपादित दूरी, और कुछ और जो मददगार लगता है। इस तरह के अधिक परिष्कृत दूरी समारोह से क्लस्टरिंग एल्गोरिथ्म का चयन करने में मदद करने का एक बेहतर काम करने में मदद मिल सकती है जो सबसे अच्छे हैं$k$ शिक्षक ग्रेड के लिए निबंध।

Comments

मूल समस्या बयान के सापेक्ष का पालन करना मुश्किल है। क्या आप समान रूप से तुलना करने की समस्या को हल कर रहे हैं?

— vzn

@vzn, मैंने अपना उत्तर स्पष्ट करने के लिए संपादित किया है। यह प्रश्न इस बारे में लगता है कि ग्राफ़ का चयन कैसे किया जाता है, अर्थात, निबंधों के जोड़े जो छात्रों को सहकर्मी-ग्रेडिंग के दौरान तुलना करने के लिए कहते हैं। मेरे उत्तर की पहली छमाही उस प्रश्न का हल देती है। मेरे उत्तर के दूसरे भाग में बताया गया है कि सभी निबंधों को रैंक-ऑर्डर करने के लिए सहकर्मी-ग्रेडिंग के परिणामों का उपयोग कैसे करें, शिक्षक को यह चुनने में मदद करने के लिए कि कौन से निबंध ग्रेड में आते हैं।

— DW

Answer 2

इनपुट और आउटपुट के आपके बिल्कुल-सटीक विवरण और क्या गणना की जानी है, इसके आधार पर कुछ विचार (शायद आप उस सवाल को अपने दिमाग में संशोधित कर सकते हैं)।

स्पष्ट रूप से यह मूल रूप से "हॉट या न" "फेसमाश" समस्या है जो फेसबुक की स्थापना के साथ उत्पन्न हुई (जैसा कि फिल्म "सोशल नेटवर्क" में चित्रित किया गया है)। मूल "गेम" में, उपयोगकर्ताओं के पास दो तस्वीरें थीं और उन्हें अधिक आकर्षक महिला के बीच चुना गया था। आपके सिस्टम में, विकल्प दो निबंधों के बीच है, जिनमें से एक बेहतर है।

निकट-साइबर लोककथाओं से जाहिर तौर पर शतरंज मैच स्कोरिंग सिस्टम में उपयोग की जाने वाली एलो रैंकिंग एल्गोरिदम का उपयोग एक अभिसरण समाधान की गणना के लिए किया जा सकता है (इस मामले में मूल रूप से निर्देशित वरीयता ग्राफ के साथ संगत निबंधों के स्कोर का अनुमान है), लेकिन हेवेंट ने सावधान देखा है इसका विवरण / राइटअप।

एक अन्य विकल्प पेजरैंक का उपयोग करना है। निर्देशित लिंक ग्राफ के आधार पर किसी पृष्ठ के अनुमानित प्रभाव की गणना करता है। निबंधों को वरीयताएँ एक वेब पेज के लिंक के अनुरूप हैं।

समस्या भी प्रशस्ति पत्र विश्लेषण के समान है जहां वैज्ञानिक कागजात अन्य कागजात का हवाला देते हैं और कागजात के प्रभाव का अनुमान है। [लेकिन ध्यान दें पेजरैंक भी इस क्षेत्र में एक अग्रणी एल्गोरिथ्म है।]

[१] फेसमाश एल्गोरिथ्म के लिए एलो रैंकिंग का उपयोग क्यों करें? स्टैक ओवरफ़्लो

[२] एलो रैंकिंग सिस्टम , विकिपीडिया

[३] पेजरैंक , विकिपीडिया

[४] प्रशस्ति पत्र विश्लेषण , विकिपीडिया

Comments

एलो कैसे लागू करें का स्केच: खेल मैच निबंध तुलना की तरह हैं। निबंध में स्कोर होते हैं और उच्च स्कोरिंग निबंध को अधिक मैच जीतने चाहिए। एल्गोरिथ्म स्कोर की गणना करता है जो सभी मैचों के साथ सबसे अधिक सुसंगत हैं।

— vzn

ध्यान दें कि उद्धरण के विचार यह मानते हैं कि सभी तुलनाएँ समान रूप से सभी निबंधों में समान रूप से वितरित की जाती हैं अन्यथा यदि कोई निबंध अधिक तुलना में है तो यह उसके सापेक्ष अनुकूलता को बढ़ा सकता है। उस दृष्टिकोण का हिस्सा भी तुलनाओं को संतुलित कर रहा है, जिसे आप संदर्भित करते हैं, और सभी खिलाड़ियों पर मैच वितरित करने के प्रयास की समस्या के समान है ...

— vzn