क्षेत्रीय विज्ञान मेले के लिए विजेताओं का उचित निर्धारण कैसे करें?


9

मुझे हमारे विज्ञान मेले में विजेताओं की गणना करने के सही तरीके का पता लगाने में मदद की आवश्यकता है। मैं नहीं चाहता कि मेरी अज्ञानता आँकड़ों और गणित को एक बच्चे की जीत की संभावनाओं के रास्ते में ले जाए। (छात्रवृत्ति और उन्नति के बहुत से लाभ दांव पर)। आपकी सहायता के लिये पहले से ही धन्यवाद।

सबसे पहले हम कैसे सेट अप की एक छोटी पृष्ठभूमि:

हमारे मेले में आम तौर पर लगभग 600 छात्र प्रोजेक्ट होते हैं। ये परियोजनाएं व्यक्तिगत छात्रों या छात्रों की एक टीम द्वारा पूरी और प्रस्तुत की जाती हैं। एक टीम में 2 या 3 बच्चे शामिल हो सकते हैं।

छात्रों को दो प्रभागों में बांटा गया है: प्राथमिक (ग्रेड 6-8) और माध्यमिक (ग्रेड 9-12)। प्रत्येक डिवीजन की अलग-अलग श्रेणियां हैं: प्राथमिक परियोजनाओं के लिए 9 श्रेणियां और माध्यमिक डिवीजन परियोजनाओं के लिए 17 श्रेणियां।

प्रत्येक मंडल में प्रत्येक श्रेणी के लिए प्रथम, द्वितीय और तृतीय स्थान के लिए पुरस्कार दिए जाते हैं। तीसरे स्थान से परे प्लेसमेंट के लिए माननीय उल्लेख पुरस्कार भी दिए जाते हैं।

प्रत्येक परियोजना के लिए, हम 4 से 6 न्यायाधीशों के बीच असाइन करते हैं। हम न्यायाधीशों की योग्यता, उनकी श्रेणी वरीयता और उनके पिछले जजिंग अनुभव के आधार पर अपने कार्य करते हैं। (अधिक अनुभवी वरिष्ठ प्रभाग परियोजनाओं को सौंपा गया है)।

कैसे न्यायाधीश एक परियोजना स्कोर करते हैं:

प्रत्येक परियोजना के लिए 5 मानदंड हैं जिन्हें अंक दिए गए हैं। प्रत्येक मानदंड को 1 और 20 अंक के बीच प्रदान किया जा सकता है। सामान्य मानदंड हैं:

  • कुल मिलाकर उद्देश्य + परिकल्पना + संसाधनों का उपयोग ( 1..20 )
  • डिजाइन + प्रक्रियाएं ( 1..20 )
  • डेटा संग्रह + परिणाम ( 1..20 )
  • चर्चा + निष्कर्ष ( 1..20 )
  • साक्षात्कार ( 1..20 )

टीम प्रोजेक्ट्स के लिए छठे मानदंड का आकलन "टीम डिडक्शन" के रूप में किया जाता है, जहां एक न्यायाधीश टीममेट्स के लिए अंक काट सकता है ( 15 तक ) जो भाग नहीं लेते थे या नहीं दिखाते थे।

  • टीम कटौती ( 0 ..- 15 )

तो एक जज हर प्रोजेक्ट को 5 से 100 अंकों के बीच स्कोर कर सकता है। यदि परियोजना एक टीम परियोजना है, तो स्कोर को 15 अंकों से कम किया जा सकता है।

कच्चा डेटा:

कुछ घंटों के दौरान हम जजों से 3,600 अंक तक जमा करते हैं। इन अंकों को एक डेटाबेस में दर्ज किया जाता है जहाँ मैं सभी प्रकार की छँटाई, औसत, मानक विचलन गणना इत्यादि कर सकता हूँ। मुझे अभी यह नहीं पता है कि मुझे इन कच्चे अंकों के साथ क्या करना चाहिए। अभी, मैं प्रत्येक प्रोजेक्ट के लिए एक सरल औसत कर रहा हूं, लेकिन मुझे चिंता है कि मैं जज बायसेस, टीम कटौती, या किसी भी अन्य चीजों के लिए समायोजित नहीं कर रहा हूं जो मैं विचार नहीं कर रहा हूं।

वांछित परिणाम:

अंत में, मैं स्कोर को संसाधित करना चाहता हूं ताकि मैं प्रत्येक श्रेणी के लिए पहले, दूसरे और तीसरे स्थान की परियोजनाओं को पुरस्कार दे सकूं और फिर बाद के स्थानों के लिए सम्मानजनक उल्लेख पुरस्कारों को प्राप्त कर सकूं। मैं आश्वस्त होना चाहूंगा कि पदों की सही गणना की गई थी और जीतने वाले बच्चे मान्यता (और पुरस्कार) के योग्य हैं।

मेरे लंबे प्रश्न को पढ़ने और आपकी मदद के लिए बहुत बहुत धन्यवाद। मुझे आपके किसी भी अनुवर्ती प्रश्नों का उत्तर देने में खुशी होगी।


1
दिलचस्प और कठिन प्रश्न और आपने कुछ प्रमुख मुद्दों पर अपनी उंगली डाल दी है। कुल कितने जज हैं, तो प्रत्येक जज कितने प्रोजेक्ट्स जज करेगा? (रेंज के साथ-साथ औसत का कुछ विचार अच्छा होगा)। इसके अलावा, क्या 26 श्रेणियां परस्पर अनन्य हैं? मेरे पास सबसे अच्छा उत्तर है कि प्रत्येक परियोजना के लिए औसत करने के लिए सबसे अच्छा उत्तर हो सकता है, लेकिन न्यायाधीशों के लिए समायोजित करना संभव हो सकता है। मैं ब्याज के साथ जवाब पढ़ूंगा!
पीटर एलिस

आपकी प्रारंभिक रुचि के लिए धन्यवाद। मैंने नीचे उत्तर में अधिक जानकारी जोड़ी है। यदि आपके पास कोई अंतर्दृष्टि है, तो मैं आपकी मदद की सराहना करता हूं।
माइक डेवी

जवाबों:


2

मुझे लगता है कि "उत्तर" संभवतः यहां मेरे विचारों के लिए एक उदार लेबल है। मुझे खोजपूर्ण डेटा विश्लेषण पसंद है, और मैं एक बहुत बड़ा बॉक्सप्लॉट फैन हूं, ताकि मेरी टिप्पणियों में परिलक्षित हो।

नमस्ते, यह बहुत स्कोर है। :) ऐसा लगता है कि आपके पास 600 में से कम से कम 78 परियोजनाएं शीर्ष 3 ( [9+17]x3) और माननीय उल्लेखों में मिल रही हैं । आम तौर पर मैं स्कोरिंग का ऑडिट करने के लिए प्रत्येक श्रेणी के शीर्ष और मध्य से नमूना कहना चाहूंगा, लेकिन आपके पास जो संख्या है, उसके कारण आपके मामले में बहुत ही अच्छा होगा - और यह सिर्फ आप स्कोरिंग को अंतिम रूप दे रहे हैं। :)

मुझे आशा है कि आपके पास आपके लिए एक आँकड़े पैकेज उपलब्ध हो सकता है, क्योंकि मेरे पास कुछ सुझाव हैं जिनका आप नीचे उपयोग कर सकते हैं।

क्या आपने प्रत्येक श्रेणी के भीतर स्कोर के प्रसार को देखा है? क्या शीर्ष 3, या 5, या 8 परियोजनाएं स्कोर के बहुत करीब हैं? यह सुझाव देगा कि परियोजनाओं की गुणवत्ता बहुत समान है और आप जो भी करते हैं, उसमें कोई फर्क नहीं पड़ता है, शायद अंतिम स्कोर के आसपास कम से कम मनमानी की धारणा है।

मुझे यकीन नहीं है कि प्रत्येक न्यायाधीश कितने प्रोजेक्ट स्कोर करता है। मान लें कि वे एक उचित संख्या स्कोर करते हैं (कहते हैं> 10, हालांकि उच्चतर यहां बेहतर है), प्रत्येक न्यायाधीश के लिए आप प्रत्येक परियोजना को दिए गए कुल स्कोर के लिए औसत और इंटरक्वेर्टाइल श्रेणी की गणना कर सकते हैं (आपके पास इतने सारे गुण हैं, यह शायद नहीं है उनमें से प्रत्येक को व्यक्तिगत रूप से देखने के लायक)। क्या कोई भी न्यायाधीश विशेष रूप से उच्च स्कोर, या विशेष रूप से कम स्कोर दे रहा है? क्या कोई भी न्यायाधीश बीच-बीच में लगातार स्कोरिंग होता दिख रहा है, इसलिए वे संभवतः 10s दे रहे हैं, यह तुलनात्मक रूप से छोटी इंटरक्वेर्टाइल रेंज और संभावित मानों की श्रेणी के मध्य के आसपास कुल स्कोर मध्यिका द्वारा दिखाया जा सकता है।

टीम की परियोजनाओं के लिए, आप कुल स्कोर के आधार पर उनके रखने की तुलना कर सकते हैं, उनके द्वारा टीम में कटौती लागू होने के बाद। क्या टीम कटौती उन टीमों को प्रभावित कर रही है जो अन्यथा शीर्ष 3 में होंगी?

ये सिर्फ आपको शुरू करने के लिए सुझाव हैं। मुझे लगता है कि इन रेखाओं के साथ डेटा को देखने से आपको कुछ अच्छे संकेतक मिलेंगे कि प्लेकिंग उचित लगती है या नहीं।

अद्यतन: यह एक दिलचस्प कठिन समस्या है जो आपके पास है। ऐसा लगता है कि प्रत्येक व्यक्ति न्यायाधीश हमारे लिए पर्याप्त परियोजनाओं का आकलन नहीं करता है, ताकि प्रत्येक न्यायाधीश के लिए एक भार कारक के साथ आने में सक्षम हो (न्यायाधीश पक्षपात का हिसाब लेने के लिए), क्योंकि हमारे पास अंतर को मापने में सक्षम होने के लिए पर्याप्त डेटा नहीं है न्यायाधीशों के बीच विश्वसनीयता, ऐसा करने के लिए एक ही परियोजनाओं पर स्कोर करने वाले न्यायाधीशों के लिए पर्याप्त ओवरलैप नहीं है। क्या आपने शीर्ष कुछ परियोजनाओं के लिए स्कोर रेंज को देखा - क्या उनके और निचले स्कोरिंग प्रोजेक्ट्स (प्राकृतिक सीमाओं?) के बीच स्पष्ट अंतर थे, स्कोर में शीर्ष परियोजनाएं कितनी करीब थीं?

जिज्ञासा से बाहर, न्यायाधीशों को स्कोरिंग मानदंड दिए गए थे, इसलिए उनके पास प्रत्येक मानदंड पर स्कोर देने के तरीके में बहुत कम लचीलापन था (उदाहरण के लिए एक शून्य परिकल्पना प्रदान करने के लिए 1 अंक दें, एक या अधिक वैकल्पिक परिकल्पना प्रदान करने के लिए 1 बिंदु दें ...) या क्या उन्हें सिर्फ उन अंकों की कुल संख्या का पता था, जिन्हें वे पुरस्कार दे सकते थे और बाकी को छोड़ दिया गया था? यदि उनके पास स्कोरिंग गाइड होता, तो मुझे अधिक विश्वास होगा कि स्कोर यथोचित सटीक थे।


1
मैं भी स्कोर के प्रसार के लिए उत्सुक हूं - क्या स्पष्ट रूप से कुछ "शीर्ष स्कोर" हैं, या क्या कोई गड़बड़ है और जो शीर्ष पर आता है वह प्रक्रिया के संदर्भ में थोड़ा ... अपारदर्शी है। कॉलेज प्रवेश प्रक्रिया की तरह इन बच्चों को बाद में अनुभव होगा :)
Fomite

आपके विचारों के लिए धन्यवाद मिशेल। मैं वास्तव में समय लेने के लिए आपकी सराहना करता हूं। आपके सवालों का जवाब देने के लिए, न्यायाधीश केवल बहुत कम संख्या में परियोजनाओं का न्याय करते हैं। हमारे पास प्रत्येक डिवीजन के लिए न्यूनतम है: प्राथमिक के लिए 4 बार और माध्यमिक के लिए 5 या 6 बार (हाई स्कूल के जूनियर्स के लिए 5 बार और सीनियर्स के लिए 6 बार)।
माइक डेवी

मुझे उपरोक्त को स्पष्ट करने की आवश्यकता है। न्यूनतम स्कोर प्रति परियोजना है, न कि कितनी बार न्यायाधीश मेले के दौरान परियोजनाओं को स्कोर करेंगे। एक विशिष्ट न्यायाधीश मेले के दौरान 8 और 15 परियोजनाओं के बीच कहीं भी न्याय करेगा। यह संख्या न्यायाधीशों की उपलब्धता, उनकी योग्यता, मदद करने की इच्छा, आदि पर निर्भर करती है
माइक डेवी

2
अच्छा जवाब मिशेल। मुझसे कुछ विचार: 1) निश्चित रूप से न्यायाधीशों को सामान्य मानकों को प्रोत्साहित करने की कोशिश करने के लिए कुछ प्रकार के रूब्रिक देते हैं; 2) यदि संभव हो तो प्रति परियोजना न्यायाधीशों की एक ही संख्या रखने की कोशिश करें (जैसा कि अन्यथा कम न्यायाधीशों वाली परियोजनाओं में एक उच्च विचरण होगा और इसलिए शीर्ष पर पहुंचने की अधिक संभावना है - या नीचे) और 3) मुझे लगता है कि आपको करना होगा बस एक औसत का उपयोग करें, लेकिन यदि आपके पास विशेषज्ञता और सॉफ्टवेयर है तो आप एक मिश्रित प्रभाव मॉडल को यादृच्छिक प्रभाव के रूप में जज कर सकते हैं और यह देखते हैं कि क्या यह परिणाम बदलता है। अगर यह करता है तो क्या होगा शायद अभी भी औसत का उपयोग करें ....
पीटर एलिस

सभी के इनपुट के लिए फिर से धन्यवाद। थोड़ी देर के लिए मेरे सिर में इस तरह से दस्तक देने के बाद, मैंने यह देखने का फैसला किया कि अंतरराष्ट्रीय स्तर पर कैसे प्रोजेक्ट बनाए जाते हैं (हमारे मेले के ऊपर एक प्रतियोगिता कदम)। अंतर्राष्ट्रीय मेले को ISEF कहा जाता है। हम अपने शीर्ष 5 छात्रों को प्रत्येक वर्ष ISEF में भेजते हैं।
माइक डेवी
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.