मेरे पास कई स्वतंत्र कोडर्स हैं जो एक समय श्रृंखला में घटनाओं की पहचान करने की कोशिश कर रहे हैं - इस मामले में, आमने-सामने की बातचीत का वीडियो देख रहे हैं और विशेष रूप से अशाब्दिक व्यवहार (जैसे, सिर हिलाते हुए) और प्रत्येक के समय और श्रेणी को कोडिंग करते हैं। प्रतिस्पर्धा। इस डेटा को उच्च नमूना दर (30 फ्रेम / सेकंड) के साथ असतत-समय श्रृंखला के रूप में या निरंतर-समय श्रृंखला के रूप में माना जा सकता है, जो भी काम करना आसान है।
मैं अंतर-रेटर विश्वसनीयता के कुछ माप की गणना करना चाहता हूं, लेकिन मुझे उम्मीद है कि जब घटनाएं हुईं तो कुछ अनिश्चितता होगी ; यह है, मुझे उम्मीद है कि एक कोडर हो सकता है, उदाहरण के लिए, कोड है कि एक विशेष आंदोलन शुरू किया एक तिमाही दूसरे कोडर से सोचा था कि यह शुरू कर दिया। ये दुर्लभ घटनाएं हैं, अगर यह मदद करता है; आम तौर पर घटनाओं के बीच कम से कम कई सेकंड (सैकड़ों वीडियो फ्रेम)।
क्या अंतर-रेटर विश्वसनीयता का आकलन करने का एक अच्छा तरीका है जो इस प्रकार के समझौते और असहमति दोनों को देखता है: (1) क्या चूहे इस बात पर सहमत होते हैं कि क्या घटना हुई (यदि कोई है), और (2) क्या वे सहमत हैं जब यह हुआ? दूसरा मेरे लिए महत्वपूर्ण है क्योंकि मैं बातचीत में होने वाली अन्य चीजों के सापेक्ष इन घटनाओं के समय को देखने में दिलचस्पी रखता हूं, जैसे लोग क्या कह रहे हैं।
मेरे क्षेत्र में मानक अभ्यास चीजों को समय के स्लाइस में विभाजित करने के लिए प्रतीत होता है, 1/4 सेकंड का एक या तो कहते हैं, प्रत्येक कोडर को प्रति टाइम स्लाइस की रिपोर्ट की गई घटनाओं को एकत्र करें, फिर कोहेन के कप्पा या कुछ इसी तरह की गणना करें। लेकिन स्लाइस अवधि का विकल्प तदर्थ है, और मुझे घटनाओं के समय में अनिश्चितता का अच्छा विचार नहीं है।
अब तक का सबसे अच्छा विचार यह है कि मैं किसी प्रकार की विश्वसनीयता वक्र की गणना कर सकता हूं; खिड़की के आकार के एक कार्य के रूप में कप्पा जैसा कुछ है जिसके भीतर मैं दो घटनाओं को एक ही समय में कोडित होने के रूप में मानता हूं। मुझे यकीन नहीं है कि वहाँ से कहाँ जाना है, हालांकि ...