इंटेलिजेंस स्क्वायर्ड स्कोरिंग और विनर निर्धारण

एक एनपीआर पॉडकास्ट है जिसे इंटेलिजेंस स्क्वॉयर कहा जाता है। प्रत्येक एपिसोड कुछ विवादास्पद बयान पर लाइव डिबेट का प्रसारण है जैसे कि "दूसरा संशोधन अब प्रासंगिक नहीं है" या "कॉलेज परिसरों पर सकारात्मक कार्रवाई अच्छे से अधिक नुकसान करती है"। चार प्रतिनिधियों ने बहस की- दो प्रस्ताव के लिए और दो खिलाफ।

यह निर्धारित करने के लिए कि किस पक्ष ने जीत हासिल की, बहस से पहले और बाद में दोनों को प्रदूषित किया। निरपेक्ष प्रतिशत के संदर्भ में अधिक प्राप्त पक्ष को विजेता माना जाता है। उदाहरण के लिए:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

सहज रूप से, मुझे लगता है कि सफलता का यह उपाय पक्षपातपूर्ण है और मैं सोच रहा हूं कि कोई कैसे दर्शकों को निष्पक्ष तरीके से विजेता का निर्धारण करने के लिए चुनेगा।

तीन तरीके जिन्हें मैं तुरंत वर्तमान पद्धति से देखता हूं:

चरम सीमा पर, यदि एक पक्ष 100% समझौते से शुरू होता है, तो वे केवल टाई या हार सकते हैं।
यदि कोई अनिर्णायक नहीं हैं, तो कम प्रारंभिक समझौते के साथ पक्ष को एक बड़ा नमूना आकार के रूप में देखा जा सकता है जिसमें से आकर्षित करना है।
अनिर्दिष्ट पक्ष वास्तव में अनिर्दिष्ट होने की संभावना नहीं है। यदि हम मानते हैं कि दोनों पक्ष समान रूप से ध्रुवीकृत हैं, तो ऐसा लगता है कि अघोषित आबादी के बारे में हमारी पूर्व मान्यता होनी चाहिए यदि प्रत्येक पक्ष को लेने के लिए मजबूर किया गया हो। । $\text{Beta}(\text{# For}, \text{# Against})$

यह देखते हुए कि हमें दर्शकों के मतदान पर निर्भर रहना है, क्या जीतने के लिए न्याय करने का अधिक उचित तरीका है?

bayesian rating

— वेस्ले तन्से
स्रोत

मुझे लगता है कि "फॉर-अगेंस्ट रेशियो- एवरीथिंग" जैसा कुछ "फॉर-अगेंस्ट रेशो-बाइसेफ" (मूल रूप से ऑड्स रेशियो) से बेहतर होगा। यदि यह 1 से अधिक है, तो आपने बाधाओं को सुधार दिया, यदि यह 1 से कम है, तो आपने नहीं किया।

— Glen_b -Reinstate मोनिका

यह मेरा शुरुआती विचार भी था, हालांकि मैंने इसे प्रतिशत लाभ के रूप में तैयार किया। मुझे यकीन नहीं है कि यह कैसे साबित किया जाए कि यह एक निष्पक्ष अनुमान है।

— वेस्ले तन्से

एक निष्पक्ष अनुमान क्या? मुझे यकीन नहीं है कि निष्पक्षता इसके लिए विशेष रूप से वांछनीय संपत्ति है।

— Glen_b -Reinstate Monica

प्रत्येक पक्ष ने कितना अच्छा किया। आदर्श रूप से हम भीड़ की प्रारंभिक प्रतिक्रिया के आधार पर परिणाम को पूर्वाग्रह नहीं करना चाहेंगे। या मैं इस बारे में पूरी तरह से गलत सोच सकता हूँ ...

— वेस्ले तन्से

आह, मुझे लगता है कि हम पूर्वाग्रह का उपयोग कुछ अलग तरीके से कर रहे हैं। मेरे सुझाव है कि अर्थ में पक्षपाती है या नहीं क्या पर निर्भर करता है वास्तव में आप को मापने के लिए कोशिश कर रहे हैं। एक लोकप्रिय उपाय से, यह पूरी तरह से उस मुद्दे से निपटता है।

— Glen_b -Reinstate मोनिका

जवाबों:

आपकी चिंताओं को अच्छी तरह से स्थापित किया गया है। दुर्भाग्य से, इस मुद्दे को निपटाने के कई रक्षात्मक, उद्देश्यपूर्ण तरीके हैं और वे एक दूसरे के साथ संघर्ष कर सकते हैं। निम्न विश्लेषण यह तय करने के लिए एक रूपरेखा प्रदान करता है कि आप परिणाम का मूल्यांकन कैसे करना चाहते हैं और यह दर्शाता है कि स्थिति की गतिशीलता के बारे में आपके द्वारा किए गए अनुमानों पर आपका निष्कर्ष कितना निर्भर है।

शुरुआती दर्शकों पर हमारा बहुत कम या कोई नियंत्रण नहीं है। यह एक बड़ी आबादी (जैसे सभी दर्शकों) का प्रतिनिधित्व नहीं कर सकता है जिसमें हम अधिक रुचि रखते हैं। इसलिए, पूर्ण राय की संख्या बहुत कम प्रासंगिकता का कर रहे हैं: क्या मामले हैं दरों , जिस पर लोगों को अपने विचार बदल सकती। (इन दरों से हम अनुमान लगा सकते हैं कि सुनने वाली आबादी कैसे बदल सकती है, उनके शुरुआती विचारों के बारे में जानकारी देते हुए, तब भी जब सुनने वाले दर्शकों में विचारों का अनुपात स्टूडियो दर्शकों से अलग था जो मतदान किया गया था।)

इसलिए परिणाम में छह संभावित परिवर्तन और परिवर्तन की छह संबद्ध दरें शामिल हैं:

"के लिए," जिसे मैं के साथ सूचकांक होगा जो अपना मन बदल और के खिलाफ या तो खत्म कर सकते हैं (सूचकांक के साथ दर पर) या दुविधा में पड़ा हुआ (सूचकांक के साथ दर पर) । $1,$ $2$ $a_{12}$ $3$ $a_{13}$
"के खिलाफ" जो "के लिए" करने के लिए अपने मन बदल सकते हैं दर पर या दर पर "दुविधा में पड़ा हुआ" । $a_{21}$ $a_{23}$
Undecideds "के लिए" करने के लिए उनके दिमाग को बदल सकते हैं दर पर या दर पर "खिलाफ" $a_{31}$ $a_{32}.$

परिभाषित , के लिए सूचकांक के लोगों का अनुपात होना करने के लिए उनके दिमाग नहीं बदल रहा है। $a_{ii}$ $i=1,2,3,$ $i$

मैट्रिक्स के कॉलम गैर नकारात्मक संख्या जो एकता को जोड़ना होगा (यह मानते हुए हर कोई जो प्रारंभिक सर्वेक्षण के भी जवाब है अंतिम एक का जवाब) होते हैं। दर्शकों में प्रारंभिक वितरण, से अंतिम वितरण में संक्रमण के आधार पर निर्धारित करने के लिए छह स्वतंत्र मूल्यों को छोड़ देता है $\mathbb{A}=(a_{ij})$ $x=(0.18, 0.42, 0.40)$ $y=(0.23, 0.49, 0.28) = \mathbb{A}x$ । यह (विवश) रेखीय समीकरणों की एक अल्पविकसित प्रणाली है, जो किसी समाधान को प्राप्त करने में जबरदस्त लचीलापन देती है। आइए तीन उपाय देखें।

समाधान 1: कम से कम बदलें

हम संक्रमण मैट्रिक्स को कुछ अर्थों में जितना संभव हो उतना छोटा होने के लिए कह सकते हैं । एक तरीका उन लोगों के कुल अनुपात को कम करना है जो अपनी राय बदलते हैं। यह समाधान के साथ उदाहरण में पूरा किया गया है $\mathbb{A}$

A = (\begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \end{array}) ।

$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$

यानी, अनिर्णीत के लिए समाप्त हो गया, उनमें से के खिलाफ समाप्त हो गया, और मूल मंचों या विरोधों में से किसी ने भी अपना विचार नहीं बदला। कौन जीता? स्पष्ट रूप से, क्योंकि बहस ने अनिर्णीतों के एक बड़े अनुपात को "विरुद्ध" राय देने के लिए राजी कर लिया। $12.5\%$ $17.5\%$

यह मॉडल उपयुक्त होगा जब आप मानते हैं कि प्रारंभिक गुटों को उनकी राय के लिए कठोर किया जाता है और केवल लोगों को अपने मन को बदलने की संभावना होती है जो शुरू में अनिर्दिष्ट घोषित होते हैं।

समाधान 2: कम से कम वर्ग

एक गणितीय सरल उपाय मैट्रिक्स को मिल रहा है जिसका वर्ग आदर्श जितना संभव हो उतना छोटा है: यह सभी नौ संक्रमण संभावनाओं के वर्गों के योग को कम करता है (जिसमें उन अनुपातों का प्रतिनिधित्व करता है जो अपने मन को बदलते नहीं हैं)। इसका समाधान (दो दशमलव स्थानों तक) है $\mathbb{A}$ $L^2$ $||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$ $a_{ii}$

A = (\begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$

पंक्तियों की तुलना करते हुए, हम देखते हैं कि यद्यपि "विरुद्ध" पक्ष का "के लिए" में बदलने के लिए राजी हो गया था (और एक और अनिर्दिष्ट होने के लिए पर्याप्त रूप से भ्रमित थे), पूरी तरह से "पक्ष" के लिए परिवर्तित किया गया था (और अन्य भ्रमित थे)। मूल अनिर्णीतियों को "विरुद्ध" पक्ष ( बनाम ) में परिवर्तित किया गया । अब "खिलाफ" स्पष्ट विजेता है। $22\%$ $27\%$ $41\%$ $31\%$ $50\%$ $22\%$

कम से कम चौकोर समाधान आम तौर पर प्रत्येक समूह में बहुत सारे बदलाव करता है। (समस्या की कमी के अधीन रहते हुए, यह करने के लिए सभी को समान परिवर्तन करने के लिए कोशिश कर रहा है यह आबादी के एक यथार्थवादी चित्रण से मेल खाती है या नहीं यह निर्धारित करने के लिए मुश्किल है।), लेकिन यह क्या हुआ की एक गणितीय संभव चित्र प्रदर्शन करता है बहस के दौरान। $1/3$

समाधान 3: दंडित कम से कम वर्ग

उस दर को नियंत्रित करने और सीमित करने के लिए जिस पर लोग अपनी राय बदलते हैं, चलो कम से कम वर्गों के उद्देश्यों को दंडित करते हैं, जिसमें ऐसे शब्द शामिल हैं जो किसी भी तरह के विचार को बदलने के पक्ष में हैं। ये के विकर्ण पर शर्तें हैं । हम यह मान सकते हैं कि किसी ऐसे व्यक्ति की राय बदलना कठिन है जो अनिर्णीत नहीं है, इसलिए उत्तरार्द्ध को कम करना अच्छा होगा। यह अंत करने के सकारात्मक वजन परिचय और पाते हैं है जिसके लिए कम से कम है। $\mathbb{A}$ $\omega_i$ $\mathbb{A}$

| | A | |_{2}^{2} - ω_{1} a_{11} - ω_{2} a_{22} - ω_{3} a_{33}

$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$

उदाहरण के लिए, का चयन करने के वजन से 50% से undecideds downweight जाने । (गोल) घोल है $\omega = (1,1,1/2)$

ए = (\begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \end{array}) ।

$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$

यह समाधान पहले दो के बीच मध्यवर्ती है: प्रतिबद्ध पक्षों के एक छोटे से अनुपात ने उनके दिमाग को बदल दिया या अनिर्णीत हो गया, जबकि अनिर्दिष्ट लोगों ने निर्णय लिया ( लिए और खिलाफ)। हालांकि, एक बार फिर, परिणाम स्पष्ट रूप से "विरुद्ध" गुट का पक्ष लेते हैं। $40\%$ $17\%$ $23\%$

सारांश

राय बदलने के इस परिवर्तन मॉडल में, अधिकांश समाधान विधियां इस विशेष उदाहरण में "विरुद्ध" पक्ष के लिए एक जीत का संकेत देती हैं। परिवर्तन की गतिशीलता के बारे में किसी भी मजबूत राय को अनुपस्थित करें, जो "जीता" पक्ष का सुझाव देता है।

$(.20,.60,.20)$ $(.30,.40,.30)$ $20\%$ $30\%$ $40\%$ $30\%$ । हालांकि, (गोल) कम से कम वर्गों के समाधान में कम से कम सुझाव है कि एक ऐसा तरीका हो सकता है जिसमें बहस ने दूसरी तरफ थोड़ा पक्ष लिया! यह है

ए = (\begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \end{array}) ।

$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$

$36\%$ $29\%$ $(36\%)$ $32\%$

अतिरिक्त टिप्पणियां

$\mathbb{A}$

— व्हीबर
स्रोत

विस्तृत पोस्ट के लिए धन्यवाद! मुझे चिंता है कि हालांकि ये सभी तरीके इस संभावना पर विचार नहीं करते हैं कि अनिर्दिष्ट वास्तव में अनिर्दिष्ट नहीं हैं।

— वेस्ले तन्से

आपके पास उस संभावना के बारे में आपकी चिंता को शामिल करने का लचीलापन है। आप अभी भी (मजबूत) धारणा बनाने की आवश्यकता के साथ फंस गए हैं: यदि आपको लगता है कि वे वास्तव में तय नहीं किए गए हैं, तो आपको यह अनुमान लगाना होगा कि कौन सा अनुपात "के लिए" है और कौन सा अनुपात "के खिलाफ" (और यह मान लेना मूर्खतापूर्ण होगा आनुपातिक संख्या के लिए समान हैं: के खिलाफ संख्या!) इस तरह के अनुमान को दूर करने का एक तरीका है - यदि केवल यह देखने के लिए कि परिणाम क्या दिख सकता है - एक ऐसा समाधान चुनना है जो एक अनिर्णीत व्यक्ति द्वारा राय बदलने पर पुरस्कार देता है।

— whuber

यह मानते हुए कि दोनों पक्ष समान रूप से ध्रुवीकरण कर रहे हैं, क्या आपके अप्रशिक्षित लोगों का MAP अनुमान इसके लिए नहीं होगा: अनुपात के खिलाफ?

— वेस्ले तन्से

ज्यादातर परिस्थितियों में ऐसी धारणा का समर्थन करना मुश्किल होगा। उदाहरण के लिए, कम-सूचित लोगों के पास अनिर्दिष्ट होने की अधिक प्रवृत्ति हो सकती है - और दो पदों में से एक का पक्ष लेने के लिए अंततः एक बड़ी प्रवृत्ति भी हो सकती है। एक "समान रूप से ध्रुवीकरण" धारणा का प्रभाव इतना मजबूत हो सकता है (विशेषकर तब जब अनिर्णयों का एक बड़ा अनुपात होता है) बिंदु के बगल में विश्लेषण प्रस्तुत करने के लिए: परिणाम मुख्य रूप से उस धारणा का परिणाम होगा। आपके लिए विचार की एक उत्पादक रेखा अशिक्षित लोगों के बारे में अतिरिक्त जानकारी जुटाने पर विचार कर सकती है।

— whuber

पी ({के लिये}_{उपरांत}, {विरुद्ध}_{उपरांत}, {दुविधा में पड़ा हुआ}_{उपरांत} | {के लिये}_{इससे पहले}, {विरुद्ध}_{इससे पहले}, {दुविधा में पड़ा हुआ}_{इससे पहले})

$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$

0.5

$0.5$ दोनों टीमों के लिए। ध्यान दें कि निर्णय नियम के लिए अभी भी कई विकल्प हैं क्योंकि परिणाम स्थान 2-आयामी है लेकिन, अगर हम पूर्वानुमान मॉडल पर भरोसा करते हैं, तो यह प्रतियोगिता की निष्पक्षता के मामले में कोई फर्क नहीं पड़ता। उदाहरण के लिए, कोई भी फैसला कर सकता है कि बहस के बाद फॉर-अगेंस्ट अनुपात उसके पूर्वानुमानवादी माध्यिका (पहले-चुनाव पर सशर्त) से अधिक हो जाने पर, फॉर-टीम जीत जाती है।

भविष्य कहनेवाला मॉडल बनाने के लिए विचार

\begin{aligned} (पी (के लिये | पहले के लिए), पी (उद | पहले के लिए), पी (एजी | पहले के लिए)) & ~ डी मैं आर (ए_{च च}, ए_{यू च}, ए_{ए च}) \\ (पी (के लिये | ud पहले), पी (उद | ud पहले), पी (एजी | ud पहले)) & ~ डी मैं आर (ए_{च यू}, ए_{यू यू}, ए_{ए यू}) \\ (पी (के लिये | अग से ​​पहले), पी (उद | अग से ​​पहले), पी (एजी | अग से ​​पहले)) & ~ डी मैं आर (ए_{च ए}, ए_{यू ए}, ए_{ए ए}), \end{aligned}

$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$

P

$P$

a

$a$

a

$a$

a

$a$

a_{f f} = a_{a a}

$a_{ff}=a_{aa}$

a_{f u} = a_{a u}

$a_{fu}=a_{au}$

$a$

— जुहो कोक्कल
स्रोत

क्या आप एक उदाहरण के साथ एक पूर्वानुमान मॉडल के विचार पर विस्तार कर सकते हैं?

— वेस्ले तन्से

@WesleyTansey मैंने महसूस किया कि मेरे उत्तर के प्रयोजनों के लिए एक पूर्वानुमान मॉडल के निर्माण के लिए संक्रमण की संभावनाओं पर विचार करने के लिए व्हीबर के विचार का उपयोग किया जा सकता है। मैंने कुछ प्रारंभिक विचारों को शामिल करने के लिए अपने उत्तर को संपादित किया, लेकिन मैंने इसे लागू करने की कोशिश नहीं की है और न ही मैं वर्तमान में योजना बना रहा हूं।

— जुहो कोक्कल