सिम्पसन के विरोधाभास को कैसे हल करें?


35

सिम्पसन का विरोधाभास दुनिया भर में परिचयात्मक सांख्यिकी पाठ्यक्रमों में चर्चित एक क्लासिक पहेली है। हालाँकि, मेरा पाठ्यक्रम केवल इस बात पर ध्यान देना था कि एक समस्या मौजूद थी और एक समाधान प्रदान नहीं करता था। मैं जानना चाहूंगा कि विरोधाभास को कैसे हल किया जाए। यही है, जब एक सिम्पसन के विरोधाभास के साथ सामना किया जाता है, जहां दो अलग-अलग विकल्पों के लिए सबसे अच्छा विकल्प होने के लिए प्रतिस्पर्धा करना प्रतीत होता है कि कैसे डेटा का विभाजन किया जाता है, किस विकल्प को चुनना चाहिए?

समस्या को ठोस बनाने के लिए, आइए प्रासंगिक विकिपीडिया लेख में दिए गए पहले उदाहरण पर विचार करें । यह गुर्दे की पथरी के इलाज के बारे में एक वास्तविक अध्ययन पर आधारित है।

यहाँ छवि विवरण दर्ज करें

मान लीजिए मैं एक डॉक्टर हूं और एक परीक्षण से पता चलता है कि एक मरीज को गुर्दे की पथरी है। केवल तालिका में दी गई जानकारी का उपयोग करते हुए, मैं यह निर्धारित करना चाहूंगा कि क्या मुझे उपचार ए या उपचार बी को अपनाना चाहिए। ऐसा लगता है कि अगर मुझे पथरी का आकार पता है, तो हमें उपचार ए को प्राथमिकता देनी चाहिए लेकिन यदि हम नहीं करते हैं, तो हमें उपचार बी को प्राथमिकता देना चाहिए।

लेकिन एक जवाब पर पहुंचने के लिए एक और प्रशंसनीय तरीका पर विचार करें। यदि पत्थर बड़ा है, तो हमें A चुनना चाहिए, और यदि यह छोटा है, तो हमें फिर से A. चुनना चाहिए। भले ही हमें पत्थर का आकार पता न हो, मामलों की विधि से, हम देखते हैं कि हमें A को चुनना चाहिए। यह हमारे पहले के तर्क का खंडन करता है।

तो: एक मरीज मेरे कार्यालय में चलता है। एक परीक्षण से पता चलता है कि उनके गुर्दे में पथरी है लेकिन मुझे उनके आकार के बारे में कोई जानकारी नहीं है। मैं किस उपचार की सलाह दूं? क्या इस समस्या का कोई स्वीकृत समाधान है?

विकिपीडिया "कारण बायेसियन नेटवर्क" और "बैक-डोर" परीक्षण का उपयोग करते हुए एक संकेत पर संकेत देता है, लेकिन मेरे पास कोई सुराग नहीं है कि ये क्या हैं।


2
बेसिक सिम्पसन की विरोधाभास लिंक ऊपर उल्लेख किया अवलोकन डेटा का एक उदाहरण है। हम अस्पतालों के बीच स्पष्ट रूप से निर्णय नहीं ले सकते हैं क्योंकि रोगियों को बेतरतीब ढंग से अस्पतालों को सौंपा नहीं गया था और प्रश्न के रूप में हमें हमें यह जानने का एक तरीका नहीं है कि क्या, उदाहरण के लिए, एक अस्पताल उच्च जोखिम वाले रोगियों को प्राप्त करने के लिए प्रवृत्त है। परिणामों को संचालन में तोड़कर AE उस समस्या को हल नहीं करता है।
एमिल फ्रीडमैन

@EmilFriedman मैं मानता हूं कि यह सच है कि हम अस्पतालों के बीच स्पष्ट रूप से निर्णय ले सकते हैं। लेकिन निश्चित रूप से डेटा एक के ऊपर एक का समर्थन करता है। (यह सच नहीं है कि डेटा ने हमें अस्पतालों की गुणवत्ता के बारे में कुछ नहीं सिखाया है।)
आलू

जवाबों:


14

आपके प्रश्न में, आप कहते हैं कि आप नहीं जानते कि "कारण बायेसियन नेटवर्क" और "बैक डोर टेस्ट" क्या हैं।

मान लीजिए आपके पास बायेसियन नेटवर्क है। यही है, एक निर्देशित चक्रीय ग्राफ जिसका नोड प्रस्ताव का प्रतिनिधित्व करता है और जिसके निर्देशित किनारे संभावित कारण संबंधों का प्रतिनिधित्व करते हैं। आपके प्रत्येक परिकल्पना के लिए आपके पास कई ऐसे नेटवर्क हो सकते हैं। वहाँ शक्ति या एक बढ़त के अस्तित्व के बारे एक सम्मोहक तर्क बनाने के लिए तीन तरीके हैं ।?बी

सबसे आसान तरीका एक हस्तक्षेप है। यह वही है जो अन्य उत्तर सुझा रहे हैं जब वे कहते हैं कि "उचित यादृच्छिकरण" समस्या को ठीक करेगा। आप बेतरतीब ढंग से को विभिन्न मूल्यों के लिए मजबूर करते हैं और आप मापते हैं । यदि आप ऐसा कर सकते हैं, तो आप कर रहे हैं, लेकिन आप हमेशा ऐसा नहीं कर सकते। आपके उदाहरण में, लोगों को घातक बीमारियों के लिए अप्रभावी उपचार देना अनैतिक हो सकता है, या उनके उपचार में कुछ कहा जा सकता है, उदाहरण के लिए, वे कम कठोर (उपचार बी) का चयन कर सकते हैं जब उनके गुर्दे की पथरी छोटी और कम दर्दनाक होती है।बी

दूसरा तरीका सामने का दरवाजा विधि है। आप यह दिखाना चाहते हैं कि , माध्यम से , यानी पर कार्य करता है । यदि आप मानते हैं कि संभावित रूप से कारण होता है, लेकिन कोई अन्य कारण नहीं है, और आप माप सकते हैं कि साथ सहसंबद्ध है , और साथ सहसंबद्ध , तो आप निष्कर्ष निकाल सकते हैं कि माध्यम से बह रहा होगा । मूल उदाहरण: धूम्रपान है, कैंसर है,बी सी सी बी सी सी बी सी सी बी सीबीCACBCACABCCABCटार संचय है। टार केवल धूम्रपान से आ सकता है, और यह धूम्रपान और कैंसर दोनों से संबंधित है। इसलिए, धूम्रपान टार के माध्यम से कैंसर का कारण बनता है (हालांकि इस प्रभाव को कम करने वाले अन्य कारण पथ हो सकते हैं)।

तीसरा तरीका पिछले दरवाजे की विधि है। आप पता चलता है कि चाहते हैं और एक "पिछले दरवाजे", जैसे आम कारण है, यानी, की वजह से सहसंबद्ध नहीं कर रहे हैं । चूंकि आपने एक कारण मॉडल मान लिया है, आपको केवल उन सभी रास्तों को अवरुद्ध करने की आवश्यकता है (उन पर चर और कंडीशनिंग को देखते हुए) कि सबूत से नीचे और से ऊपर की ओर प्रवाहित हो सकते हैं । इन रास्तों को अवरुद्ध करना थोड़ा मुश्किल है, लेकिन पर्ल एक स्पष्ट एल्गोरिथ्म देता है जो आपको यह बताता है कि इन रास्तों को ब्लॉक करने के लिए आपको किन चरों को देखना होगा।बी डी बी बीABADBAबी

गंग सही है कि अच्छे यादृच्छिककरण के साथ, कन्फ़्यूडर मायने नहीं रखेंगे। चूंकि हम यह मान रहे हैं कि काल्पनिक कारण (उपचार) में हस्तक्षेप करने की अनुमति नहीं है, काल्पनिक कारण (उपचार) और प्रभाव (उत्तरजीविता) के बीच कोई सामान्य कारण, जैसे कि उम्र या गुर्दे की पथरी का आकार एक कन्फ़्यूज़र होगा। समाधान सभी पिछले दरवाजों को अवरुद्ध करने के लिए सही माप लेना है। आगे पढ़ने के लिए देखें:

पर्ल, जुडिया। "अनुभवजन्य अनुसंधान के लिए कारण आरेख।" बायोमेट्रिक 82.4 (1995): 669-688।


इसे अपनी समस्या पर लागू करने के लिए, आइए सबसे पहले कारण का ग्राफ बनाते हैं। (उपचार पूर्ववर्ती) गुर्दे की पथरी का आकार और उपचार प्रकार दोनों सफलता कारण हैं । यदि अन्य डॉक्टर गुर्दे की पथरी के आकार के आधार पर त्रासदी दे रहे हैं तो का एक कारण हो सकता है । स्पष्ट रूप से , और बीच कोई अन्य कारण संबंध नहीं हैं । बाद आता है इसलिए यह इसका कारण नहीं हो सकता है। इसी तरह और बाद आता है ।वाई जेड एक्स वाई एक्स वाई जेड वाई एक्स जेड एक्स वाईएक्सYजेडएक्सYएक्सYजेडYएक्सजेडएक्सY

चूंकि एक सामान्य कारण है, इसे मापा जाना चाहिए। यह चर और संभावित कारण संबंधों के ब्रह्मांड को निर्धारित करने के लिए प्रयोग करने वाले पर निर्भर है । प्रत्येक प्रयोग के लिए, प्रयोग करने वाला आवश्यक "बैक डोर वैरिएबल" को मापता है और फिर वैरिएबल के प्रत्येक कॉन्फ़िगरेशन के लिए उपचार की सफलता की सीमान्त संभाव्यता वितरण की गणना करता है। एक नए रोगी के लिए, आप चर को मापते हैं और सीमांत वितरण द्वारा इंगित उपचार का पालन करते हैं। यदि आप सब कुछ नहीं माप सकते हैं या आपके पास बहुत अधिक डेटा नहीं है, लेकिन रिश्तों की वास्तुकला के बारे में कुछ जानते हैं, तो आप नेटवर्क पर "विश्वास प्रसार" (बायेसियन इनवेंशन) कर सकते हैं।एक्स


2
बहुत अच्छा जवाब। क्या आप संक्षेप में कह सकते हैं कि इस रूपरेखा को मैं प्रश्न में दिए गए उदाहरण पर कैसे लागू करूं? क्या यह अपेक्षित उत्तर (ए) देता है?
आलू

धन्यवाद! क्या आप "विश्वास प्रसार" के लिए एक अच्छा, संक्षिप्त परिचय जानते हैं? मुझे और सीखने में दिलचस्पी है।
आलू

@ पोटोटो: मैंने इसे अपनी पुस्तक "प्रोबेबिलिस्टिक रीजनिंग इन इंटेलिजेंट सिस्टम्स" से सीखा। ऑनलाइन कई ट्यूटोरियल हैं, लेकिन यह केवल एक एल्गोरिथ्म प्रस्तुत करने के बजाय अंतर्ज्ञान का निर्माण करना मुश्किल है।
नील जी

22

मेरे पास एक पूर्व उत्तर है जो सिम्पसन के विरोधाभास पर यहां चर्चा करता है: बेसिक सिम्पसन का विरोधाभास । यह आपको उस घटना को बेहतर ढंग से समझने के लिए पढ़ने में मदद कर सकता है।

संक्षेप में, सिम्पसन का विरोधाभास भ्रमित होने के कारण होता है। आपके उदाहरण में, उपचार उलझा हुआ है* प्रत्येक रोगी को गुर्दे की पथरी के साथ। हम परिणामों की पूरी तालिका से जानते हैं कि उपचार ए हमेशा बेहतर होता है। इस प्रकार, एक चिकित्सक को उपचार का चयन करना चाहिए। ए का एकमात्र कारण उपचार बी समुच्चय में बेहतर दिखता है, यह कम गंभीर स्थिति वाले रोगियों को अधिक बार दिया जाता है, जबकि उपचार ए को अधिक गंभीर स्थिति वाले रोगियों को दिया जाता था। फिर भी, उपचार ए ने दोनों स्थितियों के साथ बेहतर प्रदर्शन किया। एक डॉक्टर के रूप में, आप इस तथ्य की परवाह नहीं करते हैं कि अतीत में मरीजों को बदतर उपचार दिया गया था जिनकी कम स्थिति थी, आप केवल आपके बारे में रोगी के बारे में परवाह करते हैं, और यदि आप चाहते हैं कि रोगी में सुधार हो, तो आप प्रदान करेंगे उन्हें सबसे अच्छा इलाज उपलब्ध है।

* ध्यान दें कि चल रहे प्रयोगों, और यादृच्छिक उपचारों का बिंदु, ऐसी स्थिति बनाना है जिसमें उपचारों को भ्रमित न किया जाए । यदि प्रश्न में अध्ययन एक प्रयोग था, तो मैं कहूंगा कि रैंडमाइजेशन प्रक्रिया समान समूहों को बनाने में विफल रही, हालांकि यह अच्छी तरह से एक अवलोकन अध्ययन हो सकता है - मुझे नहीं पता।


आप अन्य उत्तर द्वारा सुझाए गए सामान्यीकरण दृष्टिकोण का विकल्प भी चुनते हैं। मुझे यह समस्याग्रस्त लगती है। एक ही डेटा सेट के दो विभाजन प्रदर्शित करना संभव है जो सामान्य होने पर विभिन्न निष्कर्ष देते हैं। अन्य उत्तर के जवाब में मेरा लिंक और उद्धरण देखें।
आलू

2
मैंने स्टैनफोर्ड लेख नहीं पढ़ा है। हालाँकि, मैं इस कारण को सम्मोहक उद्धरण में नहीं पाता हूँ। यह अच्छी तरह से हो सकता है कि कुछ आबादी में, उपचार बी इलाज की तुलना में बेहतर है। यह कोई फर्क नहीं पड़ता। यदि यह कुछ आबादी के लिए सच है, तो यह केवल इसलिए है क्योंकि जनसंख्या की विशेषताएं भ्रमित हैं। आपको w / एक मरीज (आबादी नहीं) का सामना करना पड़ रहा है, और उस रोगी के उपचार में सुधार होने की अधिक संभावना है A कि रोगी के बड़े या छोटे गुर्दे की पथरी है या नहीं। आप उपचार ए का चयन करना चाहिए
फिर से बहाल करते मोनिका - गुंग

2
युवा / पुराना विभाजन कबूल है? यदि नहीं, तो यह एक समस्या नहीं होगी। यदि ऐसा है, तो हम पूरी जानकारी का उपयोग सबसे अच्छा निर्णय लेने के लिए करेंगे। वर्तमान में हम जो जानते हैं उसके आधार पर, 'उपचार बी एग्रीगेट में सबसे अच्छा दिखता है' एक लाल हेरिंग है। यह केवल उलझन के कारण मामला प्रतीत होता है, लेकिन यह एक (सांख्यिकीय) भ्रम है।
गंग - मोनिका

2
आपके पास एक अधिक जटिल तालिका होगी जो गुर्दे की पथरी के आकार और उम्र दोनों को ध्यान में रखती है। आप बर्कले लिंग पूर्वाग्रह मामले के उदाहरण को विकिपीडिया पृष्ठ पर देख सकते हैं।
गंग - मोनिका

1
नफरत फैलाने वाली टिप्पणियां इस लंबे समय तक लेकिन ... मैं यह नहीं कहूंगा कि विरोधाभास हमेशा भ्रम के कारण होता है। यह वैरिएबल के बीच एक संबंध के कारण होता है, जो एक कंफर्टेबल वैरिएबल होगा, लेकिन मैं सभी वेरिएबल्स को सिम्पसन पैराडॉक्स कन्फाउंडिंग (उदाहरण के लिए 30 yr। Olds और 90 yr। के वजन के लिए अग्रणी नहीं कहूँगा) के लिए पोटेंशियल चिप्स की x राशि का उपयोग किया जाता है। क्योंकि 90 वर्ष की आयु वाले बच्चे चिप्स के मुख्य प्रभाव के साथ शुरू करने के लिए बहुत हल्के होते हैं, इसमें शामिल बातचीत के बिना नकारात्मक हो सकता है। मैं उम्र को एक उलझन नहीं कहूंगा। (पहली बार देखें। विकिपीडिया पृष्ठ पर देखें।)
जॉन

7

2013 में प्रकाशित यहूदिया पर्ल का यह अच्छा लेख वास्तव में सिम्पसन के विरोधाभास के साथ सामना करने के लिए किस विकल्प को चुनने की समस्या से संबंधित है:

सिम्पसन के विरोधाभास (पीडीएफ) को समझना


4

क्या आप सामान्य रूप से एक उदाहरण या विरोधाभास का समाधान चाहते हैं? उत्तरार्द्ध के लिए कोई भी नहीं है क्योंकि विरोधाभास एक से अधिक कारणों से उत्पन्न हो सकता है और मामले के आधार पर एक मामले पर मूल्यांकन करने की आवश्यकता होती है।

सारांश डेटा की रिपोर्टिंग करते समय विरोधाभास मुख्य रूप से समस्याग्रस्त है और प्रशिक्षण व्यक्तियों में महत्वपूर्ण है कि डेटा का विश्लेषण और रिपोर्ट कैसे करें। हम नहीं चाहते हैं कि शोधकर्ता ऐसे सारांश आँकड़ों की रिपोर्टिंग करें जो डेटा या डेटा विश्लेषकों में पैटर्न को छिपाते हैं या पहचानते हैं, जो यह पहचानने में विफल हैं कि डेटा में वास्तविक पैटर्न क्या है। कोई हल नहीं दिया गया क्योंकि कोई हल नहीं है।

इस विशेष मामले में तालिका के साथ डॉक्टर स्पष्ट रूप से हमेशा ए चुनें और सारांश रेखा को अनदेखा करेंगे। इससे कोई फर्क नहीं पड़ता कि वे पत्थर के आकार को जानते हैं या नहीं। यदि डेटा का विश्लेषण करने वाले किसी व्यक्ति ने केवल ए और बी के लिए प्रस्तुत सारांश लाइनों की रिपोर्ट की थी, तो एक समस्या होगी क्योंकि डॉक्टर द्वारा प्राप्त डेटा वास्तविकता को प्रतिबिंबित नहीं करेगा। इस मामले में उन्हें संभवतः तालिका की अंतिम पंक्ति को छोड़ देना चाहिए था क्योंकि यह केवल एक व्याख्या के तहत सही है कि सारांश सांख्यिकीय क्या होना चाहिए (दो संभावित हैं)। व्यक्तिगत कोशिकाओं की व्याख्या करने के लिए पाठक को छोड़कर आमतौर पर सही परिणाम का उत्पादन होता।

(आपकी प्रचुर टिप्पणियों से लगता है कि आप असमान एन मुद्दों के बारे में सबसे अधिक चिंतित हैं और सिम्पसन इससे कहीं अधिक व्यापक है, इसलिए मैं आगे असमान एन मुद्दे पर ध्यान देने के लिए अनिच्छुक हूं। शायद अधिक लक्षित प्रश्न पूछें। इसके अलावा, आपको लगता है कि मुझे लगता है। मैं एक सामान्यीकरण निष्कर्ष की वकालत कर रहा हूं। मैं नहीं हूं। मैं तर्क दे रहा हूं कि आपको यह विचार करने की आवश्यकता है कि सारांश सांख्यिकीय अपेक्षाकृत मनमाने ढंग से चुना गया है और कुछ विश्लेषक द्वारा चयन ने विरोधाभास को जन्म दिया है। मैं आगे तर्क दे रहा हूं कि आप उन कोशिकाओं को देखते हैं। है।)


आप दावा करते हैं कि हमें सारांश रेखा की उपेक्षा करनी चाहिए। यह "स्पष्ट" क्यों है?
आलू

यह स्पष्ट है क्योंकि उपचार ए बड़े या छोटे पत्थरों के साथ बेहतर है और बी केवल असमान एन के कारण बाहर आता है। इसके अलावा, अंतिम पंक्ति एक व्याख्या है जो सुसमाचार नहीं है। उस रेखा की गणना करने के लिए कम से कम दो तरीके हैं। आप केवल इस तरह से गणना करेंगे यदि आप विशेष नमूने के बारे में कुछ कहना चाहते हैं।
जॉन

मुझे खेद है, मुझे समझ नहीं आ रहा है कि सारांश रेखा एक गलत रिपोर्ट क्यों है। मुझे लगता है कि मुझे आपका केंद्रीय बिंदु याद आ रहा है। क्या आप समझा सकते हैं?
आलू

1
आप सामान्य कर सकते हैं और फिर औसत, जो "सही" परिणाम (ए) देता है। लेकिन यह अवैध। निम्नलिखित उद्धरण दर्शन के स्टैनफोर्ड इनसाइक्लोपीडिया में प्रासंगिक लेख से उपलब्ध है, यहाँ उपलब्ध है: plato.stanford.edu/entries/paradox-simpson
आलू

2
"सिम्पसन रिवर्सल्स दिखाते हैं कि एक आबादी के विभाजन के कई तरीके हैं जो कुल आबादी में संघों के अनुरूप हैं। लिंग द्वारा विभाजन यह संकेत दे सकता है कि एक नया इलाज प्रदान करते समय नर और मादा दोनों खराब होते हैं, जबकि एक ही आबादी का एक विभाजन। उम्र से संकेत मिलता है कि पचास से कम उम्र के रोगियों, और पचास और उससे अधिक उम्र के रोगियों में दोनों ने नया उपचार दिया है। एक ही आबादी के विभाजन के विभिन्न तरीकों से डेटा को सामान्य करने से कुल आबादी में होने वाले संघों के बारे में असंगत निष्कर्ष मिलेंगे। "
आलू

4

एक महत्वपूर्ण "ले जाना" यह है कि यदि उपचार कार्य उपसमूहों के बीच अनुपातहीन हैं, तो डेटा का विश्लेषण करते समय किसी को उपसमूह को ध्यान में रखना चाहिए।

एक दूसरा महत्वपूर्ण "ले जाना" यह है कि अवलोकन संबंधी अध्ययन विशेष रूप से सिम्पसन के विरोधाभास की अज्ञात उपस्थिति के कारण गलत उत्तर देने के लिए प्रवृत्त हैं। ऐसा इसलिए है क्योंकि हम इस तथ्य के लिए सही नहीं हो सकते हैं कि उपचार ए को अधिक कठिन मामलों में दिया जाए यदि हम नहीं जानते कि यह था।

एक ठीक से यादृच्छिक अध्ययन में हम या तो (1) उपचार को यादृच्छिक रूप से आवंटित कर सकते हैं ताकि एक उपचार के लिए "अनुचित लाभ" देना अत्यधिक संभावना न हो और डेटा विश्लेषण में स्वचालित रूप से ध्यान रखा जाएगा या, (2) यदि कोई महत्वपूर्ण कारण है ऐसा करने के लिए, किसी ज्ञात समस्या के आधार पर उपचार को अनियमित रूप से आवंटित करें, लेकिन अनुपातहीन रूप से विश्लेषण के दौरान उस मुद्दे को ध्यान में रखें।


+1, हालांकि "स्वचालित रूप से ध्यान रखा जाना" काफी सच नहीं है (कम से कम तत्काल स्थिति में, जो कि आप मुख्य रूप से परवाह करते हैं)। यह लंबे समय में सच है, लेकिन आप अभी भी बहुत अधिक प्रकार I और प्रकार II त्रुटियों के कारण कर सकते हैं नमूना त्रुटि (यानी, 1 उपचार की स्थिति में रोगियों को अकेले संयोग से और अधिक गंभीर बीमारियां होती हैं)।
गूँग - मोनिका

लेकिन जब हम आकस्मिकता तालिका का विश्लेषण करते हैं और गणना करते हैं और पी-वैल्यू की ठीक से व्याख्या करते हैं, तो नमूना त्रुटि का प्रभाव ध्यान में रखा जाएगा।
एमिल फ्रीडमैन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.