क्या मैं अनुपात के संदर्भ में कई तुलनात्मक समस्या से बचने के लिए क्रमपरिवर्तन परीक्षणों का उपयोग कर सकता हूं?

Question

मैं एक विशेष द्विआधारी परिणाम (उन्हें 'सफलता' और 'विफलता') की भविष्यवाणी करने के लिए 5 विभिन्न तरीकों की प्रभावशीलता का मूल्यांकन कर रहा हूं। डेटा ऐसा दिखता है:

Method    Sample_Size    Success    Percent_Success
1         28             4          0.14  
2         19             4          0.21  
3         24             7          0.29  
4         21             13         0.61  
5         22             9          0.40 

मैं इन 5 तरीकों के बीच एक परीक्षण करना चाहूंगा ताकि तरीकों की सापेक्ष श्रेष्ठता का आकलन किया जा सके। दूसरे शब्दों में, मैं विधि 1> विधि 2> के रूप में प्रदर्शन के क्रम में विधियों का आदेश देना चाहता हूं। विधि 5. कई तुलनाओं के मुद्दे से बचने के लिए, मैं निम्नलिखित लाइनों के साथ क्रमपरिवर्तन परीक्षण करने की योजना बना रहा हूं:

चरण 1: सभी डेटा को पूल करें ताकि समग्र नमूना आकार कुल 37 सफलताओं के साथ 114 हो।

चरण 2: डेटा को 28, 19, 24, 21 और 22 के संगत नमूना आकार के साथ डेटा को 5 समूहों में विभाजित करें।

चरण 3: एक काउंटर बढ़ाएँ यदि चरण 2 से Percent_Success का अवलोकन क्रम मेरे डेटा के क्रम के अनुरूप है।

चरण 4: चरण 2 और 3 को कई बार दोहराएं (10000)।

वांछित पी-मूल्य = अंतिम काउंटर मूल्य / 10000।

प्रशन:

1. क्या उपरोक्त प्रक्रिया ठीक है?

2. क्या आर में ऐसा कुछ है जो मुझे उपरोक्त परीक्षण करने में सक्षम करेगा?

3. सुधार या वैकल्पिक तरीकों के लिए कोई सुझाव उपयोगी होगा।

Comments

@whuber क्या आपके पास आर कोड है शायद आपने यह साझा करने के लिए कि आपने यह कैसे किया?

— B_Miner

Answer 1

प्रस्तावित प्रक्रिया आपके प्रश्न का उत्तर नहीं देती है। यह केवल शून्य परिकल्पना के तहत आवृत्ति का अनुमान लगाता है, जिसके साथ आपका अवलोकन क्रम होता है। लेकिन उस अशक्त के तहत, एक अच्छा सन्निकटन करने के लिए, सभी आदेश समान रूप से होने की संभावना है, जहां आपकी गणना 1/5 के करीब मूल्य का उत्पादन करेगी! = लगभग 0.83%। जो हमें कुछ नहीं बताता।

एक और अधिक स्पष्ट अवलोकन: आपके डेटा पर आधारित आदेश, 4> 5> 3> 2> 1. आपके रिश्तेदार श्रेष्ठताओं का अनुमान 0.61 - 0.40 = 21%, 0.40 - 0.21 = 11%, आदि है।

अब, मान लीजिए कि आपका प्रश्न इस बात की चिंता करता है कि किसी भी अनुपात में कोई अंतर बिना किसी अंतर के शून्य परिकल्पना के तहत संयोग के कारण हो सकता है। आप वास्तव में एक क्रमचय परीक्षण के साथ इन दस प्रश्नों का मूल्यांकन कर सकते हैं। हालांकि, प्रत्येक पुनरावृत्ति में आपको अनुपात के सापेक्ष अंतर के दस संकेतकों को ट्रैक करने की आवश्यकता है, कुल आदेश का एक वैश्विक संकेतक नहीं।${5 \choose 2} = 10$

आपके डेटा के लिए, 100,000 पुनरावृत्तियों के साथ एक सिमुलेशन परिणाम देता है

$$\begin{array}{ccccc} & 5 & 4 & 3 & 2 \cr 1 & 0.02439 & 0.0003 & 0.13233 & 0.29961 \cr 2 & 0.09763 & 0.00374 & 0.29222 & \cr 3 & 0.20253 & 0.00884 & & \cr 4 & 0.08702 & & & \end{array}$$

विधि 4 और विधियों 1, 2, और 3 के बीच के अनुपात में अंतर संभावना के कारण होने की संभावना नहीं है (अनुमानित संभावनाओं 0.03%, 0.37%, 0.88%, क्रमशः) लेकिन अन्य अंतर हो सकते हैं। तरीकों 1 और 5 के बीच अंतर का कुछ सबूत (पी = 2.44%) है, इस प्रकार यह प्रतीत होता है कि आप विश्वास कर सकते हैं कि रिश्तों में शामिल अनुपात में अंतर 4> 3, 4> 2, और 4> 1 सभी सकारात्मक हैं , और सबसे अधिक संभावना 5> 1 में अंतर है।

Comments

यह मेरा से बेहतर जवाब है! मैं प्रश्न को ठीक से पढ़ पाने में विफल रहा हूँ मुझे डर है (विशेष रूप से चरण 3)। मैंने अपना उत्तर हटाने के बारे में सोचा, लेकिन मैं एक बायेसियन दृष्टिकोण की अधिक व्याख्या से खड़ा हूं, यह वास्तव में रैंकिंग है जो ब्याज की है।

— onestop

बस यह सुनिश्चित करने के लिए कि मैं सही ढंग से समझता हूं- संकेतक जो विधि 4 और 5 के बीच के अंतर को ट्रैक करता है, जब भी हम ऐसा अंतर देखेंगे जो 0.21 से अधिक है।

— sxv

@sxv हां, यह सही है। (ठीक है, मैं वास्तव में अधिक से अधिक या बराबर का उपयोग करता था। संबंध होता है। मुझे लगता है कि महत्वपूर्ण परिणामों में समानता भी शामिल है, सही बात है, क्योंकि हम इस संभावना का मूल्यांकन कर रहे हैं कि यह बड़े या बड़े अंतर संयोग से हो सकते हैं।)

— whuber

Answer 2

आपके सुझाए गए मोंटे-कार्लो क्रमचय परीक्षण प्रक्रिया शून्य परिकल्पना के परीक्षण के लिए एक पी-मूल्य का उत्पादन करेगी कि सफलता की संभावना सभी तरीकों के लिए समान है। लेकिन यहाँ एक मोंटे कार्लो क्रमांकन परीक्षण करने के लिए बहुत कम कारण है जब संबंधित सटीक क्रमपरिवर्तन परीक्षण पूरी तरह से संभव है। यह फिशर का सटीक परीक्षण है (ठीक है, कुछ लोग 2x2 तालिकाओं के लिए उस नाम को आरक्षित करते हैं, जिस स्थिति में यह एक सशर्त सटीक परीक्षण है)। मैंने सिर्फ आपका डेटा Stata और -tabi में टाइप किया है ..., सटीक- p = .0067 दिया (तुलना के लिए, Pearson का ची-स्क्वेर्ड टेस्ट p = .0059) देता है। मुझे यकीन है कि आर में एक समान कार्य है जो आर गुरु जल्द ही जोड़ देगा।

यदि आप वास्तव में रैंकिंग को देखना चाहते हैं तो आप बायेसियन दृष्टिकोण का उपयोग करके सर्वश्रेष्ठ हो सकते हैं, क्योंकि यह इस बात की संभावना के रूप में एक सरल व्याख्या दे सकता है कि प्रत्येक विधि वास्तव में सबसे अच्छी, दूसरी सबसे अच्छी, तीसरी सबसे अच्छी, ... है। यह आपको निश्चित रूप से अपनी संभावनाओं पर पुजारियों को रखने की आवश्यकता के मूल्य पर आता है। रैंकों का अधिकतम संभावना अनुमान बस देखा गया आदेश है, लेकिन एक क्रमिक ढांचे में रैंकिंग में अनिश्चितता को इस तरह से निर्धारित करना मुश्किल है कि आसानी से व्याख्या की जा सकती है, जहां तक ​​मुझे पता है।

मुझे लगता है कि मैंने कई तुलनाओं का उल्लेख नहीं किया है, लेकिन मैं यह नहीं देखता कि यह कैसे होता है।

Comments

फिशर का सटीक परीक्षण और पियर्सन के ची-स्क्वेयर में इस परिकल्पना का परीक्षण किया जाता है कि सभी 5 विधियाँ इस विकल्प के खिलाफ समान रूप से प्रभावी हैं कि कम से कम 1 अन्य की तुलना में बेहतर है। पी-मान मुझे बताते हैं कि अशक्त अस्वीकार कर दिया गया है। इसलिए, अगर मैं यह पता लगाना चाहता हूं कि वास्तव में कौन से तरीके दूसरों की तुलना में बेहतर हैं तो मुझे 10 जोड़ीदार तुलनाएं नहीं करनी होंगी?

— sxv