McNemar के परीक्षण और ची-स्क्वेर्ड परीक्षण में क्या अंतर है, और आप कैसे जानते हैं कि प्रत्येक का उपयोग कब करना है?

Question

मैंने विभिन्न स्रोतों पर पढ़ने की कोशिश की है, लेकिन मैं अभी भी स्पष्ट नहीं हूं कि मेरे मामले में कौन सी परीक्षा उपयुक्त होगी। मेरे डेटासेट के बारे में तीन अलग-अलग प्रश्न हैं:

1. अलग-अलग समय पर एक्स से संक्रमण के लिए विषयों का परीक्षण किया जाता है। मैं जानना चाहता हूं कि क्या एक्स के लिए पॉजिटिव का अनुपात एक्स से पहले पॉजिटिव के अनुपात से संबंधित है:

                After   
              |no  |yes|
   Before|No  |1157|35 |
         |Yes |220 |13 |
   
   results of chi-squared test: 
   Chi^2 =  4.183     d.f. =  1     p =  0.04082 
   
   results of McNemar's test: 
   Chi^2 =  134.2     d.f. =  1     p =  4.901e-31

   मेरी समझ से, जैसा कि डेटा को दोहराया जाता है, मुझे McNemar के परीक्षण का उपयोग करना चाहिए, जो परीक्षण करता है कि क्या X के लिए सकारात्मक का अनुपात बदल गया है।

   लेकिन मेरे सवालों को चि-स्क्वेरड टेस्ट की आवश्यकता लगती है - यदि पहले एक्स के लिए पॉजिटिव का अनुपात पॉज़िटिव के अनुपात से संबंधित है तो परीक्षण।

   मुझे यह भी पक्का नहीं है कि अगर मैं मैकनीमार के परीक्षण और ची-स्क्वेयर के अंतर को सही ढंग से समझ पाऊं। यदि मेरा प्रश्न "पहले से अलग होने के बाद X से संक्रमित विषयों का अनुपात है, तो सही परीक्षा क्या होगी?"

2. एक समान मामला, लेकिन जहां पहले और बाद में, मैं एक समय में दो अलग-अलग संक्रमणों को मापता हूं:

           Y   
         |no  |yes|
   X|No  |1157|35 |
    |Yes |220 |13 |

   यदि यह प्रश्न सही है कि क्या प्रश्न "एक संक्रमण के उच्च अनुपात Y के उच्च अनुपात से संबंधित है"?

3. यदि मेरा प्रश्न था, "क्या संक्रमण Y समय पर T2 संक्रमण X से संबंधित समय पर T1 है?", कौन सा परीक्षण उचित होगा?

                 Y at t2   
               |no  |yes|
   X at t1|No  |1157|35 |
          |Yes |220 |13 |

मैं इन सभी मामलों में McNemar के परीक्षण का उपयोग कर रहा था, लेकिन मुझे संदेह है कि अगर मेरे प्रश्नों का उत्तर देने के लिए यह सही परीक्षा है। मैं R का उपयोग कर रहा हूं। क्या मैं glmइसके बजाय एक द्विपद का उपयोग कर सकता हूं ? कि ची-चुकता परीक्षण के अनुरूप होगा?

Comments

क्या आपने Mcnemar परीक्षण पर यहां आंकड़े. stackexchange.com/questions/tagged/mcnemar-test विषय पढ़ने की कोशिश की ?

— tnnphns

"दो संभावनाओं के बीच संबंध" से आपका क्या अभिप्राय है?

— माइकल एम

@ttnphns मैं उनके माध्यम से गया था, लेकिन यह मेरे प्रश्न में सुधार करने में असमर्थ था। अधिक सोचने के बाद, ऐसा लगता है कि मैं Q1 के आधार पर दो प्रश्नों के उत्तर दे सकता हूं: ची-वर्ग मुझे बताएगा कि क्या इसके बाद + ve X का अनुपात + ve X के अनुपात से संबंधित है जबकि Mcnemar का मुझे बताएगा कि क्या कोई है अनुपात में परिवर्तन। क्या मैं सही हू?

— Anto

आप एक मानक का उपयोग नहीं कर सकते हैं आजादी के -Test यहाँ क्योंकि प्रत्येक व्यक्ति को गैर यादृच्छिक नमूने के कारण दो मूल्यों का प्रतिनिधित्व करती है। $\chi^2$

— माइकल एम

धन्यवाद @MichaelMayer। मैं mcnemar का उपयोग कर रहा था जब तक कि मैंने यह नहीं देखा । जहां मैकनीमार को समझाया जाता है, वह कहता है कि ची-स्क्वैयर का उसी मामले में क्या जवाब होगा। मैं काफी हैरान हूं। जिस तरह से प्रत्येक परीक्षण हमें बताता है कि इस पृष्ठ पर मुझे फंसाया गया है, मुझे ची-वर्ग के लिए जाना चाहिए, लेकिन चूंकि वे एक ही विषय पर माप कर रहे हैं, मुझे McNemar का चयन करना होगा!

— Anto

Answer 1

यह बहुत दुर्भाग्यपूर्ण है कि मैकनीमार का परीक्षण लोगों को समझना इतना कठिन है। मैंने यह भी देखा कि इसके विकिपीडिया पृष्ठ के शीर्ष पर यह कहा गया है कि पृष्ठ पर स्पष्टीकरण लोगों को समझना मुश्किल है। मैकनेमर के परीक्षण की विशिष्ट संक्षिप्त व्याख्या या तो यह है कि यह है: 'भीतर का विषय ची-स्क्वेर्ड परीक्षण', या यह कि यह 'एक आकस्मिक तालिका की सीमान्त समरूपता का परीक्षण' है। मुझे इनमें से कुछ भी बहुत मददगार नहीं लगते। सबसे पहले, यह स्पष्ट नहीं है कि 'भीतर-विषयों ची-चुकता' का क्या मतलब है, क्योंकि आप हमेशा अपने विषयों को दो बार (प्रत्येक चर पर एक बार) माप रहे हैं और उन चर के बीच के संबंध को निर्धारित करने की कोशिश कर रहे हैं। इसके अलावा, 'सीमांत समरूपता' (दुख की बात है कि यह उत्तर भी भ्रामक हो सकता है। यदि ऐसा है, तो नीचे दिए गए मेरे दूसरे प्रयास को पढ़ने में मदद मिल सकती है ।)

आइए देखें कि क्या हम आपके शीर्ष उदाहरण के बारे में तर्क करने की प्रक्रिया के माध्यम से यह देखने के लिए काम कर सकते हैं कि क्या हम समझ सकते हैं कि क्या (और यदि ऐसा है, तो) मैकनेमर का परीक्षण उचित है या नहीं। आपने डाला है:

यह एक आकस्मिक तालिका है, इसलिए यह ची-स्क्वेर्ड विश्लेषण को दर्शाता है। इसके अलावा, आप और A f t e r के बीच संबंध को समझना चाहते हैं , और chi-squared परीक्षण चर के बीच संबंध के लिए जाँच करता है, इसलिए पहली नज़र में ऐसा लगता है जैसे chi-squared परीक्षण होना चाहिए विश्लेषण जो आपके प्रश्न का उत्तर देता है। ${\rm Before}$${\rm After}$

हालाँकि, यह इंगित करने योग्य है कि हम इन आंकड़ों को भी प्रस्तुत कर सकते हैं:

जब आप डेटा को इस तरह से देखते हैं, तो आप सोच सकते हैं कि आप एक नियमित पुराने टेस्ट कर सकते हैं । लेकिन एक t -est काफी सही नहीं है। दो मुद्दों कर रहे हैं: सबसे पहले, क्योंकि प्रत्येक पंक्ति सूचियों डेटा एक ही विषय से मापा जाता है, हम एक के बीच-विषयों नहीं करना चाहता होगा टी टेस्ट, हम भीतर-विषयों एक क्या करना चाहते हैं टी -Test। दूसरा, चूंकि ये डेटा एक द्विपद के रूप में वितरित किया जाता है , इसलिए विचरण माध्य का एक कार्य है। इसका मतलब यह है कि एक बार नमूना अनुमान लगाए जाने के बाद चिंता करने की कोई अतिरिक्त अनिश्चितता नहीं है (यानी, आपको बाद में विचरण का अनुमान नहीं लगाना होगा), इसलिए आपको टी वितरण का संदर्भ नहीं देना होगा , आप इसका उपयोग कर सकते हैं $t$$t$$t$$t$$t$$z$वितरण। (इस बारे में अधिक के लिए, यह यहाँ मेरा उत्तर को पढ़ने के लिए मदद मिल सकती है: जेड -Test बनाम χ 2 परीक्षण ।) इस प्रकार, हम एक के भीतर-विषयों की आवश्यकता होगी जेड -Test। यही है, हमें अनुपातों की समानता के भीतर के विषयों की परीक्षा की आवश्यकता है। $z$$\chi^2$$z$

हमने देखा है कि इन आंकड़ों के बारे में सोचने और विश्लेषण करने के दो अलग-अलग तरीके हैं (डेटा को देखने के दो अलग-अलग तरीकों से संकेत मिलता है)। इसलिए हमें यह तय करने की जरूरत है कि हमें किस तरीके का इस्तेमाल करना चाहिए। Chi-squared परीक्षण यह आकलन करता है कि और A f t e r स्वतंत्र हैं या नहीं। यही है, क्या वे लोग जो पहले से बीमार थे, उन लोगों की तुलना में बाद में बीमार होने की संभावना थी जो कभी बीमार नहीं हुए हैं। यह देखना बेहद मुश्किल है कि यह मामला कैसे नहीं दिया जाएगा कि इन मापों का एक ही विषय पर मूल्यांकन किया जाए। यदि आपको एक गैर-महत्वपूर्ण परिणाम मिला (जैसा कि आप लगभग करते हैं) जो कि बस एक प्रकार की II त्रुटि होगी। इसके बजाय चाहे बी ई ${\rm Before}$${\rm After}$ और A f t e r स्वतंत्र हैं, आप लगभग निश्चित रूप से जानना चाहते हैं कि क्या उपचार काम करता है (एक सवाल ची-वर्ग जवाब नहीं देता है)। यह किसी भी संख्या में उपचार बनाम नियंत्रण अध्ययन के समान है जहां आप यह देखना चाहते हैं कि साधन समान हैं, सिवाय इसके कि इस मामले में आपके माप हां / नहीं हैं और वे भीतर के विषय हैं। एक अधिक विशिष्ट टी पर विचार करें${\rm Before}$${\rm After}$$t$-कुछ उपचार से पहले और बाद में मापा गया रक्तचाप के साथ स्थिति। जिनकी बीपी आपके नमूना औसत से ऊपर थी पहले से लगभग निश्चित रूप से उच्चतर बीपीएस के बीच में होगी, लेकिन आप रैंकिंग की स्थिरता के बारे में नहीं जानना चाहते हैं, अगर आप चाहते हैं कि उपचार का मतलब बीपी में बदलाव हो। । यहां आपकी स्थिति सीधे अनुरूप है। विशेष रूप से, आप एक के भीतर-विषयों को चलाना चाहते हैं अनुपात के समानता के टेस्ट। यही McNemar का परीक्षण है।$z$

इसलिए, यह महसूस करते हुए कि हम McNemar का परीक्षण करना चाहते हैं, यह कैसे काम करता है? बीच में विषयों को चलाना -est आसान है, लेकिन हम भीतर के विषयों को कैसे चलाते हैं? आनुपातिक विषयों की आनुपातिक परीक्षा कैसे करें, यह समझने की कुंजी आकस्मिकता तालिका की जांच करना है, जो अनुपात का विघटन करता है:$z$
स्पष्ट रूप सेबीईएफओआरईअनुपात कुल योग द्वारा विभाजित पंक्ति योग हैं, औरएएफटीईआरअनुपात कुल कुल द्वारा विभाजित स्तंभ योग हैं। जब हम आकस्मिक तालिका को देखते हैं तो हम देख सकते हैं कि वे हैं, उदाहरण के लिए:अनुपात हां=220+

$$\begin{array}{rrrrrr} & &{\rm After} & & & \\ & &{\rm No} &{\rm Yes} & &{\rm total} \\ {\rm Before}&{\rm No} &1157 &35 & &1192 \\ &{\rm Yes} &220 &13 & &233 \\ & & & & & \\ &{\rm total} &1377 &48 & &1425 \\ \end{array}$$ ${\rm Before}$${\rm After}$
यहाँ ध्यान देने वाली बात यह है कि13अवलोकनों के पहले और बाद में दोनों हाँ थे। वे दोनों अनुपातों के हिस्से के रूप में समाप्त होते हैं, लेकिन दोनों गणनाओं में होने के परिणामस्वरूप वे हां के अनुपात में परिवर्तन के बारे में कोई अलग जानकारी नहीं जोड़ते हैं। इसके अलावा वे दो बार गिने जाते हैं, जो अमान्य है। इसी तरह, कुल गणना दोनों गणनाओं में समाप्त होती है और कोई अलग जानकारी नहीं जोड़ती है। उन अनुपातों को विघटित करके हम यह पहचानने में सक्षम हैं कि हाँ और पहले के अनुपात के बारे में एकमात्र विशिष्ट जानकारी220और35में मौजूद है, इसलिए वे संख्याएँ हैं जिनका हमें विश्लेषण करने की आवश्यकता है। यह मैकनेमर की अंतर्दृष्टि थी। इसके अलावा, उन्होंने महसूस किया कि अशक्त के तहत, यह220का द्विपद परीक्षण है $$\text{Before proportion yes} = \frac{220 + 13}{1425},\quad\quad \text{After proportion yes} = \frac{35 + 13}{1425}$$ $13$$220$$35$.5 के शून्य अनुपात के खिलाफ। (एक समतुल्य सूत्रीकरण है जो ची-स्क्वेयर के रूप में वितरित किया जाता है, जो किआउटपुट है।) $220/(220 + 35)$$.5$R

मैकनेमर के परीक्षण की एक और चर्चा है, जो कि 2x2 से बड़ी आकस्मिक तालिकाओं के विस्तार के साथ है ।

---

यहाँ Rआपके डेटा के साथ एक डेमो है:

mat = as.table(rbind(c(1157, 35), 
                     c( 220, 13) ))
colnames(mat) <- rownames(mat) <- c("No", "Yes")
names(dimnames(mat)) = c("Before", "After")
mat
margin.table(mat, 1)
margin.table(mat, 2)
sum(mat)

mcnemar.test(mat, correct=FALSE)
#  McNemar's Chi-squared test
# 
# data:  mat
# McNemar's chi-squared = 134.2157, df = 1, p-value < 2.2e-16
binom.test(c(220, 35), p=0.5)
#  Exact binomial test
# 
# data:  c(220, 35)
# number of successes = 220, number of trials = 255, p-value < 2.2e-16
# alternative hypothesis: true probability of success is not equal to 0.5
# 95 percent confidence interval:
#  0.8143138 0.9024996
# sample estimates:
# probability of success 
#              0.8627451 

यदि हमने आपके डेटा के भीतर-विषयों की प्रकृति को ध्यान में नहीं रखा, तो हमारे पास अनुपात की समानता का थोड़ा कम शक्तिशाली परीक्षण होगा:

prop.test(rbind(margin.table(mat, 1), margin.table(mat, 2)), correct=FALSE)
#  2-sample test for equality of proportions without continuity
#  correction
# 
# data:  rbind(margin.table(mat, 1), margin.table(mat, 2))
# X-squared = 135.1195, df = 1, p-value < 2.2e-16
# alternative hypothesis: two.sided
# 95 percent confidence interval:
#  0.1084598 0.1511894
# sample estimates:
#    prop 1    prop 2 
# 0.9663158 0.8364912 

यही कारण है, X-squared = 133.6627के बजाय chi-squared = 134.2157। इस मामले में, ये बहुत कम हैं, क्योंकि आपके पास बहुत अधिक डेटा है और केवल$13$$N = 2850$$N = 1425$

---

यहां आपके ठोस सवालों के जवाब दिए गए हैं:

1. सही विश्लेषण McNemar का परीक्षण है (जैसा कि ऊपर विस्तार से चर्चा की गई है)।

2. यह संस्करण पेचीदा है, और वाक्यांश "एक वाई के उच्च अनुपात से संबंधित एक संक्रमण के उच्च अनुपात करता है" अस्पष्ट है। दो संभावित प्रश्न हैं:

   • यह जानना पूरी तरह से उचित है कि क्या एक संक्रमण पाने वाले मरीज़ दूसरे को प्राप्त करते हैं, जिस स्थिति में आप स्वतंत्रता के ची-स्क्वेर्ड परीक्षण का उपयोग करेंगे। यह सवाल पूछ रहा है कि क्या दो अलग-अलग संक्रमणों के लिए संवेदनशीलता स्वतंत्र है (शायद क्योंकि वे विभिन्न शारीरिक मार्गों के माध्यम से अनुबंधित हैं) या नहीं (शायद वे आमतौर पर कमजोर प्रतिरक्षा प्रणाली के कारण अनुबंधित हैं)।
   • यह भी पूरी तरह से उचित है कि यह जानने के लिए कि क्या रोगियों का एक ही अनुपात दोनों संक्रमण प्राप्त करता है, जिस स्थिति में आप मैकनेमार के परीक्षण का उपयोग करेंगे। यहां सवाल यह है कि क्या संक्रमण समान रूप से वायरल हैं।
3. चूंकि यह एक बार फिर से एक ही संक्रमण है, निश्चित रूप से वे संबंधित होंगे। मैं इकट्ठा करता हूं कि यह संस्करण उपचार से पहले और बाद में नहीं है, लेकिन बस कुछ समय के बाद में। इस प्रकार, आप पूछ रहे हैं कि क्या पृष्ठभूमि संक्रमण की दर व्यवस्थित रूप से बदल रही है, जो फिर से एक पूरी तरह से उचित सवाल है। किसी भी दर पर, सही विश्लेषण मैकनेमर का परीक्षण है।
   संपादित करें: ऐसा लगता है कि मैंने आपके तीसरे प्रश्न का गलत अर्थ निकाला है, शायद एक टाइपो के कारण। मैं अब इसे दो अलग-अलग समय बिंदुओं पर दो अलग-अलग संक्रमणों के रूप में व्याख्या करता हूं। इस व्याख्या के तहत, ची-चुकता परीक्षण उचित होगा।

Comments

@ एलेक्सिस जहाँ तक मैं बाहर कर सकता हूँ, आप और गंग एक दूसरे से पिछले बात कर रहे हैं। यहां तक ​​कि तथाकथित "अप्रकाशित" या "स्वतंत्र नमूने" टी-टेस्ट, या "वन-वे" या "स्वतंत्र नमूने एनोवा", वास्तव में गंग के अर्थ में युग्मित डेटा की आवश्यकता होती है: प्रत्येक विषय के लिए, आपको दोनों श्रेणीबद्ध समूह को रिकॉर्ड करना होगा सदस्यता चर और एक निरंतर परिणाम चर । (यदि समूह सदस्यता चर के दो स्तर हैं, तो हम आमतौर पर अनपेक्षित टी-परीक्षण का उपयोग करते हैं; 3+ स्तरों के लिए आपको एक तरफ़ा एनोवा की आवश्यकता होती है)।

— सिल्वरफिश

यह बताते हुए कि किस परीक्षण का उपयोग करना है, मैं इसे देखने के दोनों तरीके दिखाता हूं - यदि आपके पास एक सतत चर के अवलोकन हैं, प्रत्येक विषय के लिए एक है, और विषय 2 (या 3+) समूहों से आते हैं और आप दोनों के बीच मतभेदों में रुचि रखते हैं समूह, फिर स्वतंत्र-नमूने टी-परीक्षण (या एक तरफ़ा एनोवा) का उपयोग करें। फिर अपनी डेटा तालिका देखकर अपनी पसंद की पुष्टि करें: क्या आपके पास प्रत्येक विषय के लिए, जानकारी के दो टुकड़े हैं: समूह सदस्यता के लिए श्रेणी और निरंतर चर। हम चीजों को घुमा भी सकते हैं और कह सकते हैं कि टी-टेस्ट बाइनरी और निरंतर वैरिएबल के बीच संबंध का एक प्रकार का परीक्षण है ।

— सिल्वरफिश

पेयर किए गए टी-टेस्ट (या सहसंबद्ध नमूने एनोवा) का उपयोग किया जाता है, यदि प्रत्येक विषय के लिए, आपके पास दो (या 3+) निरंतर रीडिंग हैं, जिन्हें विभिन्न परिस्थितियों में लिया जाता है, और आप शर्तों के बीच अंतर के लिए परीक्षण करना चाहते हैं। यह एक अलग अर्थ में "बनती" है। लेकिन इस प्रश्न में, हमारे पास प्रत्येक विषय के लिए दो श्रेणीबद्ध चर हैं। डेटा तालिका को देखते हुए, उन श्रेणीगत चरों के रिकॉर्ड किए गए मान जोड़े में आने चाहिए। लेकिन इसका मतलब यह नहीं है कि अध्ययन डिजाइन ही बनती है। यह भ्रामक है (गंग नोट के रूप में)। लेकिन अगर आप अपने अध्ययन के डिजाइन को जानते हैं, तो इसे हल कर सकते हैं (एलेक्सिस नोट्स के रूप में)

— सिल्वरफ़िश

@ सिल्वरफ़िश यदि आपके पास प्रत्येक विषय पर दो अवलोकन (एक ही नाममात्र चर) किए गए हैं, तो इस अर्थ में कि युग्मित डिज़ाइन नहीं है?

— एलेक्सिस

@ एलेक्सिस यह "उसी चर का" है जो कुंजी है - और संभावित रूप से भ्रमित। आप जान सकते हैं कि यह एक ही चर का प्रतिनिधित्व करता है, अलग-अलग परिस्थितियों में या अलग-अलग समय पर, लेकिन जिस तरह से हम डेटा तालिका को बाहर रखते हैं, उसके आधार पर वे अलग-अलग चर के रूप में दर्ज किए जा सकते हैं (उदाहरण के लिए "पहले और बाद में" अलग " चर)।

— सिल्वरफिश

Answer 2

ठीक है, ऐसा लगता है कि मैंने इसका एक हैश बनाया है। मुझे एक अलग तरीके से फिर से यह समझाने की कोशिश करते हैं और हम देखेंगे कि क्या यह स्पष्ट चीजों को मदद कर सकता है।

McNemar के परीक्षण बनाम ची-स्क्वेर्ड टेस्ट की व्याख्या करने का पारंपरिक तरीका यह पूछना है कि क्या डेटा "युग्मित" हैं और यदि डेटा को "अनपेयर" किया जाता है, तो McNemar के परीक्षण की अनुशंसा करने के लिए और यदि डेटा को जोड़ा गया है तो ची-स्क्वेड टेस्ट। मैंने पाया है कि इससे बहुत भ्रम होता है (यह धागा एक उदाहरण है!)। इसके स्थान पर, मैंने पाया है कि यह ध्यान केंद्रित करने के लिए सबसे अधिक सहायक है उस प्रश्न जो आप पूछने की कोशिश कर रहे हैं , और उस परीक्षण का उपयोग करें जो आपके प्रश्न से मेल खाता है। इसे और अधिक ठोस बनाने के लिए, आइए एक निर्मित परिदृश्य देखें:

आप एक सांख्यिकी सम्मेलन के चारों ओर चलते हैं और आपके द्वारा मिलने वाले प्रत्येक सांख्यिकीविद् के लिए, आप रिकॉर्ड करते हैं कि वे अमेरिका या यूके से हैं। आप यह भी रिकॉर्ड करते हैं कि उन्हें उच्च रक्तचाप या सामान्य रक्तचाप है या नहीं।

यहाँ डेटा हैं:

mat = as.table(rbind(c(195,   5),
                     c(  5, 195) ))
colnames(mat)        = c("US", "UK")
rownames(mat)        = c("Hi", "Normal")
names(dimnames(mat)) = c("BP", "Nationality")
mat
#         Nationality
# BP        US  UK
#   Hi     195   5
#   Normal   5 195

इस बिंदु पर, यह पता लगाना महत्वपूर्ण है कि हम अपने डेटा से कौन सा सवाल पूछना चाहते हैं। तीन अलग-अलग प्रश्न हैं जो हम यहां पूछ सकते हैं:

1. हम जानना चाह सकते हैं कि क्या श्रेणीगत चर BPऔर Nationalityसंबद्ध या स्वतंत्र हैं;
2. अगर हम ब्रिटेन के सांख्यिकीविदों की तुलना में उच्च रक्तचाप अमेरिकी सांख्यिकीविदों के बीच आम हैं तो आश्चर्य हो सकता है;

3. अंत में, हमें आश्चर्य हो सकता है कि यदि उच्च रक्तचाप वाले सांख्यिकीविदों का अनुपात अमेरिकी सांख्यिकीविदों के अनुपात के बराबर है, जिनसे हमने बात की थी। यह तालिका के सीमांत अनुपात को संदर्भित करता है। ये आर में डिफ़ॉल्ट रूप से मुद्रित नहीं होते हैं, लेकिन हम उन्हें इस प्रकार प्राप्त कर सकते हैं (ध्यान दें कि, इस मामले में, वे बिल्कुल समान हैं):

   margin.table(mat, 1)/sum(mat)
   # BP
   #    Hi Normal 
   #   0.5    0.5 
   margin.table(mat, 2)/sum(mat)
   # Nationality
   #  US  UK 
   # 0.5 0.5 

जैसा कि मैंने कहा, पारंपरिक दृष्टिकोण, कई पाठ्यपुस्तकों में चर्चा की गई है, यह निर्धारित करने के लिए कि डेटा "युग्मित" है या नहीं, इसके आधार पर किस परीक्षण का उपयोग करना है। लेकिन यह बहुत भ्रामक है, क्या यह आकस्मिक तालिका "युग्मित" है? यदि हम यूएस और यूके के सांख्यिकीविदों के बीच उच्च रक्तचाप के अनुपात की तुलना करते हैं, तो आप लोगों के विभिन्न सेटों पर मापे गए दो अनुपातों (समान चर के साथ) की तुलना कर रहे हैं। दूसरी ओर, यदि आप उच्च रक्तचाप के अनुपात की तुलना अमेरिका के अनुपात से करना चाहते हैं, तो आप लोगों के एक ही सेट पर मापे गए दो अनुपातों (विभिन्न चरों के साथ) की तुलना कर रहे हैं। ये डेटा दोनों हैंएक ही समय में "युग्मित" और "अप्रभावित" (डेटा के विभिन्न पहलुओं के संबंध में यद्यपि)। इससे भ्रम पैदा होता है। इस भ्रम से बचने की कोशिश करने के लिए, मेरा तर्क है कि आपको यह सोचना चाहिए कि आप किस प्रश्न को पूछ रहे हैं। विशेष रूप से, यदि आप जानना चाहते हैं:

1. यदि चर स्वतंत्र हैं: chi-squared परीक्षण का उपयोग करें।
2. यदि उच्च रक्तचाप के साथ अनुपात राष्ट्रीयता से भिन्न होता है: अनुपात के अंतर के लिए जेड-परीक्षण का उपयोग करें।
3. यदि सीमांत अनुपात समान हैं: McNemar के परीक्षण का उपयोग करें।

कोई मेरे साथ यहाँ असहमत हो सकता है, यह तर्क देते हुए कि क्योंकि आकस्मिक तालिका "युग्मित" नहीं है, McNemar के परीक्षण का उपयोग सीमांत अनुपात की समानता का परीक्षण करने के लिए नहीं किया जा सकता है और इसके बजाय ची-स्क्वेर परीक्षण का उपयोग किया जाना चाहिए। चूंकि यह विवाद का बिंदु है, इसलिए दोनों को देखने की कोशिश करें कि क्या परिणाम समझ में आता है:

chisq.test(mat)
#  Pearson's Chi-squared test with Yates' continuity correction
# 
# data:  mat
# X-squared = 357.21, df = 1, p-value < 2.2e-16
mcnemar.test(mat)
#  McNemar's Chi-squared test
# 
# data:  mat
# McNemar's chi-squared = 0, df = 1, p-value = 1

$50\%=50\%$

चलिए एक और उदाहरण आजमाते हैं:

mat2 = as.table(rbind(c(195, 195),
                      c(  5,   5) ))
colnames(mat2)        = c("US", "UK")
rownames(mat2)        = c("Hi", "Normal")
names(dimnames(mat2)) = c("BP", "Nationality")
mat2
#         Nationality
# BP        US  UK
#   Hi     195 195
#   Normal   5   5
margin.table(mat2, 1)/sum(mat2)
# BP
#     Hi Normal 
#  0.975  0.025 
margin.table(mat2, 2)/sum(mat2)
# Nationality
#  US  UK 
# 0.5 0.5 

इस मामले में, सीमांत अनुपात बहुत अलग हैं, $97.5\%\gg 50\%$

chisq.test(mat2)
#  Pearson's Chi-squared test
# 
# data:  mat2
# X-squared = 0, df = 1, p-value = 1
mcnemar.test(mat2)
#  McNemar's Chi-squared test with continuity correction
# 
# data:  mat2
# McNemar's chi-squared = 178.605, df = 1, p-value < 2.2e-16

इस बार, ची-स्क्वेर्ड टेस्ट 1 का पी-मूल्य देता है, जिसका अर्थ है कि सीमांत अनुपात जितना हो सकता है उतना ही है। लेकिन हमने देखा कि सीमांत अनुपात बहुत स्पष्ट रूप से समान नहीं हैं, इसलिए यह परिणाम हमारे डेटा के प्रकाश में कोई मतलब नहीं रखता है। दूसरी ओर, मैकनेमर के परीक्षण से लगभग 0. का एक पी-मूल्य प्राप्त होता है। दूसरे शब्दों में, यह समानता के अनुसार जहाँ तक वे वास्तव में जनसंख्या में समान हैं, सीमांत अनुपात के साथ डेटा प्राप्त करने की संभावना नहीं है। चूँकि हमारे देखे गए सीमान्त अनुपात बराबर हैं, इसलिए यह परिणाम समझ में आता है।

तथ्य यह है कि ची-स्क्वेर्ड टेस्ट का परिणाम है कि हमारे डेटा का कोई मतलब नहीं है कि यहाँ ची-चुकता परीक्षण का उपयोग करने के साथ कुछ गलत है। बेशक, तथ्य यह है कि मैकनेमर के परीक्षण ने समझदार परिणाम प्रदान किए हैं, यह साबित नहीं करता है कि यह वैध है, यह सिर्फ एक संयोग हो सकता है, लेकिन ची-स्क्वॉड परीक्षण स्पष्ट रूप से गलत है।

आइए देखें कि क्या हम इस तर्क के माध्यम से काम कर सकते हैं कि मैकनीमार का परीक्षण सही क्यों हो सकता है। मैं तीसरे डेटासेट का उपयोग करूंगा:

mat3 = as.table(rbind(c(190,  15),
                      c( 60, 135) ))
colnames(mat3)        = c("US", "UK")
rownames(mat3)        = c("Hi", "Normal")
names(dimnames(mat3)) = c("BP", "Nationality")
mat3
#         Nationality
# BP        US  UK
#   Hi     190  15
#   Normal  60 135
margin.table(mat3, 1)/sum(mat3)
# BP
#     Hi Normal 
# 0.5125 0.4875 
margin.table(mat3, 2)/sum(mat3)
# Nationality
#    US    UK 
# 0.625 0.375 

$51.25\%$$62.5\%$

prop.test(x=c(205, 250), n=c(400, 400))
#  2-sample test for equality of proportions with continuity correction
# 
# data:  c(205, 250) out of c(400, 400)
# X-squared = 9.8665, df = 1, p-value = 0.001683
# alternative hypothesis: two.sided
# 95 percent confidence interval:
#   -0.18319286 -0.04180714
# sample estimates:
# prop 1 prop 2 
# 0.5125 0.6250 

( prop.test()सीमांत अनुपातों का परीक्षण करने के लिए उपयोग करने के लिए, मुझे 'सफलताओं ’की संख्या और मैन्युअल रूप से, परीक्षणों’ की कुल संख्या दर्ज करनी थी, लेकिन आप आउटपुट की अंतिम पंक्ति से देख सकते हैं कि अनुपात सही है।) यह सुझाव देता है कि यदि वे वास्तव में समान हैं, तो यह समानता की तुलना में सीमांत अनुपात प्राप्त करने की संभावना नहीं है, हमारे पास जितना डेटा है।

क्या यह परीक्षण वैध है? यहां दो समस्याएं हैं: परीक्षण का मानना ​​है कि हमारे पास 800 डेटा हैं, जब हमारे पास वास्तव में केवल 400 हैं। यह परीक्षण भी ध्यान में नहीं रखता है कि ये दो अनुपात स्वतंत्र नहीं हैं, इस अर्थ में कि वे एक ही लोगों पर मापा गया था।

$$\text{% high BP: }\frac{190 + 15}{400} \qquad\qquad\qquad \text{% US: }\frac{190 + 60}{400}$$ $190$$400$$15$$60$$\pi = .5$नल के नीचे। यही मैकनेमर की अंतर्दृष्टि थी। वास्तव में, McNemar का परीक्षण अनिवार्य रूप से सिर्फ एक द्विपद परीक्षण है कि क्या अवलोकन समान रूप से उन दो कोशिकाओं में गिरने की संभावना है:

binom.test(x=15, n=(15+60))
#  Exact binomial test
# 
# data:  15 and (15 + 60)
# number of successes = 15, number of trials = 75, p-value = 1.588e-07
# alternative hypothesis: true probability of success is not equal to 0.5
# 95 percent confidence interval:
#   0.1164821 0.3083261
# sample estimates:
# probability of success 
#                    0.2 

इस संस्करण में, केवल सूचनात्मक टिप्पणियों का उपयोग किया जाता है और उनकी गणना दो बार नहीं की जाती है। यहां पी-वैल्यू बहुत छोटा है, 0.0000001588, जो अक्सर ऐसा होता है जब डेटा में निर्भरता को ध्यान में रखा जाता है। यही है, यह परीक्षण अनुपात के अंतर के जेड-परीक्षण से अधिक शक्तिशाली है। हम आगे देख सकते हैं कि उपरोक्त संस्करण अनिवार्य रूप से मैकनीमार के परीक्षण के समान है:

mcnemar.test(mat3, correct=FALSE)
#  McNemar's Chi-squared test
# 
# data:  mat3
# McNemar's chi-squared = 27, df = 1, p-value = 2.035e-07

यदि गैर-अस्मिता भ्रमित हो रही है, तो McNemar का परीक्षण आम तौर पर, और R में, परिणाम को चुकता करता है और इसकी तुलना ची-चुकता वितरण से करता है, जो कि ऊपर की द्विपद की तरह सटीक परीक्षण नहीं है:

(15-60)^2/(15+60)
# [1] 27
1-pchisq(27, df=1)
# [1] 2.034555e-07

इस प्रकार, जब आप एक आकस्मिक तालिका के सीमांत अनुपात की जांच करना चाहते हैं, तो बराबर है, McNemar का परीक्षण (या मैन्युअल रूप से गणना की गई सटीक द्विपद परीक्षण) सही है। यह अवैध रूप से दो बार किसी भी डेटा का उपयोग किए बिना केवल प्रासंगिक जानकारी का उपयोग करता है। यह डेटा उत्पन्न करने वाले परिणामों को प्राप्त करने के लिए सिर्फ 'घटित' नहीं होता है।

मुझे विश्वास है कि यह पता लगाने की कोशिश जारी है कि क्या एक आकस्मिक टेबल "जोड़ा" अनहेल्दी है। मैं उस परीक्षण का उपयोग करने का सुझाव देता हूं जो उस प्रश्न से मेल खाता है जो आप डेटा से पूछ रहे हैं।

Comments

आपको मेरा वोट मिला। :)

— एलेक्सिस

Answer 3

$\chi^{2}$$\chi^{2}$

दो स्वतंत्र नमूनों में बाइनरी डेटा
इस मामले में, आप एक आकस्मिक तालिका उपयोग करेंगे$\chi^{2}$ परीक्षण का ।

उदाहरण के लिए, आपके पास संयुक्त राज्य अमेरिका के 20 सांख्यिकीविदों का एक नमूना हो सकता है, और यूके के 37 सांख्यिकीविदों का एक अलग स्वतंत्र नमूना हो सकता है, और इस बात का माप हो सकता है कि ये सांख्यिकीविद् उच्च रक्तचाप वाले या आदर्शवादी हैं या नहीं। आपकी अशक्त परिकल्पना यह है कि ब्रिटेन और अमेरिका के दोनों सांख्यिकीविदों को उच्च रक्तचाप होने की एक ही अंतर्निहित संभावना है (अर्थात यह जानना कि क्या संयुक्त राज्य अमेरिका से है या यूके से उच्च रक्तचाप की संभावना के बारे में कुछ नहीं बताता है)। बेशक यह संभव है कि आप प्रत्येक समूह में एक ही नमूना आकार रख सकते हैं, लेकिन यह नमूनों के स्वतंत्र होने के तथ्य को नहीं बदलता है (यानी अप्रभावित )।

$\chi^{2}$

उदाहरण के लिए, आपके पास व्यक्तिगत रूप से मेल खाने वाला केस-कंट्रोल स्टडी डेटा हो सकता है, जिसे एक अंतरराष्ट्रीय सांख्यिकीविद् सम्मेलन से नमूना लिया गया है, जहां उच्च रक्तचाप (मामलों) के साथ 30 सांख्यिकीविदों और उच्च रक्तचाप के बिना 30 सांख्यिकीविदों (नियंत्रण; जो व्यक्तिगत रूप से उम्र, लिंग, बीएमआई और धूम्रपान की स्थिति से मेल खाते हैं) विशेष मामलों के लिए), पूर्वव्यापी रूप से यूके बनाम रेजिडेंसी में पेशेवर निवास के लिए कहीं और मूल्यांकन किया जाता है। अशक्त यह है कि मामलों के बीच यूके में रहने की संभावना नियंत्रण के रूप में यूके में रहने की संभावना के समान है (यानी कि किसी के उच्च स्थिति के बारे में जानना किसी के यूके के आवास इतिहास के बारे में कुछ नहीं बताता है)।

$r$$s$$\chi^{2}=\frac{[(r−s)−1]^{2}}{(r+s)}$

एंटो, आपके उदाहरण में, आपके डेटा को जोड़ा जाता है (एक ही विषय में दो बार एक ही चर मापा जाता है) और इसलिए McNemar का परीक्षण एसोसिएशन के लिए परीक्षण का उपयुक्त विकल्प है।

[गिंग और मैं पहले के उत्तर के बारे में एक समय के लिए असहमत थे।]

उद्धृत संदर्भ
"यह मानते हुए कि हम अभी भी अनुपातों की तुलना करने में रुचि रखते हैं, यदि हमारा डेटा स्वतंत्र होने के बजाय, हमारे डेटा को जोड़ा जाता है, तो हम क्या कर सकते हैं? ... इस स्थिति में, हम McNemar के परीक्षण का उपयोग करते हैं।" - पैगानो और गौरेसु, जीवविज्ञान के सिद्धांत , 2। संस्करण, पृष्ठ 349. [ जोर पर जोर दिया ]

"अभिव्यक्ति को मैकनेमार मिलान-जोड़ी टेस्ट स्टेटिस्टिक (मैकनेमर, 1949) के रूप में जाना जाता है , और मिलान-जोड़ी विश्लेषण का मुख्य आधार रहा है ।" - रोथमैन, ग्रीनलैंड, और लैश। आधुनिक महामारी विज्ञान , पृष्ठ 286. [ जोर देकर कहा ]

"जोड़ा गया टी परीक्षण और विचरण के विश्लेषण के दोहराया उपायों का उपयोग उन प्रयोगों का विश्लेषण करने के लिए किया जा सकता है जिनमें अध्ययन किए जा रहे चर को एक अंतराल पैमाने पर मापा जा सकता है (और पैरामीट्रिक तरीकों के लिए आवश्यक अन्य मान्यताओं को संतुष्ट करता है)। प्रयोगों के बारे में, लोगों के अनुरूप। अध्याय 5 में, जहां परिणाम को नाममात्र पैमाने पर मापा जाता है; यह समस्या अक्सर यह पूछती है कि किसी व्यक्ति ने उपचार के लिए जवाब दिया या नहीं, जब दो अलग-अलग नैदानिक ​​परीक्षणों के परिणामों की तुलना की जाती है , जो एक ही व्यक्ति में सकारात्मक या नकारात्मक वर्गीकृत होते हैं। । हम इस तरह के प्रयोगों के विश्लेषण करने के लिए एक प्रक्रिया का विकास होगा, परिवर्तन के लिए Mcnemar के परीक्षण , ऐसे ही एक अध्ययन के संदर्भ में, । "- ग्लान्ज़, बायोस्टैटिस्टिक्स के प्राइमर, 7 वां संस्करण, पृष्ठ 200. [ जोर पर जोर दिया । Glanz एक गलत धारणा आकस्मिकता तालिका के एक उदाहरण के माध्यम से काम करता है$\chi^{2}$ पृष्ठ 201 पर युग्मित डेटा का परीक्षण।]

" प्रति मामले एक नियंत्रण के साथ मिलान केस-कंट्रोल डेटा के लिए , परिणामी विश्लेषण सरल है, और उचित सांख्यिकीय परीक्षण मैकनेमर का ची-स्क्वेर्ड टेस्ट है ... ध्यान दें कि दोनों के अनुपात और स्टेटिस्टिक्स की गणना के लिए, केवल योगदानकर्ता हैं वे जोड़े जो एक्सपोज़र में असमान हैं , वे जोड़े हैं जहां मामला उजागर हुआ था, लेकिन नियंत्रण नहीं था, और जहां नियंत्रण उजागर हुआ था, लेकिन मामला नहीं था। "- एलवुड महामारी विज्ञान के अध्ययन और नैदानिक ​​परीक्षणों का महत्वपूर्ण मूल्यांकन , प्रथम संस्करण, पृष्ठ 189-190। [ जोर देकर कहा ]

Answer 4

McNemar के परीक्षण के बारे में मेरी समझ इस प्रकार है: यह देखने के लिए प्रयोग किया जाता है कि क्या एक हस्तक्षेप ने एक द्विआधारी परिणाम के लिए एक महत्वपूर्ण अंतर बना दिया है। आपके उदाहरण में, संक्रमण के लिए विषयों के एक समूह की जाँच की जाती है और प्रतिक्रिया को हाँ या नहीं के रूप में दर्ज किया जाता है। सभी विषयों को तब कुछ हस्तक्षेप दिया जाता है, एक एंटीबायोटिक दवा कहते हैं। फिर उन्हें संक्रमण के लिए फिर से जाँच की जाती है और प्रतिक्रिया को हाँ / नहीं के रूप में दर्ज किया जाता है। (जोड़ी) प्रतिक्रियाओं को आकस्मिकता तालिका में रखा जा सकता है:

             After   
           |no  |yes|
Before|No  |1157|35 |
      |Yes |220 |13 |

और इसके लिए मैकनेमर का परीक्षण उचित होगा।

तालिका से यह स्पष्ट है कि कई और 'हां' से 'नहीं' (220 / (220 + 13) या 94.4%) की तुलना में 'नहीं' से 'हां' (35 / (1157 + 35) या 2.9 में बदल गए हैं %)। इन अनुपातों को ध्यान में रखते हुए, McNemar का P मान (4.901e-31) ची-वर्ग P मान (0.04082) से अधिक सही प्रतीत होता है।

यदि आकस्मिकता तालिका 2 अलग-अलग संक्रमणों (प्रश्न 2) का प्रतिनिधित्व करती है, तो ची-वर्ग अधिक उपयुक्त होगा।

आपका तीसरा प्रश्न अस्पष्ट है: आप पहले T2 पर Y के साथ T1 पर Y से संबंधित राज्य बनाते हैं, लेकिन तालिका में आप t1 बनाम Y पर t2 में 'X' लिखते हैं। T1 पर Y, T1 पर Y आपके पहले प्रश्न के समान है और इसलिए McNemar के परीक्षण की आवश्यकता है, जबकि t1 पर X और Y पर t2 इंगित करता है कि विभिन्न घटनाओं की तुलना की जा रही है और इसलिए ची-स्क्वायर अधिक उपयुक्त होगा।

संपादित करें: जैसा कि एलेक्सिस ने टिप्पणी में उल्लेख किया है, मिलान किए गए केस-कंट्रोल डेटा का भी मैकनेमर के परीक्षण द्वारा विश्लेषण किया गया है। उदाहरण के लिए, 1425 कैंसर रोगियों को एक अध्ययन के लिए भर्ती किया जाता है और प्रत्येक रोगी के लिए एक मिलान नियंत्रण भी भर्ती किया जाता है। संक्रमण के लिए इन सभी (1425 * 2) की जाँच की जाती है। प्रत्येक जोड़ी के परिणाम समान तालिका द्वारा दिखाए जा सकते हैं:

             Normal   
           |no  |yes|
Cancer|No  |1157|35 |
      |Yes |220 |13 |

अधिक स्पष्ट रूप से:

                                    Normal:
                                    No infection   Infection  
Cancer patient:     No infection    1157            35      
                    Infection       220             13      

यह दर्शाता है कि यह बहुत अधिक बार होता है कि कैंसर के रोगी को संक्रमण था और नियंत्रण उल्टा नहीं था। इसके महत्त्व को मैकनीमार के परीक्षण द्वारा परखा जा सकता है।

यदि इन रोगियों और नियंत्रणों का मिलान और स्वतंत्र नहीं किया गया था, तो कोई केवल निम्न तालिका बना सकता है और एक छेनी परीक्षण कर सकता है:

            Infection
            No    Yes
Cancer  No  1377   48
        Yes 1192  233

अधिक स्पष्ट रूप से:

                No infection        Infection
No cancer       1377                48
Cancer          1192                233

ध्यान दें कि ये अंक पहली तालिका के मार्जिन के समान हैं:

> addmargins(mat)
      After
Before   No  Yes  Sum
   No  1157   35 1192
   Yes  220   13  233
   Sum 1377   48 1425

यह मैकनिमर के परीक्षण में 'सीमांत आवृत्तियों' और 'सीमांत समरूपता' जैसे शब्दों के उपयोग का कारण होना चाहिए।

दिलचस्प बात यह है कि addmargins फ़ंक्शन यह तय करने में भी मदद कर सकता है कि किस टेस्ट का उपयोग करना है। यदि भव्य-कुल विषयों की संख्या का आधा है (इंगित करते हुए युग्मन किया गया है), तो मैकनेमर का परीक्षण लागू होता है, अन्यथा चेसक्वेयर परीक्षण उपयुक्त है:

> addmargins(mat)
      Normal
Cancer   No  Yes  Sum
   No  1157   35 1192
   Yes  220   13  233
   Sum 1377   48 1425
> 
> addmargins(mat3)
      Infection
Cancer   No  Yes  Sum
   No  1377   48 1425
   Yes 1192  233 1425
   Sum 2569  281 2850

उपरोक्त तालिकाओं के आर कोड ऊपर दिए गए उत्तर से हैं:

mat = as.table(rbind(c(1157, 35), 
                      c( 220, 13) ))
colnames(mat) <- rownames(mat) <- c("No", "Yes")
names(dimnames(mat)) = c("Cancer", "Normal")

mat3 = as.table(rbind(c(1377, 48), 
                     c(1192, 233) ))
colnames(mat3) <- rownames(mat3) <- c("No", "Yes")
names(dimnames(mat3)) = c("Cancer", "Infection")

निम्नलिखित सूडोकोड को भी अंतर जानने में मदद मिल सकती है:

subject_id      result_first_observation    result_second_observation   
1               no                          yes                     
2               yes                         no                      
...

mcnemar.test(table(result_first_observation, result_second_observation))



pair_id     result_case_subject     result_control_subject  
1           no                      yes                     
2           yes                     no                      
...

mcnemar.test(table(result_case_subject, result_control_subject))



subject_id      result_first_test       result_second_test
1               yes                     no
2               no                      yes
..

chisq.test(table(result_first_test, result_second_test))

संपादित करें:

mid-pMcNemar परीक्षण ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3716987/ ) को बेहतर बनाने की क्षमता दिलचस्प है। यह तुलना bऔर cआकस्मिकता तालिका, यानी संख्या जो संख्या है जो हाँ करने के लिए कोई से बदल (जो हाँ या ना अध्ययन के माध्यम से बने रहे की संख्या अनदेखी) बनाम कोई हाँ से बदल की। यह अजगर में द्विपद परीक्षण का उपयोग करके किया जा सकता है, जैसा कि https://gist.github.com/kylebgorman/c8b3fb31c1552ecbaafb पर दिखाया गया है

यह binom.test(b, b+c, 0.5)एक यादृच्छिक परिवर्तन के बाद से बराबर हो सकता है , एक के bबराबर होने की उम्मीद होगी c।

Comments

केवल हस्तक्षेप विश्लेषण के लिए ही नहीं: इसका उपयोग अवलोकन मामले-नियंत्रण डेटा का विश्लेषण करने के लिए किया जाता है।

— एलेक्सिस

Q3 के लिए तालिका से पहले विवरण / सेटअप को देखते हुए, मुझे संदेह है कि "X" एक टाइपो है, लेकिन यह एक अच्छी पकड़ थी और यह थ्रेड +1 के लिए एक उपयोगी योगदान है।

— गुंग - को पुनः स्थापित मोनिका

@mso सम्पादित Q3। यह t1 पर X है! अन्यथा, जैसा कि आप कहते हैं कि यह Q1 से अलग नहीं है। यह Q एक वर्ष से अधिक पुराना है और किसी को वापस उसी विचार के साथ आते देख आश्चर्यचकित रह गया जिसने मुझे भ्रमित किया। बहुत रुचि के साथ पीछा किया!

— Anto

मेरी माफी, ओपी ने Q3 को स्पष्ट किया है, जाहिर है कि यह 2 अलग-अलग समय पर 2 अलग-अलग बीमारियां हैं। फिर से, अच्छी पकड़।

— गूँज - मोनिका