क्रमपरिवर्तन परीक्षण में 0 के बराबर पी-मान

Question

मेरे पास दो डेटासेट हैं और मैं जानना चाहूंगा कि क्या वे महत्वपूर्ण रूप से भिन्न हैं या नहीं (यह " दो समूहों में काफी भिन्न है? परीक्षण का उपयोग करने के लिए ")।

मैंने निम्नलिखित में आर करते हुए एक क्रमचय परीक्षण का उपयोग करने का निर्णय लिया:

permutation.test <- function(coding, lncrna) {
    coding <- coding[,1] # dataset1
    lncrna <- lncrna[,1] # dataset2

    ### Under null hyphotesis, both datasets would be the same. So:
    d <- c(coding, lncrna)

    # Observed difference
    diff.observed = mean(coding) - mean(lncrna)
    number_of_permutations = 5000
    diff.random = NULL

    for (i in 1:number_of_permutations) {
        # Sample from the combined dataset
        a.random = sample (d, length(coding), TRUE)
        b.random = sample (d, length(lncrna), TRUE)
        # Null (permuated) difference
        diff.random[i] = mean(b.random) - mean(a.random)
    }

    # P-value is the fraction of how many times the permuted difference is equal or more extreme than the observed difference
    pvalue = sum(abs(diff.random) >= abs(diff.observed)) / number_of_permutations
    pvalue
}

फिर भी, पी-वैल्यू इस पेपर के अनुसार 0 नहीं होना चाहिए: http://www.statsci.org/smyth/pubs/permp.pdf

आप मुझे क्या करने की सलाह देते हैं? क्या पी-वैल्यू की गणना करने का यह तरीका है:

pvalue = sum(abs(diff.random) >= abs(diff.observed)) / number_of_permutations

एक अच्छा रास्ता? या यह निम्नलिखित कर बेहतर है?

pvalue = sum(abs(diff.random) >= abs(diff.observed)) + 1 / number_of_permutations + 1

Comments

$1$a.randomb.randomb.randoma.randomcodinglncrna

क्योंकि पी-मान कम से कम चरम पर मनाया गया मानों का सेट है, यदि कोई क्रमचय वितरण का मूल्यांकन करता है, तो देखा गया आँकड़ा "क्रमपरिवर्तन" में गिना जाता है। रैंडमाइजेशन करते समय, विचार किए गए क्रमिक आंकड़ों (समान कारणों के लिए) के बीच मनाया गया आँकड़ा गिनना आम है।

— Glen_b -रिटनेट मोनिका

Answer 1

विचार-विमर्श

एक क्रमपरिवर्तन परीक्षण एक डेटासेट के सभी प्रासंगिक क्रमपरिवर्तन को उत्पन्न करता है , इस तरह के प्रत्येक क्रमांकन के लिए एक निर्दिष्ट परीक्षण आँकड़ा की गणना करता है, और आँकड़ों के परिणामस्वरूप क्रमिकरण वितरण के संदर्भ में वास्तविक परीक्षण आँकड़ों का आकलन करता है । इसका आकलन करने का एक सामान्य तरीका वास्तविक आंकड़ों की तुलना में आंकड़ों के अनुपात की रिपोर्ट करना है जो (कुछ अर्थों में) "के रूप में या अधिक चरम" हैं। इसे अक्सर "पी-वैल्यू" कहा जाता है।

चूँकि वास्तविक डेटासेट उन क्रमपरिवर्तन में से एक है, इसलिए इसका आँकड़ा आवश्यक रूप से क्रमपरिवर्तन वितरण के भीतर पाए जाने वालों में होगा। इसलिए, पी-मूल्य कभी भी शून्य नहीं हो सकता है।

जब तक डेटासेट बहुत छोटा नहीं होता (लगभग 20-30 कुल संख्या से कम, आम तौर पर) या टेस्ट स्टेटिस्टिक का एक विशेष रूप से अच्छा गणितीय रूप होता है, सभी क्रमपरिवर्तन उत्पन्न करने के लिए व्यावहारिक नहीं है। (एक उदाहरण जहां सभी क्रमपरिवर्तन उत्पन्न होते हैं , आर में क्रमपरिवर्तन परीक्षण में दिखाई देता है ।) इसलिए क्रमपरिवर्तन परीक्षणों के कंप्यूटर कार्यान्वयन आमतौर पर क्रमपरिवर्तन वितरण से नमूना लेते हैं। वे कुछ स्वतंत्र यादृच्छिक क्रमपरिवर्तन उत्पन्न करके ऐसा करते हैं और आशा करते हैं कि परिणाम सभी क्रमपरिवर्तन का प्रतिनिधि नमूना हैं।

इसलिए, इस तरह के एक नमूने से प्राप्त किसी भी संख्या (जैसे कि "पी-मूल्य") केवल क्रमपरिवर्तन वितरण के गुणों के अनुमानक हैं । यह काफी संभव है - और अक्सर तब होता है जब प्रभाव बड़े होते हैं - यह अनुमानित है पी-मूल्य शून्य है। इसमें कुछ भी गलत नहीं है, लेकिन यह तुरंत हेरिटोफोर उपेक्षित मुद्दे को उठाता है कि अनुमानित पी-मूल्य सही एक से कितना भिन्न हो सकता है? क्योंकि एक अनुपात का नमूना वितरण (जैसे अनुमानित पी-मूल्य) द्विपद है, इस अनिश्चितता को एक द्विपद विश्वास अंतराल के साथ संबोधित किया जा सकता है ।

---

आर्किटेक्चर

एक अच्छी तरह से निर्मित कार्यान्वयन सभी मामलों में चर्चा का बारीकी से पालन करेगा। यह एक नियमितता के साथ शुरू होगा कि परीक्षण आँकड़ा की गणना करें, क्योंकि यह दो समूहों के साधनों की तुलना करने के लिए है:

diff.means <- function(control, treatment) mean(treatment) - mean(control)

डेटासेट के यादृच्छिक क्रम को उत्पन्न करने और परीक्षण आँकड़ा लागू करने के लिए एक और दिनचर्या लिखें। इस इंटरफ़ेस को कॉल करने वाले को तर्क के रूप में परीक्षण सांख्यिकीय की आपूर्ति करने की अनुमति मिलती है। यह पहले की तुलना करेगाm सरणी तत्वों की (शेष समूह ("उपचार" समूह) के लिए एक संदर्भ समूह माना जाएगा)।

f <- function(..., sample, m, statistic) {
  s <- sample(sample)
  statistic(s[1:m], s[-(1:m)])
}

क्रमबद्धता परीक्षण पहले वास्तविक डेटा के लिए आँकड़ा ज्ञात करके किया जाता है (यहाँ माना जाता है कि दो सरणियों में संग्रहीत किया जाता है controlऔरtreatment ) और फिर कई स्वतंत्र यादृच्छिक उसके क्रमपरिवर्तन के लिए आँकड़े खोजने:

z <- stat(control, treatment) # Test statistic for the observed data
sim<- sapply(1:1e4, f, sample=c(control,treatment), m=length(control), statistic=diff.means)

अब पी-मूल्य के द्विपद अनुमान और इसके लिए एक आत्मविश्वास अंतराल की गणना करें। एक विधि पैकेज binconfमें अंतर्निहित प्रक्रिया का उपयोग करती HMiscहै:

require(Hmisc)                                    # Exports `binconf`
k <- sum(abs(sim) >= abs(z))                      # Two-tailed test
zapsmall(binconf(k, length(sim), method='exact')) # 95% CI by default

किसी अन्य परीक्षा के परिणाम की तुलना करना बुरा नहीं है, भले ही वह काफी लागू न होने के लिए जाना जाता है: कम से कम आपको परिमाण की भावना का आदेश मिल सकता है जहां परिणाम झूठ बोलना चाहिए। इस उदाहरण में (तुलना का मतलब), एक छात्र टी-टेस्ट आमतौर पर वैसे भी एक अच्छा परिणाम देता है:

t.test(treatment, control)

इस वास्तुकला को एक अधिक जटिल स्थिति में चित्रित किया गया है, काम Rकोड के साथ , टेस्ट में चाहे चर समान वितरण का पालन करें ।

---

उदाहरण

$10$$0$$20$$1.5$

set.seed(17)
control <- rnorm(10)
treatment <- rnorm(20, 1.5)

क्रमपरिवर्तन परीक्षण चलाने के लिए पूर्ववर्ती कोड का उपयोग करने के बाद मैंने क्रमिक वितरण के नमूने के साथ एक ऊर्ध्वाधर लाल रेखा के साथ वास्तविक आंकड़े को चिह्नित करने के लिए साजिश रची:

h <- hist(c(z, sim), plot=FALSE)
hist(sim, breaks=h$breaks)
abline(v = stat(control, treatment), col="Red")

द्विपद विश्वास सीमा गणना में परिणाम हुआ

 PointEst Lower        Upper
        0     0 0.0003688199

$0$$0.00037$3.16e-05$0.00037$$0.00037$$0.05$$0.01$$0.001$ )।

---

टिप्पणियाँ

$k$$N$ $k/N$$(k+1)/(N+1)$$N$ बहुत छोटा है। जिस तरह से पी-वैल्यू का अनुमान लगाया गया है, उसे ठगने के बजाय क्रमपरिवर्तन वितरण का एक बड़ा नमूना लें।

$10$$10^2=100$$0.000005$$1.6$$11.7$प्रति मिलियन भाग: रिपोर्ट किए गए छात्र की तुलना में थोड़ा छोटा है। हालांकि डेटा सामान्य यादृच्छिक संख्या जनरेटर के साथ उत्पन्न हुए थे, जो कि छात्र टी-टेस्ट का उपयोग करने का औचित्य साबित करेंगे, क्रमपरिवर्तन परीक्षा परिणाम छात्र के टी-टेस्ट परिणामों से भिन्न होते हैं, क्योंकि टिप्पणियों के प्रत्येक समूह के भीतर वितरण पूरी तरह से सामान्य नहीं हैं।

Comments

Smyth & Phipson द्वारा दिए गए पेपर में स्पष्ट रूप से बताया गया है कि k / N एक p- मूल्य अनुमानक के लिए एक खराब विकल्प क्यों है। संक्षेप में, प्रासंगिक महत्व स्तरों जैसे कि अल्फा = 0.05, P ((k / N) <अल्फ़ा। H0) के लिए आश्चर्यजनक रूप से अल्फ़ा से अधिक हो सकता है। इसका अर्थ यह है कि k / N का उपयोग इसके पी-वैल्यू एसेलेटर और 0.05 के रूप में एक यादृच्छिक क्रमपरिवर्तन परीक्षण के रूप में किया गया है क्योंकि इसकी अस्वीकृति सीमा कई बार 5% से अधिक शून्य परिकल्पना को खारिज कर देगी! एक शून्य पी-मूल्य इस समस्या का एक चरम मामला है - अल्फा = 0 की एक कसौटी के साथ हम शून्य को कभी अस्वीकार नहीं करने की उम्मीद करते हैं, फिर भी बी / एम शून्य के नीचे शून्य के बराबर हो सकता है, जिससे एक झूठी अस्वीकृति हो सकती है।

— Trisoloriansunscreen

@ ताल एक विशेष उद्देश्य के लिए "एक गरीब पसंद" । हमें दूसरों से सांख्यिकीविदों के रूप में अलग करता है, डेटा विश्लेषण और निर्णय लेने में परिवर्तनशीलता की भूमिका के बारे में हमारी समझ है, साथ ही उस परिवर्तनशीलता को उचित रूप से निर्धारित करने की हमारी क्षमता भी है। यहाँ मेरे जवाब में दृष्टिकोण (और स्पष्ट रूप से वकालत) का दृष्टिकोण है। जब इसे अंजाम दिया जाता है तो आपके द्वारा बताई गई कोई समस्या नहीं होती है, क्योंकि क्रमपरिवर्तन प्रक्रिया के उपयोगकर्ता को इसकी सीमाओं और उसकी शक्तियों को समझने के लिए प्रेरित किया जाता है और उसे अपने उद्देश्यों के अनुसार कार्य करने की स्वतंत्रता होगी।

— whuber

Answer 2

$\frac{B}{M}$$\frac{B+1}{M+1}$ ) एक मान्य (लेकिन रूढ़िवादी) पी-मूल्य अनुमानक है - यह नल की अतिरिक्त अस्वीकृति को जन्म नहीं देता है।

(बी, यादृच्छिक क्रमपरिवर्तन की संख्या है जिसमें एक सांख्यिकीय अधिक या अवलोकन किए गए की तुलना में बराबर है और एम यादृच्छिक नमूने की कुल संख्या है)।

Smyth & Phipson यह भी प्रदर्शित करता है कि ( की अमान्यता$\frac{B}{M}$

Comments

+1 यह पेपर के मुख्य बिंदु का एक अच्छा सारांश है। मैं विशेष रूप से अनुमानित पी-मूल्य और वास्तविक क्रमचय पी-मूल्य के बीच के अंतर पर आपके ध्यान की सराहना करता हूं।

— whuber