(अस्वीकरण: मैं आज अच्छी तरह से टाइप नहीं कर सकता: मेरा दाहिना हाथ फ्रैक्चर हो गया है!)
अन्य उत्तरों में गैर-पैरामीट्रिक परीक्षण का उपयोग करने की सलाह के विपरीत, आपको यह विचार करना चाहिए कि बहुत छोटे नमूना आकारों के लिए वे विधियां बहुत उपयोगी नहीं हैं। यह समझना आसान है कि क्यों: अत्यंत छोटे आकार वाले अध्ययनों में, समूहों के बीच कोई अंतर तब तक स्थापित नहीं किया जा सकता जब तक कि बड़े प्रभाव आकार का अवलोकन न किया जाए। गैर-पैरामीट्रिक तरीके, हालांकि, समूहों के बीच अंतर की भयावहता की परवाह नहीं करते हैं। इस प्रकार भले ही दो समूहों के बीच का अंतर बहुत बड़ा हो, एक छोटे से नमूने के आकार के साथ एक गैर-पैरामीट्रिक परीक्षण हमेशा शून्य परिकल्पना को अस्वीकार करने में विफल होगा।
इस उदाहरण पर विचार करें: दो समूह, सामान्य वितरण, एक ही विचरण। समूह 1: औसत 1.0, 7 नमूने। समूह 2: औसत 5, 2 नमूने। औसत के बीच एक बड़ा अंतर है।
wilcox.test(rnorm(7, 1), rnorm(2, 5))
Wilcoxon rank sum test
data: rnorm(7, 1) and rnorm(2, 5)
W = 0, p-value = 0.05556
गणना किया गया पी-मान 0.05556 है जो अशक्त परिकल्पना (0.05 पर) को अस्वीकार नहीं करता है। अब, भले ही आप 10 के कारक द्वारा दोनों साधनों के बीच की दूरी बढ़ाएँ, आपको समान पी-मान मिलेगा:
wilcox.test(rnorm(7, 1), rnorm(2, 50))
Wilcoxon rank sum test
data: rnorm(7, 1) and rnorm(2, 50)
W = 0, p-value = 0.05556
अब मैं आपको टी-टेस्ट के साथ उसी सिमुलेशन को दोहराने के लिए आमंत्रित करता हूं और बड़े (औसत 5 बनाम 1) और विशाल (औसत 50 बनाम 1) अंतर के मामले में पी-मूल्यों का निरीक्षण करता हूं।