वितरण की तुलना करने वाले परीक्षण नियम-आउट परीक्षण हैं। वे शून्य परिकल्पना के साथ शुरू करते हैं कि 2 आबादी समान हैं, फिर उस परिकल्पना को अस्वीकार करने का प्रयास करें। हम कभी भी शून्य को सही साबित नहीं कर सकते हैं, बस इसे अस्वीकार कर दें, इसलिए इन परीक्षणों का उपयोग वास्तव में यह दिखाने के लिए नहीं किया जा सकता है कि 2 नमूने एक ही आबादी (या समान आबादी) से आते हैं।
इसका कारण यह है कि वितरण में मामूली अंतर हो सकता है (जिसका अर्थ है कि वे समान नहीं हैं), लेकिन इतने छोटे कि परीक्षण वास्तव में अंतर नहीं पा सकते हैं।
2 वितरण पर विचार करें, पहला 0 से 1 तक समान है, दूसरा 2 वर्दी का मिश्रण है, इसलिए यह 1 से 0 और 0.999 के बीच है, और 1 से 9.999 और 10 (0 अन्यत्र) के बीच भी है। तो स्पष्ट रूप से ये वितरण अलग-अलग हैं (चाहे अंतर सार्थक हो, यह एक और सवाल है), लेकिन यदि आप प्रत्येक से 50 का नमूना आकार लेते हैं (कुल 100) तो 90% से अधिक संभावना है कि आप केवल 0 और 0.999 के बीच मान देखेंगे कोई वास्तविक अंतर देखने में असमर्थ होना।
वहाँ करने के तरीके हैं जिन्हें समतुल्यता परीक्षण कहा जाता है जहां आप पूछते हैं कि क्या 2 वितरण / आबादी समतुल्य हैं, लेकिन आपको यह परिभाषित करने की आवश्यकता है कि आप क्या समतुल्य मानते हैं। यह आमतौर पर होता है कि अंतर का कुछ माप किसी दी गई सीमा के भीतर होता है, अर्थात 2 साधनों में अंतर 2 साधनों के औसत के 5% से कम होता है, या केएस आँकड़ा किसी दिए गए कट-ऑफ के नीचे होता है, यदि आप फिर अंतर सांख्यिकीय के लिए एक विश्वास अंतराल की गणना कर सकता है (साधनों का अंतर केवल टी आत्मविश्वास अंतराल, बूटस्ट्रैपिंग, सिमुलेशन या अन्य आंकड़ों के लिए अन्य तरीकों की आवश्यकता हो सकती है)। यदि संपूर्ण आत्मविश्वास अंतराल "समतुल्यता क्षेत्र" में आता है, तो हम 2 आबादी / वितरण को "समतुल्य" मानते हैं।
कठिन हिस्सा समझ रहा है कि समतुल्यता क्षेत्र क्या होना चाहिए।