मेरे नजरिए से, यह मुद्दा उबलता है कि वास्तव में इसका क्या मतलब है कि एक महत्वपूर्ण परीक्षण किया जाए। महत्वपूर्ण परीक्षण या तो शून्य परिकल्पना को अस्वीकार करने या इसे अस्वीकार करने में विफल रहने के निर्णय के साधन के रूप में तैयार किया गया था। फिशर ने स्वयं उस (मनमाना) निर्णय लेने के लिए कुख्यात 0.05 नियम पेश किया।
मूल रूप से, महत्व परीक्षण का तर्क यह है कि उपयोगकर्ता को डेटा एकत्र करने से पहले अशक्त परिकल्पना (पारंपरिक रूप से 0.05) को अस्वीकार करने के लिए एक अल्फा स्तर निर्दिष्ट करना होगा । महत्व परीक्षण पूरा करने के बाद, उपयोगकर्ता शून्य को अस्वीकार कर देता है यदि पी मान अल्फा स्तर से छोटा है (या अन्यथा इसे अस्वीकार करने में विफल रहता है)।
इस कारण से कि आप अत्यधिक महत्वपूर्ण होने के लिए एक प्रभाव की घोषणा नहीं कर सकते हैं (जैसे, 0.001 स्तर पर) क्योंकि आप इसे खोजने के लिए निर्धारित किए गए तुलना में अधिक मजबूत प्रमाण नहीं पा सकते हैं। इसलिए, यदि आप परीक्षण से पहले अपने अल्फा स्तर को 0.05 पर सेट करते हैं, तो आप केवल 0.05 स्तर पर सबूत पा सकते हैं, भले ही आपका पी मान कितना छोटा हो। उसी तरह, उन प्रभावों की बात करना जो "कुछ हद तक महत्वपूर्ण हैं" या "महत्व के करीब" भी बहुत मायने नहीं रखते हैं क्योंकि आपने 0.05 की इस मनमानी कसौटी को चुना है। यदि आप महत्व परीक्षण के तर्क की शाब्दिक व्याख्या करते हैं, तो 0.05 से बड़ा कुछ भी महत्वपूर्ण नहीं है।
मैं मानता हूँ कि "महत्व के करीब" जैसे शब्दों का उपयोग अक्सर प्रकाशन की संभावनाओं को बढ़ाने के लिए किया जाता है। हालांकि, मुझे नहीं लगता कि लेखकों को इसके लिए दोषी ठहराया जा सकता है क्योंकि कुछ विज्ञानों में वर्तमान प्रकाशन संस्कृति अभी भी 0.05 की "पवित्र कब्र" पर बहुत निर्भर करती है।
इनमें से कुछ मुद्दों पर चर्चा की जाती है:
गिगेरेंज़र, जी। (2004)। नासमझ आँकड़े। जर्नल ऑफ सोशियो-इकोनॉमिक्स, 33 (5), 587-606।
रॉयल, आर। (1997)। सांख्यिकीय साक्ष्य: एक संभावना प्रतिमान (खंड 71)। CRC प्रेस।