एआईसी मानदंड के आधार पर एक स्टेपवाइज चयन करने के बाद, शून्य परिकल्पना का परीक्षण करने के लिए पी-मूल्यों को देखने के लिए भ्रामक है कि प्रत्येक सही प्रतिगमन गुणांक शून्य है।
वास्तव में, पी-वैल्यू एक टेस्ट स्टेटिस्टिक को देखने की संभावना का प्रतिनिधित्व करते हैं जो आपके पास कम से कम चरम है, जब शून्य परिकल्पना सच है। यदि सत्य है, तो पी-मान का एक समान वितरण होना चाहिए।एच0
लेकिन स्टेपवाइज सिलेक्शन (या वास्तव में, मॉडल चयन के लिए कई अन्य तरीकों के बाद) के बाद, उन शर्तों के पी-वैल्यू जो मॉडल में बने रहते हैं, उनके पास वह संपत्ति नहीं है, यहां तक कि जब हम जानते हैं कि शून्य परिकल्पना सच है।
ऐसा इसलिए होता है क्योंकि हम उन चर का चयन करते हैं जिनके पास छोटे पी-मान हैं या जो हमारे द्वारा उपयोग किए गए सटीक मानदंडों के आधार पर हैं)। इसका मतलब यह है कि मॉडल में छोड़े गए चर के पी-मान आम तौर पर बहुत कम होते हैं, अगर वे एक मॉडल को फिट करते हैं। ध्यान दें कि चयन औसत पिक मॉडल पर होगा जो कि सच्चे मॉडल की तुलना में और भी बेहतर प्रतीत होता है, यदि मॉडल के वर्ग में सही मॉडल शामिल है, या यदि मॉडल का वर्ग पर्याप्त रूप से लचीला है तो सच्चे मॉडल को बारीकी से समझें।
[इसके अलावा और मूल रूप से एक ही कारण के लिए, जो गुणांक बने हुए हैं वे शून्य से पक्षपाती हैं और उनकी मानक त्रुटियां कम पक्षपाती हैं; यह बदले में विश्वास अंतराल और भविष्यवाणियों को प्रभावित करता है - उदाहरण के लिए हमारी भविष्यवाणियां बहुत संकीर्ण होंगी।]
इन प्रभावों को देखने के लिए, हम कई प्रतिगमन ले सकते हैं जहां कुछ गुणांक 0 होते हैं और कुछ नहीं होते हैं, एक चरणबद्ध प्रक्रिया करते हैं और फिर उन मॉडलों के लिए जिनमें चर होते हैं जिनमें शून्य गुणांक होते हैं, पी-मूल्यों को देखें।
(एक ही अनुकरण में, आप गुणांक के लिए अनुमानों और मानक विचलन को देख सकते हैं और उन लोगों की खोज कर सकते हैं जो गैर-शून्य गुणांक के अनुरूप हैं।)
संक्षेप में, सामान्य पी-मानों को सार्थक मानना उचित नहीं है।
मैंने सुना है कि किसी को इसके बजाय मॉडल में छोड़े गए सभी चरों पर विचार करना चाहिए।
जैसा कि स्टेप वाइज के बाद के सभी मूल्यों को 'महत्वपूर्ण' माना जाना चाहिए, मुझे यकीन नहीं है कि यह देखने का एक उपयोगी तरीका है। "महत्व" का मतलब तब क्या होता है?
यहां stepAICn = 100 के साथ 1000 सिम्युलेटेड नमूनों पर डिफ़ॉल्ट सेटिंग्स के साथ आर चलाने का परिणाम है , और दस उम्मीदवार चर (जिनमें से कोई भी प्रतिक्रिया से संबंधित है)। प्रत्येक मामले में मॉडल में छोड़े गए शब्दों की संख्या गिनाई गई थी:
केवल 15.5% समय ही सही मॉडल चुना गया था; बाकी समय मॉडल में ऐसे शब्द शामिल थे जो शून्य से अलग नहीं थे। यदि यह वास्तव में संभव है कि उम्मीदवार चर के सेट में शून्य-गुणांक चर हैं, तो हमारे पास कई शर्तें होने की संभावना है जहां हमारे मॉडल में वास्तविक गुणांक शून्य है। नतीजतन, यह स्पष्ट नहीं है कि उन सभी को गैर-शून्य के रूप में मानना अच्छा है।