दुर्भाग्य से, इस सवाल का एक अच्छा जवाब नहीं है। आप इस तथ्य के आधार पर सबसे अच्छा मॉडल चुन सकते हैं कि यह पूर्ण त्रुटि को कम करता है, चुकता त्रुटि, संभावना को अधिकतम करता है, कुछ मानदंडों का उपयोग करके जो कि कुछ सबसे सामान्य विकल्पों का उल्लेख करने के लिए संभावना (जैसे एआईसी, बीआईसी) को दंडित करता है। समस्या यह है कि उन मानदंडों में से कोई भी आपको वस्तुनिष्ठ रूप से सर्वश्रेष्ठ मॉडल का चयन नहीं करने देगा, बल्कि उस सर्वोत्तम से जिसे आप तुलना करते हैं। एक और समस्या यह है कि अनुकूलन करते समय आप हमेशा कुछ स्थानीय अधिकतम / न्यूनतम में समाप्त हो सकते हैं। फिर भी एक और समस्या यह है कि मॉडल चयन के लिए आपकी पसंद का विकल्प व्यक्तिपरक है । कई मामलों में आप सचेत रूप से, या अर्ध-होशपूर्वक, इस बात पर निर्णय लेते हैं कि आप क्या रुचि रखते हैं और इसके आधार पर मापदंड चुनें। उदाहरण के लिए, AIC के बजाय BIC का उपयोग करने से कम मापदंडों के साथ अधिक परमानेंट मॉडल होते हैं। आमतौर पर, मॉडलिंग के लिए आप अधिक पारसमणि मॉडल में रुचि रखते हैं जो ब्रह्मांड के बारे में कुछ सामान्य निष्कर्षों की ओर ले जाते हैं, जबकि भविष्यवाणी करने के लिए ऐसा नहीं होना चाहिए और कभी-कभी अधिक जटिल मॉडल में बेहतर पूर्वानुमान शक्ति हो सकती है (लेकिन अक्सर और अक्सर नहीं होती है) ऐसा नहीं होता)। अभी तक अन्य मामलों में, कभी-कभी अधिक जटिल मॉडल व्यावहारिक कारणों से पसंद किए जाते हैं , उदाहरण के लिए, MCMC के साथ बायेसियन मॉडल का आकलन करते समय, पदानुक्रमित हाइपरप्रिअर्स वाला मॉडल सरल की तुलना में सिमुलेशन में बेहतर व्यवहार कर सकता है। दूसरी ओर, आमतौर पर हम ओवरफिटिंग से डरते हैंऔर सरल मॉडल में ओवरफिटिंग का जोखिम कम होता है, इसलिए यह एक सुरक्षित विकल्प है। इसके लिए अच्छा उदाहरण एक स्वचालित स्टेपवाइज मॉडल चयन है जिसे आमतौर पर अनुशंसित नहीं किया जाता है क्योंकि यह आसानी से अतिव्यापी और पक्षपाती अनुमानों की ओर जाता है। एक दार्शनिक तर्क भी है, ओकाम का उस्तरा , कि सबसे सरल मॉडल पसंदीदा है। ध्यान दें, कि हम यहां विभिन्न मॉडलों की तुलना करते हुए चर्चा कर रहे हैं, जबकि वास्तविक जीवन की स्थितियों में यह इसलिए भी हो सकता है कि विभिन्न सांख्यिकीय उपकरणों का उपयोग करने से विभिन्न परिणाम हो सकते हैं - इसलिए विधि चुनने की एक अतिरिक्त परत है!
यह सब दुख की बात है, लेकिन मनोरंजक, तथ्य यह है कि हम कभी भी निश्चित नहीं हो सकते हैं। हम अनिश्चितता से शुरू करते हैं, इससे निपटने के लिए तरीकों का उपयोग करते हैं और हम अनीति के साथ समाप्त होते हैं। यह विरोधाभासी हो सकता है, लेकिन याद रखें कि हम आंकड़ों का उपयोग करते हैं क्योंकि हम मानते हैं कि दुनिया अनिश्चित और संभाव्य है (अन्यथा हम भविष्यद्वक्ताओं के कैरियर का चयन करेंगे), इसलिए हम संभवतः विभिन्न निष्कर्षों के साथ कैसे समाप्त हो सकते हैं? कोई उद्देश्य रोक नियम नहीं है, कई संभावित मॉडल हैं, उनमें से सभी गलत हैं (क्लीच के लिए खेद है!) क्योंकि वे जटिल (लगातार बदलते और संभाव्य) वास्तविकता को सरल बनाने की कोशिश करते हैं। हम अपने उद्देश्यों के लिए उनमें से कुछ को दूसरों की तुलना में अधिक उपयोगी पाते हैं और कभी-कभी हम ऐसा करते हैंθμ
आप और भी गहराई से जा सकते हैं और पता लगा सकते हैं कि वास्तविकता में "संभावना" जैसी कोई चीज नहीं है - यह हमारे चारों ओर अनिश्चितता का सिर्फ कुछ अनुमान है और इसके अनुमान लगाने के वैकल्पिक तरीके भी हैं जैसे कि फजी लॉजिक (देखें कोस्को, 1993) चर्चा के लिए)। यहां तक कि बहुत ही मूल उपकरण और प्रमेय जो हमारे तरीकों पर आधारित हैं, वे सन्निकटन हैं और केवल वही नहीं हैं जो संभव हैं। हम बस इस तरह के एक सेटअप में निश्चित नहीं हो सकते।
नियम जो आप खोज रहे हैं वह हमेशा समस्या-विशिष्ट और व्यक्तिपरक है, अर्थात तथाकथित व्यावसायिक निर्णय पर आधारित है। वैसे, बहुत सारे अनुसंधान उदाहरण हैं जिन्होंने दिखाया है कि पेशेवरों को अक्सर बेहतर नहीं होता है और कभी-कभी अपने फैसले में लेप्स की तुलना में भी बदतर होता है (उदाहरण के लिए डैनियल काहमन द्वारा कागज और पुस्तकों में पुनर्जीवित किया गया ), जबकि अधिक आत्मविश्वास होने का खतरा है (यह वास्तव में है इस तर्क पर कि हमें अपने मॉडलों के बारे में "सुनिश्चित" होने की कोशिश क्यों नहीं करनी चाहिए )।
कोस्को, बी। (1993)। फजी सोच: फजी लॉजिक का नया विज्ञान। न्यूयॉर्क: हाइपरियन।