क्या सांख्यिकीविदों की क्षमता को आंकने के लिए 'सुनहरा मापदंड' है?

Question

मैं पिछले सप्ताहांत में आर (प्रथम संस्करण) के साथ फ़ारवे की पाठ्यपुस्तक रैखिक मॉडल पढ़ रहा था । फ़ारवे के पास "सांख्यिकीय रणनीति और मॉडल अनिश्चितता" नामक एक अध्याय था। उन्होंने वर्णन किया (पृष्ठ 158) कि उन्होंने बहुत जटिल मॉडल का उपयोग करके कृत्रिम रूप से कुछ डेटा उत्पन्न किया, फिर उन्होंने अपने छात्रों को डेटा को मॉडल करने और छात्रों के अनुमानित परिणामों बनाम पढ़ने के परिणामों की तुलना करने के लिए कहा । दुर्भाग्य से, अधिकांश छात्रों ने परीक्षण डेटा को ओवर-फिट किया और मार्क से पूरी तरह से अनुमानित मान दिया। इस घटना की व्याख्या करने के लिए, उन्होंने मुझे कुछ बहुत प्रभावशाली लिखा:

"मॉडल इतने अलग थे कि छात्रों ने विभिन्न तरीकों को विभिन्न आदेशों में लागू किया। कुछ ने परिवर्तन और अन्य से पहले चर चयन किया, रिवर्स। कुछ ने मॉडल बदलने के बाद एक विधि को दोहराया और अन्य ने नहीं किया। मैं रणनीतियों पर चला गया। उनमें से कई छात्रों ने इस्तेमाल किया और जो कुछ भी किया था, उसके साथ स्पष्ट रूप से कुछ भी गलत नहीं पाया । एक छात्र ने अपने अनुमानित मूल्यों की गणना करने में गलती की, लेकिन शेष में कुछ भी गलत नहीं था। इस असाइनमेंट पर प्रदर्शन नहीं दिखा। परीक्षा में इससे कोई संबंध नहीं है। ”

मुझे शिक्षित किया गया कि मॉडल भविष्यवाणी सटीकता हमारे लिए सर्वश्रेष्ठ मॉडल प्रदर्शन का चयन करने के लिए 'सुनहरा मानदंड' है। अगर मैं गलत नहीं हूं, तो यह कागल प्रतियोगिताओं में इस्तेमाल की जाने वाली लोकप्रिय विधि भी है। लेकिन यहाँ फ़रावे ने कुछ अलग प्रकृति का अवलोकन किया, कि मॉडल की भविष्यवाणी का प्रदर्शन कुछ भी नहीं कर सकता थाशामिल सांख्यिकीय की क्षमता के साथ। दूसरे शब्दों में, क्या हम भविष्य कहनेवाला शक्ति के संदर्भ में सर्वश्रेष्ठ मॉडल का निर्माण कर सकते हैं या नहीं, यह वास्तव में निर्धारित नहीं है कि हम कितने अनुभवी हैं। इसके बजाय यह एक विशाल 'मॉडल अनिश्चितता' (अंधा भाग्य?) द्वारा निर्धारित किया जाता है। मेरा सवाल है: क्या यह वास्तविक जीवन डेटा विश्लेषण में भी सच है? या मैं कुछ बहुत ही बुनियादी के साथ भ्रमित था? क्योंकि अगर यह सच है, तो वास्तविक डेटा विश्लेषण के लिए निहितार्थ बहुत बड़ा है: डेटा के पीछे "वास्तविक मॉडल" को जाने बिना, अनुभवी / अनुभवहीन सांख्यिकी द्वारा किए गए काम के बीच कोई आवश्यक अंतर नहीं है: दोनों ही सामने जंगली अनुमान हैं प्रशिक्षण डेटा उपलब्ध है।

Comments

+1 अच्छा सवाल। एक और कोण की पेशकश करने के लिए, कहो कि विश्लेषकों में से एक को वास्तविक मोड पता है - फिर उसकी भविष्यवाणियां खराब भी हो सकती हैं! इसलिए असली मॉडल को जानने के बाद भी आप इसे देखेंगे। साइकोमेट्रिका में हाग्गार्टी और श्रीविनासन 1991 का अवलोकन महत्वपूर्ण हो सकता है कि "प्रैक्टिस [...] का निष्कर्ष यह है कि उच्च भविष्य कहनेवाला सटीकता के साथ एक मॉडल" ट्रूअर "एक वैध निष्कर्ष नहीं है"।

— मोमो

मैंने अभी तक पुस्तक को नहीं देखा है, लेकिन "चर चयन" और "परिवर्तन" पहले से ही रिंग चेतावनी घंटी है। स्वचालित मॉडल चयन के लिए एल्गोरिदम देखें और प्रकृति के बीच संबंध और प्रतिगमन में निर्भरता । मैं सांख्यिकीविदों की वास्तविक कार्य-क्षमता के साथ सांख्यिकीविदों के परीक्षा प्रदर्शन को भी सीमित नहीं करूँगा।

— स्कॉर्टी - मोनिका

फ़ारवे द्वारा दी गई यह जानकारी ग़ैर-ज़रूरी है कि आंकड़ों के क्षेत्र के बारे में व्यापक सामान्य सिद्धांत के आधार के रूप में इस्तेमाल की जाए। मैं इस तरह के गैर-प्रजनन योग्य उदाहरणों के आधार पर भविष्य कहनेवाला मॉडलिंग के बारे में एक मॉडल का निर्माण नहीं करना चाहता। यह भी संभव है कि वे, होशियारी से या नहीं, चेरी-उठाया गया था।

— rolando2

एक तार्किक रूप से मान्य निष्कर्ष जो इस उपाख्यान से प्राप्त किया जा सकता है वह यह है कि फ़ारवे के किसी भी छात्र ने अपने पूर्वानुमान परीक्षण में अच्छा प्रदर्शन करने के लिए आवश्यक कौशल हासिल नहीं किया था। उस परिणाम और अनुभवी सट्टेबाजों के प्रदर्शन के बारे में आपकी अटकलों के बीच कोई संबंध बनाना मुश्किल है।

— whuber

@ शुभंकर: मुझे ऐसा नहीं लगता। मैं मानता हूं कि 28 छात्र थोड़े छोटे हैं, लेकिन मुझे लगता है कि इस वास्तविक अवलोकन के कुछ गंभीर प्रभाव हैं। अगर फ़रावे ने असली मॉडल बनाया, और वह कई छात्रों के काम के साथ चला गया, तो कोई गंभीर गलती नहीं मिली, फिर भी भविष्यवाणियां इस बात से दूर हैं कि उन्हें क्या होना चाहिए। फिर यह 'मॉडल अनिश्चितता' के बारे में कुछ कहता है, कि मतभेदों की तुलना करने के लिए एक अलग विश्लेषक द्वारा किए गए काम की कम से कम जरूरत है, मूल विश्लेषक चाहे कितना भी 'अनुभवी' क्यों न हो। मुझे लगता है कि यह मेरे लिए काफी चिंताजनक है।

— बॉम्बेक्स मोरी

Answer 1

मैंने इस पर अपने विभाग के प्रोफेसर से पूछा। उन्होंने कहा कि वह इसके बारे में बिल्कुल भी आश्चर्यचकित नहीं थे। उन्होंने इसे देखने के लिए निम्नलिखित तरीके का सुझाव दिया: फ़ारवे ने जो किया वह केवल एक बार का प्रयोग था, और यह आश्चर्यजनक नहीं है कि परिणामों में अंतिम ग्रेड के साथ कोई संबंध नहीं है। लेकिन अगर फ़ारवे छात्रों के एक ही समूह के साथ 100 बार अपने 'प्रयोग' को दोहराते हैं, तो उन्हें यकीन है कि छात्रों ने सीखा कि बेहतर प्रदर्शन अच्छा होगा, आत्मविश्वास अंतराल के समान। इसलिए उनकी राय में अनुभव मायने रखता है, यह सिर्फ एक समय का सामाजिक प्रयोग है जो मॉडल की अनिश्चितता के कारण इसे नहीं दिखा सका।

Comments

मुझे वह बहाना उल्लसित लगता है। मुझे लगता है कि यही कारण है कि आंकड़े "डेटा साइंस" (या फिर से ब्रांडेड) द्वारा प्रतिस्थापित किए जा रहे हैं। लोग महसूस करने लगे हैं कि सांख्यिकी-जैसे-सिखाया-इन-यूनिवर्सिटीज भविष्यवाणी में बहुत अच्छा नहीं है, और बिना किसी पूर्वसूचक शक्ति वाले मॉडल बेकार हैं।

— फ्लॉंडर

@Flounderer: मुझे लगता है कि यह वास्तव में एक बहाना नहीं है, और आपने जो लिखा है वह वास्तव में इस मामले से अच्छी तरह से जुड़ा नहीं हो सकता है। वास्तविक जीवन में सबसे पहले एक परीक्षण सेट और एक प्रशिक्षण सेट दोनों होते हैं, फ़रावे के मामले में इसके विपरीत केवल एक प्रशिक्षण सेट उपलब्ध है। दूसरा अगर आप फ़ारवे के मॉडल पर एक नज़र डालते हैं, तो यह अत्यधिक गैर-रैखिक है जैसे कि प्रतिगमन विधियां बहुत अच्छी तरह से काम नहीं करती हैं। इसलिए सभी रैखिक मॉडल केवल जंगली अनुमान हैं। प्रयोग का नैतिक "सभी मॉडल गलत हैं" के बजाय "सांख्यिकी-जैसे-सिखाया-इन-यूनिवर्सिटीज पूर्ववर्ती में बहुत अच्छा नहीं है"।

— बॉम्बेक्स मोरी

@Flounderer: दूसरे शब्दों में, मेरा मानना ​​है कि अगर मैं (या मंच में कोई भी) फ़ारवे छात्र की स्थिति में है, बीस साल पहले इस अजीब प्रशिक्षण सेट का सामना कर रहे हैं, तो हम केवल रैखिक मॉडल का उपयोग करके बेहतर करने की संभावना नहीं है। मुझे नहीं लगता कि यह "सांख्यिकी-जैसा-सिखाया-इन-यूनिवर्सिटी" से संबंधित कुछ है।

— बॉम्बेक्स मोरी

Answer 2

छात्रों के मॉडल लगभग सभी ओवरफिट थे। N डेटा बिंदुओं के साथ, कोई भी हमेशा आदेश n-1 का एक आदर्श बहुपद फिट कर सकता है। इस तरह के एक मॉडल अतिदेय त्रुटि के लिए कुछ भी नहीं छोड़ रहा है। ऐसा प्रतीत होता है कि छात्रों ने समान ओवरफिटिंग त्रुटियां की हैं, लेकिन संभवतः अलग-अलग कार्यों के साथ।

ओवरफिटिंग एक त्रुटि है जो केवल छात्रों द्वारा की जानी चाहिए। और यह सुझाव देता है कि मॉडलिंग के लिए अनुभव और शिक्षा आवश्यक योग्यता है।

Comments

"ओवरफिटिंग एक त्रुटि है जिसे केवल छात्रों द्वारा किया जाना चाहिए" सहन करने के लिए एक बहुत ही उच्च मानक है। मॉडलिंग कठिन है। हो सकता है कि "ओवरफिटिंग कुछ ऐसा है जो मॉडलर्स अनुभव और शिक्षा के माध्यम से पहचानना और बचना सीखते हैं" सच के करीब होगा?

— मैथ्यू ड्र्यू