कई प्रकार के मॉडल लगभग समान परिणाम क्यों दे सकते हैं?

Question

मैं ~ 400k रिकॉर्ड और 9 चर के डेटा सेट का विश्लेषण कर रहा हूं। आश्रित चर द्विआधारी है। मैंने एक लॉजिस्टिक रिग्रेशन, एक रिग्रेशन ट्री, एक रैंडम फॉरेस्ट और एक ग्रेडिएंट बूस्टेड ट्री फिट किया है। जब मैं उन्हें किसी अन्य डेटा सेट पर मान्य करता हूं, तो उनमें से सभी आभासी समान फिट संख्या देते हैं।

ऐसा क्यों है? मैं अनुमान लगा रहा हूं कि यह इसलिए है क्योंकि चर अनुपात के लिए मेरी टिप्पणियों में बहुत अधिक है। यदि यह सही है, तो विभिन्न अनुपातों को देने के लिए विभिन्न मॉडलों के लिए चर अनुपात का क्या अवलोकन किया जाएगा?

Answer 1

इस परिणाम का मतलब है कि आप जो भी विधि का उपयोग करते हैं, आप यथोचित इष्टतम नियम (उर्फ बेयस नियम ) के करीब पहुंचने में सक्षम हैं । हस्ती, टिबशिरानी और फ्रीडमैन के " एलीमेंट ऑफ स्टैटिस्टिकल लर्निंग" में अंतर्निहित कारणों को समझाया गया है । उन्होंने प्रदर्शित किया कि अंजीर की तुलना करके विभिन्न तरीकों का प्रदर्शन कैसे होता है। 2.1, 2.2, 2.3, 5.11 (मेरे पहले संस्करण में - बहुआयामी विभाजन पर अनुभाग में), 12.2, 12.3 (समर्थन वेक्टर मशीनें), और शायद कुछ अन्य। यदि आपने वह पुस्तक नहीं पढ़ी है, तो आपको अभी राइट राइट को छोड़ना होगा और उसे पढ़ना होगा। (मेरा मतलब है, यह आपकी नौकरी खोने के लायक नहीं है, लेकिन यह एक होमवर्क या दो लापता होने के लायक है यदि आप एक छात्र हैं।)

मुझे नहीं लगता कि चर अनुपात का अवलोकन स्पष्टीकरण है। ऊपर दिए गए मेरे तर्क के प्रकाश में, यह आपकी कक्षाओं को बहुआयामी स्थान में अलग करने वाली सीमा का अपेक्षाकृत सरल रूप है जिसे आपके द्वारा आजमाए गए सभी तरीकों की पहचान करने में सक्षम है।

Comments

मैं अपने बॉस से पूछूंगा कि क्या मुझे इसके लिए भुगतान करने के लिए कंपनी मिल सकती है।

— JenSCDC

ईएसएल ... अपने मुखपृष्ठ से एक PDF के रूप में 'मुक्त' है भी लायक डाउनलोड आइएसएल (समान लेखकों में से कई के द्वारा) - अधिक व्यावहारिक www-bcf.usc.edu/~gareth/ISL

— seanv507

Answer 2

इसके लायक भी प्रशिक्षण त्रुटियों को देख रहा है।

मूल रूप से मैं आपके विश्लेषण से असहमत हूं। अगर लॉजिस्टिक रिग्रेशन आदि सभी समान परिणाम दे रहे हैं तो यह सुझाव देगा कि 'सबसे अच्छा मॉडल' एक बहुत ही सरल है (यह कि सभी मॉडल समान रूप से अच्छी तरह से फिट हो सकते हैं - जैसे मूल रूप से रैखिक)।

तो फिर सवाल यह हो सकता है कि सबसे अच्छा मॉडल एक साधारण मॉडल क्यों है ?: यह सुझाव दे सकता है कि आपके चर बहुत पूर्वानुमान नहीं हैं। डेटा जानने के बिना विश्लेषण करना कठिन है।

Answer 3

जैसा कि @ seanv507 ने सुझाव दिया है, समान प्रदर्शन केवल एक रैखिक मॉडल द्वारा डेटा को सबसे अलग किए जाने के कारण हो सकता है। लेकिन सामान्य तौर पर, यह कथन कि यह इसलिए है क्योंकि "चर अनुपात का अवलोकन बहुत अधिक है" गलत है। चूँकि आपके आकार का नमूना आकार से लेकर चर की संख्या अनंत तक जाती है, इसलिए आपको अलग-अलग मॉडलों से लगभग पहचान करने की उम्मीद नहीं करनी चाहिए, जब तक कि वे सभी एक ही पूर्वानुमानशील पूर्वाग्रह न प्रदान करें।

Comments

मैंने सिर्फ यह जोड़ने के लिए अपने प्रश्न को संपादित किया कि आश्रित चर द्विआधारी है। इसलिए, एक रेखीय मॉडल उपयुक्त नहीं है।

— जेएनएससीडीसी

"आपको अलग-अलग मॉडल से लगभग पहचान करने की उम्मीद नहीं करनी चाहिए, जब तक कि वे सभी एक ही पूर्वानुमानशील पूर्वाग्रह प्रदान न करें।" मैंने MAE और वास्तविक परिणामों के अनुपात को सत्यापन उपायों के रूप में इस्तेमाल किया और अनुपात बहुत करीब थे।

— जेनएससीडीसी

एंडी, मैं लॉजिस्टिक रिग्रेशन (और लीनियर एसवीएम) को 'लीनियर' मॉडल के रूप में शामिल करूंगा। वे सभी इनपुट के भारित योग द्वारा डेटा को अलग कर रहे हैं।

— seanv507

@ seanv507 बिल्कुल - निर्णय सीमा अभी भी रैखिक है। तथ्य यह है कि द्विआधारी वर्गीकरण किया जा रहा है कि परिवर्तन नहीं करता है।

— बोगट्रॉन

पेड़ों के बारे में क्या? वे वास्तव में मेरे लिए रैखिक नहीं लगते।

— जेएनएनसीडीसी 14

Answer 4

मैं अनुमान लगा रहा हूं कि यह इसलिए है क्योंकि चर अनुपात के लिए मेरी टिप्पणियों में बहुत अधिक है।

मुझे लगता है कि यह स्पष्टीकरण पूर्ण समझ में आता है।

यदि यह सही है, तो विभिन्न अनुपातों को देने के लिए विभिन्न मॉडलों के लिए चर अनुपात का क्या अवलोकन किया जाएगा?

यह संभवतः आपके विशिष्ट डेटा (उदाहरण के लिए, यहां तक ​​कि आपके नौ चर निरंतर, कारक, साधारण या बाइनरी) पर भी निर्भर करता है, साथ ही साथ आपके मॉडल को फिट करते समय आपके द्वारा किए गए किसी भी ट्यूनिंग निर्णय भी।

लेकिन आप अवलोकन-से-चर अनुपात के साथ खेल सकते हैं - चर की संख्या में वृद्धि करके नहीं, बल्कि टिप्पणियों की संख्या को घटाकर। बेतरतीब ढंग से 100 अवलोकनों, मॉडल फिट करें और देखें कि क्या विभिन्न मॉडल अलग-अलग परिणाम देते हैं। (मुझे लगता है कि वे करेंगे।) अपनी कुल टिप्पणियों में से अलग-अलग नमूनों के साथ कई बार ऐसा करें। फिर 1,000 अवलोकनों के उपसमुच्चय ... 10,000 अवलोकनों ... और इसके बाद।

Comments

हम्म वह क्यों है? अधिक टिप्पणियों से यह संभावना बढ़ जाती है कि निर्णय सीमा अधिक जटिल है - अर्थात निश्चित रूप से रैखिक नहीं। और ये मॉडल जटिल मामलों में अलग-अलग काम करते हैं, और साधारण लोगों में भी ऐसा ही करते हैं।

— शॉन ओवेन

@ सीनियन: मुझे लगता है कि मैं आपकी टिप्पणी नहीं समझ रहा हूँ। मेरे जवाब का कौन सा भाग "ऐसा क्यों है" का संदर्भ देता है? ओपी ने रैखिक निर्णय सीमाओं का उपयोग करने के बारे में कुछ नहीं कहा - आखिरकार, वह भविष्यवाणियों को किसी तरह से बदलकर हो सकता है।

— स्टीफन कोलासा

अलग-अलग क्लासिफायर करने वाले अधिक अवलोकन क्यों अधिक समान निर्णय देंगे? मेरा अंतर्ज्ञान विपरीत है। हां, मैं सिर्फ रैखिक निर्णय सीमाओं के बारे में नहीं सोच रहा हूं। इष्टतम सीमा जितनी अधिक जटिल होगी, उतनी ही कम वे सभी उस सीमा के समान होगी। और सीमा अधिक टिप्पणियों के साथ अधिक जटिल हो जाती है।

— सीन ओवेन