मॉडल जटिलता के उपाय

19

हम एक ही संख्या के मापदंडों के साथ दो मॉडलों की जटिलता की तुलना कैसे कर सकते हैं?

संपादित करें 09/19 : स्पष्ट करने के लिए, मॉडल जटिलता एक माप है कि सीमित डेटा से सीखना कितना कठिन है। जब दो मॉडल मौजूदा डेटा को समान रूप से अच्छी तरह से फिट करते हैं, तो कम जटिलता वाला मॉडल भविष्य के डेटा पर कम त्रुटि देगा। जब सन्निकटन का उपयोग किया जाता है, तो यह तकनीकी रूप से हमेशा सच नहीं हो सकता है, लेकिन यह ठीक है अगर यह व्यवहार में सच हो जाता है। विभिन्न सन्निकटन विभिन्न जटिलताएं देते हैं

model-selection

— यारोस्लाव बुलटोव
स्रोत

क्या आप इस बारे में अधिक जानकारी दे सकते हैं कि मॉडल के बारे में क्या विशेषताएँ उपलब्ध हैं?

— shabbychef

यह एक खुला प्रश्न है, इसलिए मेरा प्रश्न यह होगा कि जटिलता को मापने के लिए मुझे किस प्रकार की विशेषताओं की आवश्यकता होगी? सबसे बुनियादी स्तर पर, एक प्रायिकता मॉडल प्रायिकता वितरण का एक सेट है, और मैं सर्वश्रेष्ठ फिटिंग के सदस्य को चुनकर डेटा के लिए मॉडल फिट करता हूं

— यारोस्लाव बुलटोव

3

क्या, ठीक है, "जटिलता" है? (यह कोई ठोस सवाल नहीं है!) औपचारिक परिभाषा के अभाव में, हम किसी चीज की वैध तुलना करने की उम्मीद नहीं कर सकते।

— whuber

यही मैं अनिवार्य रूप से पूछ रहा हूं

— यारोस्लाव बुलटोव

2

लेकिन क्या आप कम से कम हमें यह संकेत नहीं दे सकते हैं कि "जटिलता" शब्द को पकड़ने के लिए आप जिस मॉडल का प्रयास कर रहे हैं, उसका क्या पहलू है? उसके बिना, यह प्रश्न केवल एक उचित उत्तर को स्वीकार करने के लिए अस्पष्ट है।

— whuber

12

न्यूनतम विवरण लंबाई (जैसे, सामान्य अधिकतम संभावना, फिशर सूचना सन्निकटन) के विभिन्न उपायों के अलावा, उल्लेख के लायक दो अन्य तरीके हैं:

पैरामीट्रिक बूटस्ट्रैप । एमडीएल उपायों की मांग की तुलना में इसे लागू करना बहुत आसान है। Wagenmaker और उनके सहयोगियों द्वारा एक अच्छा पेपर है:
Wagenmakers, E.-J., Ratcliff, R., Gomez, P., और Iverson, GJ (2004)। पैरामीट्रिक बूटस्ट्रैप का उपयोग करके मॉडल की नकल का आकलन करना । जर्नल ऑफ मैथमेटिकल साइकोलॉजी , 48, 28-50।
सार:

हम मॉडल की नकल करने के लिए एक सामान्य नमूनाकरण प्रक्रिया प्रस्तुत करते हैं, जो एक प्रतिस्पर्धी मॉडल द्वारा उत्पन्न डेटा के लिए एक मॉडल की क्षमता के रूप में परिभाषित की जाती है। इस नमूनाकरण प्रक्रिया को पैरामीट्रिक बूटस्ट्रैप क्रॉस-फिटिंग विधि (PBCM; cf. विलियम्स (JRist)। Soc 32 B (1970) 350; बॉयोमीट्रिक्स 26 (1970) 23) कहा जाता है, जो भलाई में फिट के अंतर का वितरण करता है। प्रत्येक प्रतिस्पर्धी मॉडल के तहत अपेक्षित। PBCM के डेटा सूचित संस्करण में, जेनरेटिंग मॉडल में विशिष्ट पैरामीटर मान प्राप्त होते हैं, जो प्रायोगिक डेटा को विचार के तहत फिटिंग करते हैं। डेटा सूचित अंतर वितरण को मॉडल पर्याप्तता की मात्रा का ठहराव की अनुमति देने के लिए फिटनेस में मनाया अंतर की तुलना में किया जा सकता है। PBCM के डेटा बिन संस्करण में, जेनरेटिंग मॉडल में पूर्व ज्ञान के आधार पर पैरामीटर मानों की अपेक्षाकृत व्यापक रेंज होती है। सूचित किए गए डेटा और बिना सूचना वाले PBCM दोनों के अनुप्रयोग को कई उदाहरणों के साथ चित्रित किया गया है।

अपडेट: सादे अंग्रेजी में मॉडल की नकल का आकलन। आप दो प्रतिस्पर्धी मॉडलों में से एक लेते हैं और अनियमित रूप से उस मॉडल के लिए मापदंडों का एक सेट चुनते हैं (या तो डेटा सूचित किया जाता है या नहीं)। फिर, आप इस मॉडल से मापदंडों के चुने हुए सेट के साथ डेटा का उत्पादन करते हैं। इसके बाद, आप दोनों मॉडलों को उत्पादित डेटा को फिट करने देते हैं और जांच करते हैं कि दोनों में से कौन सा मॉडल बेहतर फिट देता है। यदि दोनों मॉडल समान रूप से लचीले या जटिल हैं, तो जिस मॉडल से आपने डेटा का उत्पादन किया है, उसे बेहतर फिट देना चाहिए। हालांकि, अगर अन्य मॉडल अधिक जटिल है, तो यह एक बेहतर फिट दे सकता है, हालांकि डेटा अन्य मॉडल से उत्पादित किया गया था। आप इसे कई बार दोनों मॉडलों के साथ दोहराते हैं (यानी, दोनों मॉडल डेटा का उत्पादन करते हैं और देखते हैं कि दोनों में से कौन सा बेहतर है)। वह मॉडल जो दूसरे मॉडल द्वारा निर्मित डेटा को "ओवरफिट" करता है वह अधिक जटिल है।
क्रॉस-वैलिडेशन : इसे लागू करना भी काफी आसान है। इस प्रश्न के उत्तर देखें । हालांकि, ध्यान दें कि इसके साथ मुद्दा यह है कि नमूना-काटने के नियम (लीव-वन-आउट, के-गुना, आदि) के बीच का विकल्प एक अप्रत्याशित है।

— हेनरिक
स्रोत

मुझे वास्तव में "मॉडल मिमिक्री" समझ में नहीं आता है, लेकिन क्रॉस-वैलिडेशन केवल जटिलता का आकलन करने के कार्य को स्थगित करने के लिए लगता है। यदि आप क्रॉस-वैलिडेशन के रूप में अपने मापदंडों और अपने मॉडल को लेने के लिए डेटा का उपयोग करते हैं, तो प्रासंगिक प्रश्न यह हो जाता है कि इस "मेटा" के लिए आवश्यक डेटा की मात्रा का अनुमान लगाने के लिए कितना अच्छा प्रदर्शन करना है

— यारोस्लाव बुलटोव

@Yaroslaw: मैं वास्तव में क्रॉस-मान्यता के साथ आपके मुद्दे को नहीं समझता, लेकिन ईमानदार होने के लिए मैं वहां कोई विशेषज्ञ नहीं हूं। हालांकि, मैं वास्तव में मॉडल की नकल को मापने के लिए एक बिंदु बनाना चाहूंगा। इसलिए, मेरा अद्यतन उत्तर देखें।

— हेनरिक

4

मुझे लगता है कि यह वास्तविक मॉडल फिटिंग प्रक्रिया पर निर्भर करेगा। आमतौर पर लागू होने वाले उपाय के लिए, आप 1998 में वर्णित स्वतंत्रता के सामान्यीकृत डिग्री पर विचार कर सकते हैं - अनिवार्य रूप से प्रेक्षणों के गड़बड़ी के लिए मॉडल के अनुमानों की संवेदनशीलता की संवेदनशीलता - जो मॉडल जटिलता के उपाय के रूप में काफी अच्छी तरह से काम करता है।

— आर्स
स्रोत

हम्म ... कागज सभी प्रतिगमन के बारे में है, मुझे आश्चर्य है कि अगर यह असतत संभावना आकलन के लिए इस्तेमाल किया जा सकता है। इसके अलावा, मैं वास्तव में इसके लिए दी गई प्रेरणा को नहीं समझता - जीडीएफ डेटा में छोटे बदलावों के लिए मापदंडों की संवेदनशीलता की डिग्री है, लेकिन यह महत्वपूर्ण क्यों है? मैं एक अलग मानकीकरण चुन सकता हूँ जहाँ मूल पैरामीटर में छोटे बदलाव नए पैरामीटर में बड़े बदलाव के अनुरूप होते हैं, इसलिए यह डेटा के लिए अधिक संवेदनशील लगेगा, लेकिन यह एक ही मॉडल है

— यारोस्लाव बुलटोव

यारोस्लाव:> * मैं एक अलग पैरामीटर चुन सकता था जहां मूल पैरामीटर में छोटे बदलाव नए पैरामीटर में बड़े बदलाव के अनुरूप होते हैं, इसलिए यह डेटा के लिए अधिक संवेदनशील लगेगा। क्या आप एक उदाहरण दे सकते हैं (जिसमें एफाइन इक्वेरिएंट अनुमानक शामिल है)? धन्यवाद,

— 22:60 पर user603

1

रेखीय प्रतिगमन में DoF हैट मैट्रिक्स या सेंसिटिविटी के योग का पता लगाने के लिए काम करता है - इसलिए प्रेरणा / अवधारणा सब कुछ बाहर नहीं हैं। टिबशिरानी एंड नाइट ने कोवरियन इन्फ्लेशन मानदंड प्रस्तावित किया जो संवेदनशीलता के बजाय मॉडल अनुमानों के कोवरियन को देखता है। लगता है कि GDF को कई मॉडल प्रक्रियाओं में लागू किया गया है जैसे कि कार्ट और वेवलेट थ्रॉल्डिंग (एडेप्टिव मॉडल चयन पर Ye के पेपर में अधिक विवरण है), और जटिलता के नियंत्रण के लिए पहनावा के तरीकों में, लेकिन मुझे किसी भी असतत आकलन के मामलों की जानकारी नहीं है। कोशिश कर रहा लायक हो सकता है ...

— ars

"Affine equivariant आकलनकर्ताओं" के बारे में नहीं जानते, लेकिन मान लें कि हम इसके बजाय अधिकतम संभावना अनुमानक पर भरोसा करते हैं। Q = f (p) जहां f कुछ बायजेक्शन है। P0, q0 को इसी पैरामीटर में MLE अनुमान का प्रतिनिधित्व करते हैं। p0, q0 में अलग-अलग स्पर्शोन्मुख संस्करण हैं, लेकिन मॉडलिंग डेटा के संदर्भ में, वे समकक्ष हैं। तो सवाल नीचे आता है - किस पैरामीटर में अपेक्षित जोखिम के मापदंडों के प्रतिनिधि की संवेदनशीलता है?

— यारोस्लाव बुलटोव

4

न्यूनतम विवरण लंबाई (एमडीएल) और न्यूनतम संदेश लंबाई (एमएमएल) निश्चित रूप से जांचने लायक है।

जहां तक एमडीएल का सवाल है, एक साधारण कागज जो सामान्यीकृत अधिकतम संभावना (एनएमएल) प्रक्रिया को दिखाता है और साथ ही एसिम्प्टोटिक सन्निकटन है:

एस। डी। रूइज और पी। ग्रुनवाल्ड। अनंत पैरामीट्रिक जटिलता के साथ न्यूनतम विवरण लंबाई मॉडल चयन का एक अनुभवजन्य अध्ययन। जर्नल ऑफ़ मैथमेटिकल साइकोलॉजी, 2006, 50, 180-192

यहां, वे एक जियोमेट्रिक बनाम एक पॉइसन वितरण के मॉडल की जटिलता को देखते हैं। एमडीएल पर एक उत्कृष्ट (मुक्त) ट्यूटोरियल यहां पाया जा सकता है ।

वैकल्पिक रूप से, एमएमएल और एमडीएल दोनों के साथ जांच की गई घातांक वितरण की जटिलता पर एक पेपर यहां पाया जा सकता है । दुर्भाग्य से, एमएमएल पर कोई अप-टू-डेट ट्यूटोरियल नहीं है, लेकिन पुस्तक एक उत्कृष्ट संदर्भ है, और अत्यधिक अनुशंसित है।

— emakalic
स्रोत

1

मैंने वह पेपर पढ़ा है और ऐसा लगता है कि स्टोचस्टिक कॉम्प्लेक्सिटी एक ही आयाम के मॉडल के बीच अंतर न कर पाने की समस्या को ठीक करती है, लेकिन कभी-कभी विभिन्न आयामों के मॉडल के बीच अंतर नहीं कर पाने की समस्या का परिचय देती है। ज्यामितीय वितरण को अनंत जटिलता सौंपी गई है, निश्चित रूप से हम इस तरह के एक सरल मॉडल की उम्मीद नहीं करेंगे!

— यारोस्लाव बुलटोव

अनंत स्टोचस्टिक जटिलता (एससी) के बारे में बहुत अच्छा बिंदु। अनंत एससी की समस्या के समाधान मौजूद हैं, लेकिन बहुत सुरुचिपूर्ण नहीं हैं; रीनसेन का पुनर्संयोजन रैखिक मॉडल में अच्छी तरह से काम करता है, लेकिन पॉइसन / ज्यामितीय समस्या के लिए करना आसान नहीं है। हालांकि, Poisson / ज्यामितीय डेटा का MML (या SMML) एन्कोडिंग ठीक है।

— इमैकलिक

3

न्यूनतम विवरण लंबाई पीछा करने लायक एवेन्यू हो सकती है।

— एस। कोलासा - मोनिका को बहाल करना
स्रोत

2

बस एक त्वरित नोट: न्यूनतम विवरण लंबाई बहुत शक्तिशाली और उपयोगी है, लेकिन परिणाम प्राप्त करने में उम्र लग सकती है, खासकर जब सामान्यीकृत अधिकतम संभावना withslighltty बड़े डेटासेट का उपयोग कर रहे हों। मैंने एक बार केवल एक मॉडल के लिए फोरट्रान कोड चलाने में 10 दिन का समय लिया था

— डेव केलेन सेप

2

"मॉडल जटिलता" से आमतौर पर मॉडल स्थान की समृद्धि का मतलब होता है। ध्यान दें कि यह परिभाषा डेटा पर निर्भर नहीं करती है। रैखिक मॉडल के लिए, मॉडल स्थान की समृद्धि को अंतरिक्ष की कमता के साथ तुच्छ रूप से मापा जाता है। इसे कुछ लेखक "स्वतंत्रता की डिग्री" कहते हैं (हालांकि ऐतिहासिक रूप से, डिग्री-ऑफ़-आज़ादी मॉडल स्पेस और नमूना स्थान के बीच अंतर के लिए आरक्षित थी)। गैर रेखीय मॉडल के लिए, अंतरिक्ष की समृद्धि की मात्रा कम तुच्छ है। सामान्यीकृत डिग्री ऑफ़ फ्रीडम (देखें ars का जवाब) एक ऐसा उपाय है। यह वास्तव में बहुत सामान्य है और इसे किसी भी "अजीब" मॉडल स्थान जैसे कि पेड़, केएनएन और पसंद के लिए इस्तेमाल किया जा सकता है। कुलपति आयाम एक और उपाय है।

जैसा कि ऊपर उल्लेख किया गया है, "जटिलता" की यह परिभाषा डेटा स्वतंत्र है। इसलिए समान मापदंडों वाले दो मॉडल में आमतौर पर समान "जटिलता" होगी।

— JohnRos
स्रोत

1

यारोस्लाव की टिप्पणियों से हेनरिक के जवाब तक:

लेकिन क्रॉस-वैलिडेशन सिर्फ जटिलता का आकलन करने के काम को स्थगित करता है। यदि आप अपने मापदंडों और अपने मॉडल को पार-सत्यापन के रूप में लेने के लिए डेटा का उपयोग करते हैं, तो प्रासंगिक प्रश्न यह हो जाता है कि इस "मेटा" के लिए आवश्यक डेटा की मात्रा का अनुमान लगाने के लिए कितना अच्छा प्रदर्शन करें

$k$ $k$ $k$ $CV(k)$ $k$ $k$

आप इसका एक 'महत्व' स्वाद भी दे सकते हैं क्योंकि प्रक्रिया का परिणाम नमूना पूर्वानुमान त्रुटि में अंतर की शर्तों (इकाइयों) में सीधे होता है।

— user603
स्रोत

1

मैं इस बात से सहमत हूं कि क्रॉस सत्यापन मॉडल जटिलता को मापने की समस्या को हल करता है। शायद मैं गलत प्रश्न पूछ रहा हूं, क्योंकि एक व्यावहारिक प्रश्न फिटिंग प्रक्रिया का नमूना जटिलता है। क्रॉस-वेरिफ़ाइड सीखने वाला विभिन्न मॉडलों की कोशिश करेगा और सबसे कम क्रॉस सत्यापन त्रुटि के साथ एक को चुनें। अब सवाल यह है - क्या इस शिक्षार्थी के एक से अधिक मॉडल होने की संभावना अधिक है जो अधिकतम संभावना द्वारा एकल मॉडल को फिट करता है?

— यारोस्लाव बुलटोव

यारोस्लाव बुलटोव:> हाँ, लेकिन आप केवल नेस्टेड मॉडल की तुलना करने के लिए एमएल का उपयोग कर सकते हैं। जैसा कि आपने (आपके प्रश्न में) निर्दिष्ट मानकों के समान मॉडल के साथ इंसोफ़र का उल्लेख किया है, तब उन्हें नेस्टेड नहीं किया जा सकता है।

— user603

एक और मुद्दा यह है कि क्रॉस-मान्यता मॉडल की जटिलता के बारे में हमारी समझ में नहीं आती है। एआईसी / बीआईसी जैसे उपाय यह स्पष्ट करते हैं कि बहुत सारे पैरामीटर ओवरफिटिंग को प्रोत्साहित करते हैं। अब सवाल बन जाता है - आयाम के अलावा मॉडल के कौन से पहलू ओवरफिट की क्षमता बढ़ाते हैं?

— यारोस्लाव बुलटोव

यारोस्लाव:> फिर, बहुत अच्छी बात।

— user603

यदि ओवरफिटिंग सिग्नल के अलावा शोर को फिट करने के लिए एक मॉडल फिटिंग प्रक्रिया की प्रवृत्ति है, तो हम यह देखने के लिए किसी दिए गए प्रक्रिया को देख सकते हैं कि इस तरह की प्रवृत्ति कहां से उत्पन्न हो सकती है। शायद कल्पना या ज्ञान की कमी के कारण, कुछ अलग प्रक्रियाओं पर विचार करने के दौरान, मैं इसे किसी ऐसी चीज़ के लिए उबाल नहीं सकता, जिसे "मापदंडों की संख्या" (या "मापदंडों की प्रभावी संख्या") के रूप में बहाल नहीं किया जा सकता है। हम इसे अपने सिर पर फ्लिप कर सकते हैं और पूछ सकते हैं: बाकी सभी समान हैं, जब हम अपने डेटा पर शोर पेश करते हैं तो क्या होता है? इसके बाद हम ये के जीडीएफ जैसे उपायों पर पहुँचे।

— ars

0

मॉडल तुलना के लिए सूचना मानदंड के बारे में क्या? उदाहरण देखें http://en.wikipedia.org/wiki/Akaike_information_criterion

मॉडल जटिलता यहां मॉडल के मापदंडों की संख्या है।

— Brause42
स्रोत

एआईसी मॉडल जटिलता का माप नहीं है।

— स्वेन होनस्टीन

@SvenHohenstein, अपने अंतिम वाक्य से, मैं इकट्ठा करता हूं कि वह यह सुझाव नहीं दे रहा है कि एआईसी ही , मॉडल जटिलता का एक उपाय है। Brause42, ध्यान दें कि सवाल विशेष रूप से मॉडल w / समान मापदंडों के बारे में पूछता है। इस प्रकार, एआईसी एसएसई या डिविज़न, या जो भी कम हो जाएगा।

— गंग -