जीएलएम के मॉडल-औसत के लिए, क्या हम लिंक या प्रतिक्रिया पैमाने पर भविष्यवाणियों को औसत करते हैं?

Question

जीएलएम की प्रतिक्रिया पैमाने पर मॉडल-औसत पूर्वानुमानों की गणना करने के लिए, जो "सही" है और क्यों?

1. लिंक पैमाने पर मॉडल की औसत भविष्यवाणी की गणना करें और फिर प्रतिक्रिया पैमाने पर वापस-रूपांतरण करें, या
2. बैक ने भविष्यवाणियों को प्रतिक्रिया पैमाने पर बदल दिया और फिर मॉडल औसत की गणना की

यदि मॉडल जीएलएम है तो भविष्यवाणियां करीब हैं लेकिन नहीं के बराबर हैं। विभिन्न आर संकुल दोनों (अलग चूक के साथ) के लिए विकल्प देते हैं। कई सहयोगियों ने मुखर रूप से तर्क दिया है कि # 1 गलत है क्योंकि "हर कोई # 2 करता है"। मेरा अंतर्ज्ञान कहता है कि # 1 "सही" है क्योंकि यह सभी रैखिक गणित को रैखिक रखता है (# 2 औसत चीजें जो एक रैखिक पैमाने पर नहीं हैं)। एक साधारण सिमुलेशन पाता है कि # 2 में बहुत (बहुत!) # 1 से थोड़ा छोटा MSE है। यदि # 2 सही है, तो क्या कारण है? और, अगर # 2 सही है, तो मेरा कारण (रेखीय गणित रैखिक रखें) खराब तर्क क्यों है?

संपादित करें 1: जीएलएम में एक अन्य कारक के स्तर पर सीमांत का मतलब है कि मैं ऊपर पूछ रहा हूँ कि सवाल के समान समस्या है। रसेल लेन्थ ने # 1 (इमामन्स पैकेज में) के "समय" (उनके शब्दों) का उपयोग करके जीएलएम मॉडल के सीमांत साधनों की गणना की और उनका तर्क मेरे अंतर्ज्ञान के समान है।

संपादित करें 2: मैं मॉडल-चयन के लिए मॉडल-चयन का उपयोग कर रहा हूं जहां एक भविष्यवाणी (या एक गुणांक) का अनुमान लगाया गया है कि सभी पर भारित औसत या "सर्वश्रेष्ठ" नेस्टेड मॉडल का एक सबसेट (नीचे संदर्भ और आर पैकेज देखें) ।

यह देखते हुए नेस्टेड मॉडल, जहां मॉडल लिए व्यक्तिगत लिए रैखिक भविष्यवाणी (लिंक स्पेस में) है , और मॉडल लिए वजन है , मॉडल का औसत पूर्वानुमान # 1 से ऊपर का उपयोग कर रहा है (लिंक पर औसत) पैमाने और फिर प्रतिक्रिया पैमाने पर backtransform है):η मीटर मैं मैं हूँ डब्ल्यू मीटर$M$$\eta_i^m$$i$$m$$w_m$$m$

$$\hat{Y}_i = g^{-1}\Big(\sum_{m=1}^M{w_m \eta_i^m}\Big)$$

और # 2 से ऊपर का मॉडल-औसत पूर्वानुमान (सभी भविष्यवाणियों को वापस बदलें और फिर प्रतिक्रिया पैमाने पर औसत है):$M$

$$\hat{Y}_i = \sum_{m=1}^M{w_m g^{-1}(\eta_i^m})$$

मॉडल औसत के कुछ बायेसियन और फ़्रीक्वेंटिस्ट तरीके हैं:

• Hoeting, JA, Madigan, D., Raftery, AE and Volinsky, CT, 1999. बायेसियन मॉडल औसत: एक ट्यूटोरियल। सांख्यिकीय विज्ञान, पीपी .382-401

• बर्नहैम, केपी और एंडरसन, डीआर, 2003. मॉडल चयन और मल्टीमॉडल निष्कर्ष: एक व्यावहारिक जानकारी-सिद्धांतवादी दृष्टिकोण। स्प्रिंगर विज्ञान और व्यापार मीडिया।

• हैनसेन, बीई, 2007. कम से कम वर्ग मॉडल औसत। इकोनोमेट्रिक, 75 (4), पीपी। 1175-1189।

• क्लेस्केंस, जी। और हर्जोर्ट, एनएल, 2008. मॉडल चयन और मॉडल औसत। कैम्ब्रिज बुक्स।

R संकुल में BMA , MuMIn , BAS और AICcmodavg शामिल हैं । (नोट: यह सामान्य रूप से मॉडल-औसत के ज्ञान के बारे में सवाल नहीं है।)

Comments

मुझे लगता है कि आपके सवाल का कोई जवाब नहीं मिलने के कारण मुझे संदेह है कि मेरे जैसे अन्य पाठक, आपके प्रश्न को नहीं समझते हैं। "मॉडल-औसत" से आपका क्या तात्पर्य है? कृपया एक संदर्भ का विस्तार से वर्णन करें ताकि हम समझ सकें कि यह क्या समस्या है जिसे आप हल करने का प्रयास कर रहे हैं। जहां तक ​​मैं देख सकता हूं, एमिंस पैकेज विभिन्न मॉडलों से भविष्यवाणियां औसत नहीं करता है।

— गॉर्डन स्माइथ

यह पूछने के लिए धन्यवाद और मैं देख सकता हूं कि रसेल लैंथ नोट को जोड़ने से मेरा प्रश्न भ्रमित हो गया। मैंने इसे ऊपर स्पष्ट करने का प्रयास किया। Emmeans पैकेज सीमांत साधनों और SE की गणना एक अन्य कारक के स्तर पर करेगा और इन आँकड़ों की गणना लिंक पैमाने पर की जाती है और फिर वापस बदल दी जाती है। अनुभाग देखें "मॉडल हमारा सबसे अच्छा मार्गदर्शक है" ।

— JWalker

मैं वास्तव में इस सवाल के किसी भी जवाब में दिलचस्पी होगी। इस बीच, एक टिप्पणी। MSE परिणाम की गणना बैक-रूपांतरित पैमाने पर की जाती है। मैं शर्त लगाता हूं कि समान सिमुलेशन परिणामों के साथ, एमएसई, जब लिंक स्केल पर गणना की जाती है, तो # 2 के साथ # 1 के साथ छोटा होगा। इसका कारण यह है कि नमूना माध्य गलत पैमाने पर भी, जनसंख्या का कम से कम वर्ग अनुमानक है।

— रोस लेन्थ

Answer 1

आकलनकर्ताओं या भविष्यवाणियों के संयोजन का इष्टतम तरीका उस हानि फ़ंक्शन पर निर्भर करता है जिसे आप कम करने की कोशिश कर रहे हैं (या उपयोगिता फ़ंक्शन जिसे आप अधिकतम करने की कोशिश कर रहे हैं)।

सामान्यतया, यदि हानि फ़ंक्शन प्रतिक्रिया पैमाने पर भविष्यवाणी की त्रुटियों को मापता है, तो प्रतिक्रिया पैमाने पर औसत भविष्यवाणियों को सही करता है। यदि, उदाहरण के लिए, आप प्रतिक्रिया पैमाने पर पूर्वानुमान की अनुमानित चुकता त्रुटि को कम करने की कोशिश कर रहे हैं, तो पीछे का मतलब भविष्यवक्ता आपके मॉडल मान्यताओं के आधार पर, इष्टतम होगा और प्रतिक्रिया पैमाने पर औसत पूर्वानुमान के बराबर हो सकता है।

ध्यान दें कि रैखिक भविष्यवक्ता पैमाने पर औसत असतत मॉडल के लिए बहुत खराब प्रदर्शन कर सकता है। मान लीजिए कि आप द्विआधारी प्रतिक्रिया चर की संभावना का अनुमान लगाने के लिए एक लॉजिस्टिक प्रतिगमन का उपयोग कर रहे हैं। यदि कोई भी मॉडल शून्य की अनुमानित संभावना देता है, तो उस मॉडल के लिए रैखिक भविष्यवक्ता शून्य से अनंत होगा। अनंत मूल्यों की संख्या के साथ अनंत का औसत लेना अभी भी अनंत होगा।

क्या आपने उन संदर्भों से परामर्श किया है जिन्हें आप सूचीबद्ध करते हैं? मुझे यकीन है कि होईटिंग एट अल (1999) उदाहरण के लिए नुकसान कार्यों पर चर्चा करता है, हालांकि शायद बहुत विस्तार से नहीं।

Comments

अति उत्कृष्ट। इस प्रतिक्रिया के लिए धन्यवाद (मैं दूसरों का स्वागत करता हूं!)। मुझे लगता है कि "तब औसत भविष्यवाणियों के इष्टतम या इसके करीब होने की संभावना है" प्रतिक्रिया पैमाने पर औसत भविष्यवाणियों है। लॉजिस्टिक नोट विशेष रूप से सहायक है।

— JWalker

@rvl नुकसान फ़ंक्शन के रैखिकता के बारे में, मैं नुकसान के प्रभाव फ़ंक्शन के संदर्भ में सोच रहा था। मैं सहमत हूं कि यह थोड़ा गूढ़ है, इसलिए मैंने अपनी टिप्पणियों को संपादित किया है। मुझे आपकी अन्य टिप्पणियों से असहमत होना पड़ेगा। जीएलएम का अनुमान एमएल से होता है, न कि स्क्वार्ड एरर लॉस से। नाम के बावजूद, IRLS एल्गोरिदम जो GLMs के लिए लोकप्रिय है, वर्गों की एक राशि को कम नहीं करता है और IRLS कार्यशील चर में प्रतिक्रिया पैमाने पर मानकीकृत अवशिष्ट शामिल हैं, लिंक पैमाने नहीं। किसी भी मामले में, अनुमान और भविष्यवाणी समान नहीं हैं और समान नुकसान कार्यों को करने की आवश्यकता नहीं है।

— गॉर्डन स्मिथ

@rvl सटीक शून्य फिट किए गए मान लॉजिस्टिक प्रतिगमन में अक्सर होते हैं और इस मंच पर कई बार चर्चा की गई है।

— गॉर्डन स्मिथ

@rvl लिंक स्केल पर नुकसान का मूल्यांकन नहीं किया गया है। यह चर्चा मेरे लिए जीएलएम पर एक ट्यूटोरियल की पेशकश करने के लिए सही जगह नहीं है - मैं आपको जीएलएम पर मेरी किताब के बजाय संदर्भित करता हूं जिसे स्प्रिंगर लगभग एक महीने में प्रकाशित करेगा। न ही यह चर्चा आपके लिए मूल प्रश्न का वैकल्पिक उत्तर देने के लिए सही जगह है। यदि आप ऐसा करना चाहते हैं तो एक उचित उत्तर लिखें।

— गॉर्डन स्माइथ

यहाँ GLMs पर हमारी पुस्तक का लिंक दिया गया है: doi.org/10.1007/978-1-4419-0118-7

— गॉर्डन स्माइथ