सामान्यीकृत रैखिक मॉडल के साथ पैरामीटर का अनुमान

Question

डिफ़ॉल्ट रूप से जब हम glmR में किसी फ़ंक्शन का उपयोग करते हैं, तो यह अधिकतम पुनरावृत्ति अनुमानों को खोजने के लिए पुनरावृत्त कम से कम वर्ग (IWLS) विधि का उपयोग करता है। अब मेरे दो सवाल हैं।

1. क्या IWLS अनुमान संभावना फ़ंक्शन की वैश्विक अधिकतम गारंटी देता है? इस प्रस्तुति में अंतिम स्लाइड के आधार पर , मुझे लगता है कि यह नहीं है! मैं सिर्फ यह सुनिश्चित करना चाहता था।
2. क्या हम यह कह सकते हैं कि उपरोक्त प्रश्न 1 का कारण इस तथ्य के कारण है कि लगभग सभी संख्यात्मक अनुकूलन विधियां वैश्विक अधिकतम के बजाय स्थानीय अधिकतम पर अटक सकती हैं?

Answer 1

जब आप मापदंडों का अनुमान लगाने की कोशिश कर रहे हैं, तो आप हमेशा एक बंद फॉर्म समाधान चाहते हैं। हालांकि, एक हमेशा मौजूद नहीं होता है (मुझे लगता है कि यह संभव है कि कुछ मामलों में एक हो सकता है लेकिन यह वर्तमान में अज्ञात है)। जब एक बंद फ़ॉर्म समाधान मौजूद नहीं होता है, तो उपयोग करने के लिए सर्वोत्तम संभव पैरामीटर अनुमानों के लिए पैरामीटर स्थान पर खोज करने के लिए कुछ अनुमानी रणनीति को नियोजित किया जाना चाहिए। ऐसी कई खोज रणनीतियाँ हैं (उदाहरण के लिए R; आशा सूची 6 सामान्य उद्देश्य विधियाँ)। IRWLS न्यूटन- राफसन एल्गोरिदम का एक सरलीकृत संस्करण है ।

दुर्भाग्य से, आपके [ 1 ] का उत्तर यह है कि वैश्विक न्यूनतम (अधिकतम) को खोजने के लिए कोई भी अनुमानवादी खोज रणनीति की गारंटी नहीं है। ऐसा होने के तीन कारण हैं:

1. जैसा कि आपके लिंक किए गए प्रेजेंटेशन के स्लाइड 9 में बताया गया है, कोई भी अनूठा समाधान मौजूद नहीं हो सकता है। इसके उदाहरण एकदम सही बहुरूपता हो सकते हैं , या जब डेटा होने की तुलना में अनुमान लगाने के लिए अधिक पैरामीटर हैं ।
2. जैसा कि स्लाइड 10 पर दिया गया है (यह प्रस्तुति काफी अच्छी है, मुझे लगता है), समाधान अनंत हो सकता है। यह लॉजिस्टिक रिग्रेशन में हो सकता है, उदाहरण के लिए, जब आपके पास पूर्ण पृथक्करण हो ।

3. यह भी मामला हो सकता है कि एक परिमित वैश्विक न्यूनतम (अधिकतम) है, लेकिन यह कि एल्गोरिथ्म इसे नहीं ढूंढता है। ये एल्गोरिदम (विशेष रूप से आईआरडब्ल्यूएलएस और एनआर) एक निर्दिष्ट स्थान से शुरू होते हैं और यह देखने के लिए 'चारों ओर' देखते हैं कि क्या किसी दिशा में चलते हुए 'डाउनहिल' (यानी, फिट में सुधार) का गठन होता है। यदि ऐसा है, तो यह उस दिशा में कुछ दूरी पर फिर से फिट होगा और तब तक दोहराएगा जब तक कि अनुमानित / अनुमानित सुधार कुछ सीमा से कम न हो। इस प्रकार, वैश्विक न्यूनतम तक नहीं पहुंचने के दो तरीके हो सकते हैं:

   1. वैश्विक न्यूनतम (अधिकतम) की ओर वर्तमान स्थान से वंश की दर भी सीमा को पार करने के लिए बहुत उथली है और एल्गोरिथ्म समाधान की कमी को रोकता है।
   2. वर्तमान स्थान और वैश्विक न्यूनतम (अधिकतम) के बीच एक स्थानीय न्यूनतम (अधिकतम) है, ताकि यह एल्गोरिथ्म के लिए प्रकट होता है कि आगे के आंदोलन से एक खराब फिट होगा।

अपने [ 2 ] के बारे में, ध्यान रखें कि अलग-अलग खोज रणनीतियों में स्थानीय मिनीमा में पकड़े जाने की अलग-अलग प्रवृत्तियाँ होती हैं। यहां तक ​​कि एक ही रणनीति को कभी-कभी अनुकूलित किया जा सकता है, या बाद के दो समस्याओं को संबोधित करने के लिए एक अलग प्रारंभिक बिंदु से शुरू किया जा सकता है।

Comments

धन्यवाद गंग एक और सवाल, हम अनुकूलन करते समय एक अच्छी शुरुआत कैसे चुन सकते हैं?

— स्टेट

मुझे नहीं पता है कि जरूरी एक सबसे अच्छा तरीका है। कभी-कभी आपको कुछ अलग-अलग शुरुआती बिंदु आज़माने पड़ते हैं, अगर यह अभिसरण करने में विफल रहता है या यदि आप सुनिश्चित नहीं हैं कि आप वैश्विक न्यूनतम में हैं। मुझे लगता है कि एक सामान्य तरीका है कि एक प्रारंभिक बिंदु उठाएं, ओएलएस अनुमानों का उपयोग करना है, भले ही वे उपयुक्त नहीं हैं और आपको पता है कि आपको वहां से आगे बढ़ना होगा।

— गुंग - को पुनः स्थापित मोनिका

Answer 2

आप सही हैं कि सामान्य रूप से, IWLS, अन्य संख्यात्मक अनुकूलन विधियों की तरह, केवल स्थानीय अधिकतम के लिए अभिसरण की गारंटी दे सकते हैं, यदि वे भी अभिसरण करते हैं। यहाँ एक अच्छा उदाहरण है जहाँ आर। में ग्लोब () द्वारा उपयोग किए गए एल्गोरिदम के लिए अभिसरण डोमेन के बाहर शुरुआती मूल्य था। हालांकि, यह ध्यान देने योग्य है कि विहित लिंक के साथ GLM के लिए, संभावना अवतल है, यहां देखें । इस प्रकार, यदि एल्गोरिथ्म अभिसरण करता है, तो यह वैश्विक मोड में परिवर्तित हो जाएगा!

स्लाइड में बताया गया अंतिम मुद्दा एक समस्या है जहाँ MLE एक पैरामीटर के लिए अनंत पर है। यह लॉजिस्टिक रिग्रेशन में हो सकता है जहां पूर्ण अलगाव मौजूद है। ऐसे मामले में, आपको एक चेतावनी संदेश मिलेगा कि सज्जित संभावनाएं 0 या 1 हैं। यह ध्यान रखना महत्वपूर्ण है कि जब ऐसा होता है, तो एल्गोरिथ्म मोड में परिवर्तित नहीं होता है, इस प्रकार इसका एल्गोरिथ्म से कोई लेना-देना नहीं है। एक स्थानीय अधिकतम में फंस गया।