जब हम जीएलएम फिट करते हैं तो हम फिशर स्कोरिंग का उपयोग करने के बारे में एक बड़ा उपद्रव क्यों करते हैं?

मैं इस बारे में उत्सुक हूं कि हम फिटिंग GLMS का इलाज क्यों करते हैं क्योंकि वे कुछ विशेष अनुकूलन समस्या थी। क्या वो? यह मुझे लगता है कि वे केवल अधिकतम संभावना हैं, और हम संभावना को लिखते हैं और फिर ... हम इसे अधिकतम करते हैं! इसलिए हम लागू गणित साहित्य में विकसित अनुकूलन योजनाओं के असंख्य के बजाय फिशर स्कोरिंग का उपयोग क्यों करते हैं?

generalized-linear-model optimization fisher-scoring

— एंड्रयू रॉबिन्सन
स्रोत

जहां तक मैं समझता हूं कि इस तथ्य के साथ यह करना है कि फिशर स्कोरिंग (जो अपेक्षित हेसियन का उपयोग करता है) पर आधारित एल्गोरिथ्म को आपके गुणांक वेक्टर के अनुमानों को नियमित न्यूटन-राफ्सन (जो कि देखे गए हिसियन का उपयोग करता है) के विपरीत शुरू करने की आवश्यकता नहीं है, जो करता है ... यह फिशर का उपयोग करने के लिए बहुत आसान स्कोरिंग बनाता है। लेकिन कुछ हाइब्रिड एल्गोरिदम का उपयोग करते हैं, IRLS से शुरू करते हैं और फिर न्यूटन-राफसन पर स्विच करते हैं। हार्डिन एंड हिल्ब की पुस्तक में धारा 3.4 देखें, gen.lib.rus.ec/…

— टॉम वेन्स्लेर्स

जवाबों:

फिशर का स्कोरिंग न्यूटन की विधि का एक संस्करण है, जो GLMs के साथ पहचाना जाता है, इसके बारे में विशेष रूप से कुछ खास नहीं है, इस तथ्य के अलावा कि फिशर की सूचना मैट्रिक्स के घातीय परिवार में यादृच्छिक चर खोजने के लिए आसान नहीं है। यह बहुत सी अन्य गणित-स्टेट सामग्री में भी सम्‍मिलित है जो एक ही समय के बारे में बताती है, और फिशर जानकारी का अर्थ है कि इसके बारे में एक अच्छा ज्यामितीय अंतर्ज्ञान देता है।

ऐसा कोई कारण नहीं है कि अगर आप चाहें तो मैं कुछ अन्य ऑप्टिमाइज़र का उपयोग न करने के बारे में सोच सकता हूं, इसके अलावा आपको पहले से मौजूद पैकेज का उपयोग करने के बजाय इसे हाथ से कोड करना पड़ सकता है। मुझे संदेह है कि फिशर स्कोरिंग पर कोई मजबूत जोर (वजन कम करने के क्रम में) शिक्षाशास्त्र, सहजता, व्युत्पत्ति, ऐतिहासिक पूर्वाग्रह और "नहीं-आविष्कार-यहाँ" सिंड्रोम का एक संयोजन है।

— धनी
स्रोत

मुझे नहीं लगता कि यह काफी सही है - IRLS एल्गोरिथ्म की उम्मीद हेस्सियन का उपयोग करता है, जबकि न्यूटन- Raphson मनाया हेस्सियन उपयोग करता है - देखना gen.lib.rus.ec/... 2 एल्गोरिदम के एक विस्तृत तुलना के लिए ...

— टॉम

@TomWenseleers शायद आप एक जवाब में विस्तृत कर सकते हैं? इसका मतलब यह है कि बीटा रिग्रेशन की एल्गोरिदमिक जटिलता यह कारण नहीं है कि इसे जीएलएम से एक अलग मुद्दे के रूप में माना जाता है?

— फ्रैंस रोडेनबर्ग

@Frans रॉडेनबर्ग बीटा प्रतिगमन में इतनी अच्छी तरह से नहीं है, लेकिन मेरा मानना है कि मानक IRLS विधि केवल घातीय परिवार से एकल-पैरामीटर वितरण के लिए काम करती है, जबकि बीटा प्रतिगमन एक 2-पैरामीटर घातीय वितरण है ... आँकड़े देखें ।staxexhange.com/ प्रश्न / 304538 /… कॉक्स आनुपातिक खतरा और नकारात्मक द्विपद भी प्रत्येक के पास एक अतिरिक्त पैरामीटर है, और वे एक संशोधित IRLS अहंकार का उपयोग करके फिट हो सकते हैं, इसलिए वास्तव में निश्चित नहीं ...

— टॉम Wenseleers

फिशर स्कोरिंग / IRLS को अपेक्षित हेसियन btw के साथ उपयोग करने का अन्य लाभ यह है कि एल्गो को इनिशियलाइज़ करना बहुत आसान है - हार्डिन एंड हिल्ब की पुस्तक में धारा 3.4 देखें। न्यूटन रफसन के साथ यह विरोधाभास है जहां आपको गुणांक वेक्टर का प्रारंभिक अनुमान लगाने की आवश्यकता है, जो थोड़ा मुश्किल है ... कभी-कभी लोग हाइब्रिड एल्गोरिदम का उपयोग करते हैं, और फ़िशर स्कोरिंग के साथ IRLS के साथ शुरू होता है और फिर कुछ पुनरावृत्तियों के बाद नियमित रूप से न्यूटन राफ़सन पर स्विच करते हैं ...

— टॉम वेन्सलेर्स

यह ऐतिहासिक है, और व्यावहारिक है; मॉडल के सेट के रूप में नेल्डर और वेडरबर्न रिवर्स-इंजीनियर GLMs, जहां आप फिशर स्कोरिंग (यानी Iteratively Reightighted Least Squares) का उपयोग करके MLE पा सकते हैं। एल्गोरिदम मॉडल से पहले आया था, कम से कम सामान्य मामले में।

यह भी याद रखने योग्य है कि IWLS वह था जो उन्होंने 70 के दशक की शुरुआत में वापस उपलब्ध किया था, इसलिए GLMs के बारे में जानने के लिए मॉडलों का एक महत्वपूर्ण वर्ग था। तथ्य यह है कि आप न्यूटन-प्रकार के एल्गोरिदम (वे आमतौर पर अद्वितीय MLEs) का उपयोग करके मज़बूती से GLM संभावना को अधिकतम कर सकते हैं, इसका मतलब यह भी था कि GLIM जैसे कार्यक्रमों का उपयोग संख्यात्मक अनुकूलन में कौशल के बिना किया जा सकता है।

— अतिथि
स्रोत

— टॉम