R में MLE के लिए फिशर स्कोरिंग v / s कोऑर्डिनेट डिसेंट

Question

R बेस फ़ंक्शन glm()MLE के लिए फ़िशर स्कोरिंग का उपयोग करता है, जबकि glmnetसमान समीकरण को हल करने के लिए समन्वय डिसेंट विधि का उपयोग करता प्रतीत होता है। फिशर स्कोरिंग की तुलना में कोऑर्डिनेट डिसेंट अधिक समय-कुशल है, क्योंकि फिशर स्कोरिंग कुछ अन्य मैट्रिक्स ऑपरेशनों के अलावा, दूसरे ऑर्डर व्युत्पन्न मैट्रिक्स की गणना करता है। जो प्रदर्शन करने के लिए महंगा बनाता है, जबकि समन्वित वंश O (np) समय में एक ही कार्य कर सकता है।

R आधार फ़ंक्शन फिशर स्कोरिंग का उपयोग क्यों करेगा? क्या इस पद्धति का अन्य अनुकूलन विधियों पर लाभ है? वंश और फिशर स्कोरिंग का समन्वय कैसे होता है? मैं इस क्षेत्र को करने के लिए अपेक्षाकृत नया हूं इसलिए कोई भी मदद या संसाधन मददगार होगा।

Answer 1

सुनिश्चित करने का एकमात्र तरीका बेंचमार्किंग है, लेकिन glm फिशर स्कोरिंग के लिए समन्वित वंश की तुलना में तेज़ होना चाहिए। फिशर स्कोरिंग न्यूटन रैपसन का एक विशेष मामला है, जिसमें समन्वित वंश की तुलना में अभिसरण की तेज दर है (न्यूटन-राफसन द्विघात रूप से अभिसरण है, जबकि समन्वित वंश रैखिक रूप से अभिसरण है।) जबकि दूसरी-व्युत्पन्न जानकारी की गणना का अर्थ है कि प्रत्येक चरण में अधिक कदम उठाए जाते हैं। समय, इसे समन्वित वंश की तुलना में कई कम चरणों की आवश्यकता हो सकती है।

लैस्सो के लिए, दंड शब्द का विशेष रूप इसे एक बहुत ही विशेष मामला बनाता है (और वास्तव में पूर्ण मूल्य वैसे भी अलग नहीं है, हालांकि कभी-कभी आप इसे चालाकी कर सकते हैं)। इस विशेष समस्या के लिए, समन्वित वंश विशेष रूप से तेज साबित होता है। कई अन्य अनुकूलन समस्याएं हैं जहां व्यवहार में न्यूटन-राफसन तेजी से है।