अच्छा प्रश्न। सबसे पहले, याद है, जहां इस सन्निकटन से आता है। चलो ( एक्स मैं , y मैं ) अपने डेटा अंक हो, च ( ⋅ ) अपने मॉडल हो सकता है और बीटा अपने मॉडल के मापदंडों हो। फिर गैर-रैखिक कम से कम वर्गों की समस्या का उद्देश्य फ़ंक्शन 1 हैH≈JTJ(xi,yi)f(⋅)βजहाँrअवशिष्टों का सदिश है,ri=yi-f(xi,β)। उद्देश्य समारोह का सही हेस्सियन हैएच=जम्मूटीजे+Σआरमैं∇2आरमैं। तो इस सन्निकटन में त्रुटि हैएच-जम्मूटीजे=Σआरमैं∇2आरमैं12rTrrri=yi−f(xi,β)H=JTJ+∑ri∇2riH−JTJ=∑ri∇2ri। यह एक अच्छा सन्निकटन है जब अवशिष्ट, स्वयं, छोटे होते हैं; या जब अवशिष्ट के 2 व्युत्पन्न छोटा है। रैखिक कम से कम वर्गों को एक विशेष मामला माना जा सकता है जहां अवशेषों का दूसरा व्युत्पन्न शून्य है।
परिमित अंतर सन्निकटन के लिए, यह अपेक्षाकृत सस्ता है। एक केंद्रीय अंतर की गणना करने के लिए, आपको जैकोबियन को अतिरिक्त बार एन का मूल्यांकन करने की आवश्यकता होगी (एक अतिरिक्त अंतर से आपको एन अतिरिक्त मूल्यांकन खर्च होंगे , इसलिए मैं परेशान नहीं करूंगा)। केंद्रीय अंतर सन्निकटन की त्रुटि के लिए आनुपातिक है ∇ 4 आर और एच 2 , जहां ज कदम आकार है। इष्टतम कदम आकार है ज ~ ε 12nn∇4rh2h , जहांεमशीन परिशुद्धता है। इसलिए जब तक अवशिष्टों का व्युत्पन्न प्रवाह नहीं हो रहा है, यह बहुत स्पष्ट है कि परिमित अंतर सन्निकटन बेहतर होना चाहिए। मुझे यह इंगित करना चाहिए कि गणना कम से कम है, लेकिन बहीखाता पद्धति निर्विवाद है। याकूब पर प्रत्येक परिमित अंतर आपको प्रत्येक अवशिष्ट के लिए हेसियन की एक पंक्ति देगा। फिर आपको उपरोक्त सूत्र का उपयोग करके हेसियन को फिर से इकट्ठा करना होगा।h∼ϵ13ϵ
हालाँकि, एक तीसरा विकल्प है। यदि आपका सॉल्वर क्वैसी-न्यूटन विधि (डीएफपी, बीएफजीएस, ब्रायोडेन, आदि) का उपयोग करता है, तो यह पहले से ही प्रत्येक पुनरावृत्ति पर हेसियन को अनुमानित कर रहा है। सन्निकटन काफी अच्छा हो सकता है, क्योंकि यह प्रत्येक पुनरावृत्ति से उद्देश्य समारोह और ढाल मूल्यों का उपयोग करता है। अधिकांश सॉल्वर आपको अंतिम हेसियन अनुमान (या इसके व्युत्क्रम) तक पहुंच प्रदान करेंगे। अगर यह आपके लिए एक विकल्प है, तो मैं इसका उपयोग हेसियन अनुमान के रूप में करूंगा। यह पहले से ही संगणित है और यह शायद एक बहुत अच्छा अनुमान है।