न्यूटन-राफ्सन की कमियां अनुमानित संख्यात्मक व्युत्पन्न के साथ

Question

मान लीजिए मैं कुछ कार्य हो $f$ और मैं पता लगाना चाहते हैं $x$ ऐसी है कि $f(x)\approx 0$ । मैं न्यूटन-रैपसन विधि का उपयोग कर सकता हूं। लेकिन इस की आवश्यकता है मुझे पता है कि व्युत्पन्न समारोह $f'(x)$ । लिए एक विश्लेषणात्मक अभिव्यक्ति $f$अनुपलब्ध हो सकती है। उदाहरण के लिए, $f$ को कंप्यूटर कोड के एक जटिल टुकड़े द्वारा परिभाषित किया जा सकता है जो प्रयोगात्मक मूल्यों के डेटाबेस को संरक्षित करता है।

लेकिन भले ही $f'$ जटिल है, मैं अनुमान लगा सकता है $f'(a)$ किसी विशेष के लिए $a$ एक छोटी संख्या का चयन करके $\epsilon$ और calculting $f'(a) \approx {f(a+\epsilon) - f(a)\over\epsilon}$ ।

मैंने सुना है कि इस दृष्टिकोण के अलग-अलग नुकसान हैं, लेकिन मुझे नहीं पता कि वे क्या हैं। विकिपीडिया संकेत देता है कि "इस सन्निकटन का उपयोग करने से सेकेंडरी पद्धति की तरह कुछ होगा जिसका अभिसरण न्यूटन की विधि की तुलना में धीमा है।"

क्या कोई इस बारे में विस्तार से बता सकता है, और एक संदर्भ प्रदान कर सकता है जो विशेष रूप से इस तकनीक के साथ समस्याओं पर चर्चा करता है?

Comments

जब व्युत्पन्न को गणना करना महंगा होता है, तो सेकेंट विधि एक उत्कृष्ट विकल्प है। तीन चरण सेकंड आमतौर पर न्यूटन के दो चरणों के बराबर होते हैं, और चरण सस्ता होते हैं।

जब भी आप संख्यात्मक अंतर को परिमित अंतर द्वारा गणना करते हैं (जैसा कि आप सुझाव दे रहे हैं), फ़ंक्शन में कोई भी शोर प्रवर्धित होता है, इसलिए आपको अपने एप्सिलॉन को ध्यान से चुनना चाहिए। एक संभावना यह है, जब आप समाधान, एक द्विआधारी उपखंड विधि, कि लंबे समय के रूप के रूप में अभिसरण गारंटी है करने के लिए स्विच के करीब है च स्थानीय रूप से monotonic है।

— माइक डनलैवी

जैसा कि एंड्रे द्वारा उल्लेख किया गया है, दो-अंक संख्यात्मक व्युत्पन्न, जैसा कि आप सुझाव देते हैं, एक पुनरारंभ सिकंट विधि के बराबर है । तेजी से अभिसरण के लिए, हालांकि, मैं तथाकथित इलिनोइस एल्गोरिदम का सुझाव दूंगा, जो कि सिकंट विधि का करीबी रिश्तेदार है और प्रति चरण केवल एक बिंदु का उपयोग करेगा, जैसा कि आपके मामले में दो के विपरीत है, और जैसे अटक नहीं जाएगा। झूठी स्थिति विधि।

— पेड्रो

का आयाम क्या है ? आयाम जितना अधिक होगा, उतना ही मूल्यवान एक व्युत्पन्न हो जाएगा। जैकबियन-मुक्त न्यूटन-क्रायलोव एक विकल्प है जिसे स्पष्ट डेरिवेटिव की आवश्यकता नहीं है (हालांकि पूर्व-सशर्त बीमार प्रणालियों के लिए महत्वपूर्ण है)। $x$

— जेड ब्राउन

Answer 1

संकेतन के लिए, मान लीजिए कि (यानी, यह एक वेक्टर-मूल्यवान फ़ंक्शन है जो एक वेक्टर को इनपुट के रूप में लेता है और समान आकार के वेक्टर को आउटपुट करता है)। दो चिंताएँ हैं: कम्प्यूटेशनल लागत और संख्यात्मक सटीकता।$f: \mathbb{R}^{n} \rightarrow \mathbb{R}^{n}$

गिना जा रहा है व्युत्पन्न (मैट्रिक्स Jacobian, जम्मू ( एक्स ) , या ( ∇ च ( एक्स ) ) टी , या जो भी आप पसंद करते हैं) परिमित मतभेद का उपयोग कर की आवश्यकता के लिए जा रहा है एन समारोह मूल्यांकन। यदि आप परिभाषा से सीधे फ्लोटिंग पॉइंट अंकगणितीय का उपयोग करके व्युत्पन्न की गणना कर सकते हैं, तो आपको अंतर भागफल की गणना करनी होगी$\mathrm{D}f(x)$$J(x)$$(\nabla f(x))^{T}$$n$

$$\begin{align} \mathrm{D}f(x)e_{i} = \lim_{\varepsilon \rightarrow 0} \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon} \end{align}$$

प्रत्येक , यह मानते हुए कि आप किसी भी प्रकार की "स्मार्ट परिमित विभेदक" (कर्टिस-पॉवेल-रीड की तरह) नहीं करते हैं क्योंकि आप जानते हैं (या पता लगा सकते हैं) डी एफ के स्पार्सिटी पैटर्न । यदि n बड़ा है, तो यह फ़ंक्शन मूल्यांकन का एक बहुत हो सकता है। यदि आपके पास डी एफ के लिए एक विश्लेषणात्मक अभिव्यक्ति है , तो गणना करना सस्ता हो सकता है। स्वचालित रूप से (एल्गोरिथम के रूप में भी जाना जाता है) विभेदन विधियों का उपयोग कुछ मामलों में फ़ंक्शन मूल्यांकन की लागत से डी एफ की गणना लगभग 3 से 5 गुना तक किया जा सकता है।$i = 1, \ldots, n$$\mathrm{D}f$$n$$\mathrm{D}f$$\mathrm{D}f$

संख्यात्मक चिंताएँ भी हैं। जाहिर है, एक कंप्यूटर पर, हम नहीं एक अदिश की सीमा ले जा सकते हैं के रूप में यह शून्य करने के लिए चला जाता है, इसलिए जब हम अनुमानित , हम वास्तव में उठा रहे हैं ε "छोटे" होने के लिए और गणना$\mathrm{D}f$$\varepsilon$

$$\begin{align} \mathrm{D}f(x)e_{i} \approx \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon}, \end{align}$$

जहां मतलब है कि यह एक सन्निकटन है, और हम आशा है कि यह एक बहुत अच्छा सन्निकटन है। चल बिन्दु गणित में इस सन्निकटन की गणना करना कठिन होता है क्योंकि अगर आप लेने ε बहुत बड़ी है, अपने सन्निकटन बुरा हो सकता है, लेकिन अगर आप लेने ε बहुत छोटा है, वहाँ महत्वपूर्ण पूर्णांकन त्रुटि हो सकती है। इन प्रभावों को विकिपीडिया लेख में सतही विस्तार में संख्यात्मक भेदभाव पर कवर किया गया है; अधिक विस्तृत संदर्भ लेख के भीतर पाए जा सकते हैं।$\approx$$\varepsilon$$\varepsilon$

अगर याकूबियन मैट्रिक्स में त्रुटि बहुत बड़ी नहीं है, तो न्यूटन-राफसन पुनरावृत्तियों में परिवर्तित हो जाएगा। एक विस्तृत सैद्धांतिक विश्लेषण के लिए, निक हिघम द्वारा न्यूमेरिकल एल्गोरिदम की सटीकता और स्थिरता का अध्याय 25 , या फ्रेंकोइस टिससेर द्वारा कागज़ देखें , जिस पर यह आधारित है।$\mathrm{D}f$

लाइब्रेरी आमतौर पर आपके लिए इन एल्गोरिथम विवरणों का ध्यान रखते हैं, और आमतौर पर, न्यूटन-राफसन एल्गोरिथ्म (या इसके प्रकार) के पुस्तकालय कार्यान्वयन काफी अच्छी तरह से जुटेंगे, लेकिन हर बार अक्सर, एक समस्या होगी जो कमियों के कारण कुछ परेशानी पैदा करती है। ऊपर। स्केलर मामले में , मैं ब्रेंट की विधि का उपयोग करता हूं , इसकी मजबूती और अभ्यास में अच्छे अभिसरण दर के कारण।$(n = 1)$