ग्रेडिएंट डीसेंट और कंजुगेट ग्रेडिएंट डीसेंट

Question

एक परियोजना के लिए, मुझे इन दो तरीकों को लागू करना होगा और तुलना करना होगा कि वे विभिन्न कार्यों पर कैसे प्रदर्शन करते हैं।

ऐसा लगता है कि संयुग्मक ढाल विधि के लिए रेखीय समीकरणों के सिस्टम को हल करना है

$$A\mathbf{x} = \mathbf{b}$$

जहाँ $A$ एक n-by-n मैट्रिक्स है जो सममित, सकारात्मक-निश्चित और वास्तविक है।

दूसरी ओर, जब मैं ढाल वंश के बारे में पढ़ता हूं तो मैं रोसेनब्रोक फ़ंक्शन का उदाहरण देखता हूं , जो है

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

जैसा कि मैंने देखा है, मैं इसे एक संयुग्म ढाल विधि के साथ हल नहीं कर सकता। या मुझे कुछ याद है?

Answer 1

धीरे-धीरे वंश और संयुग्मक ढाल विधि दोनों गैर-क्रियात्मक कार्यों को कम करने के लिए एल्गोरिदम हैं, अर्थात, रोसनब्रोक फ़ंक्शन जैसे कार्य

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

या एक बहुभिन्नरूपी द्विघात फ़ंक्शन (इस मामले में एक सममित द्विघात अवधि के साथ)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

दोनों विधियां एक प्रारंभिक अनुमान से शुरू होती हैं, , और फिर प्रपत्र के फ़ंक्शन का उपयोग करके अगले पुनरावृति की गणना करें$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

शब्दों में, का अगला मान वर्तमान स्थान पर शुरू करके और कुछ दूरी लिए खोज दिशा में चलते हुए पाया जाता है । दोनों विधियों में, स्थानांतरित करने की दूरी एक लाइन खोज (न्यूनतम से अधिक हो । अन्य मापदंड भी लागू हो सकते हैं। जहाँ दो विधियाँ भिन्न होती हैं की अपनी पसंद में । ढाल विधि के लिए, । संयुग्म ग्रेडिएंट विधि के लिए, ग्रैह-श्मिट प्रक्रिया का उपयोग ग्रेडिएंट वैक्टर को ऑर्थोगोनल करने के लिए किया जाता है। विशेष रूप से, , लेकिन फिर बराबर है$x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ शून्य से वेक्टर का प्रक्षेपण ऐसा । प्रत्येक बाद के ग्रेडिएंट वेक्टर को पिछले सभी के खिलाफ orthogonalized किया जाता है, जो ऊपर द्विघात फ़ंक्शन के लिए बहुत अच्छे गुणों की ओर जाता है।$d^0$$(d^1)^Td^0 = 0$

द्विघात क्रिया (और संबंधित योगों) के ऊपर भी है, जहां के हल के लिए चर्चा है संयुग्म ढाल विधि का उपयोग कर की कि कम से कम के बाद से, से आता है पर बिंदु हासिल की है जहां ।$Ax = b$$f(x)$$x$$Ax = b$

Answer 2

इस संदर्भ में, दोनों विधियों को फ़ंक्शन की कम से कम समस्याओं के रूप में समझा जा सकता है: जब सममित होता है, तो जब तब कम से कम हो जाता है ।

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

ग्रेडिएंट डीसेंट वह विधि है जो क्रमिक दिशा में देखकर एक न्यूनतम मापक की खोज करता है। Conjugate gradient समान है, लेकिन खोज निर्देश भी एक-दूसरे के लिए इस मायने में ऑर्थोगोनल होने की आवश्यकता है कि ।$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$