अधिकांश अनुमान प्रक्रियाओं में कुछ उद्देश्य फ़ंक्शन को कम करने (या अधिकतम) को खोजने वाले पैरामीटर शामिल होते हैं। उदाहरण के लिए, ओएलएस के साथ, हम चुकता अवशिष्ट के योग को कम करते हैं। अधिकतम संभावना अनुमान के साथ, हम लॉग-लाइबिलिटी फ़ंक्शन को अधिकतम करते हैं। अंतर तुच्छ है: न्यूनताकरण को उद्देश्य फ़ंक्शन के नकारात्मक का उपयोग करके अधिकतमकरण में परिवर्तित किया जा सकता है।
कभी-कभी यह समस्या बीजगणित रूप से हल की जा सकती है, एक बंद-रूप समाधान का निर्माण करती है। ओएलएस के साथ, आप पहले ऑर्डर की शर्तों को हल करते हैं और परिचित फॉर्मूला प्राप्त करते हैं (हालांकि आपको उत्तर का मूल्यांकन करने के लिए अभी भी कंप्यूटर की आवश्यकता है)। अन्य मामलों में, यह गणितीय रूप से संभव नहीं है और आपको कंप्यूटर का उपयोग करके पैरामीटर मानों की खोज करने की आवश्यकता है। इस मामले में, कंप्यूटर और एल्गोरिथ्म एक बड़ी भूमिका निभाते हैं। Nonlinear कम से कम वर्ग एक उदाहरण है। आपको एक स्पष्ट सूत्र नहीं मिलता है; आपको मिलने वाला एक नुस्खा है जिसे लागू करने के लिए आपको कंप्यूटर की आवश्यकता है। नुस्खा एक प्रारंभिक अनुमान के साथ शुरू हो सकता है कि पैरामीटर क्या हो सकते हैं और वे कैसे भिन्न हो सकते हैं। आप फिर मापदंडों के विभिन्न संयोजनों का प्रयास करते हैं और देखते हैं कि कौन सा आपको सबसे कम / उच्चतम उद्देश्य फ़ंक्शन मान देता है। यह जानवर बल दृष्टिकोण है और इसमें लंबा समय लगता है। उदाहरण के लिए,105 संयोजनों, और अगर आप भाग्यशाली हैं, तो यह आपको सही उत्तर के पड़ोस में रखता है। इस दृष्टिकोण को ग्रिड खोज कहा जाता है।
या आप एक अनुमान के साथ शुरू कर सकते हैं, और किसी दिशा में अनुमान लगा सकते हैं जब तक कि उद्देश्य फ़ंक्शन में सुधार कुछ मूल्य से कम न हो। इन्हें आमतौर पर ग्रेडिएंट मेथड्स कहा जाता है (हालांकि ऐसे अन्य भी हैं जो ग्रेडिएंट का उपयोग करने के लिए नहीं करते हैं कि जेनेटिक एल्गोरिदम और सिम्युलेटेड एनालिंग की तरह किस दिशा में जाना है)। इस तरह की कुछ समस्याएं इस बात की गारंटी देती हैं कि आपको सही उत्तर जल्दी (द्विघात वस्तुनिष्ठ कार्य) मिलते हैं। अन्य ऐसी कोई गारंटी नहीं देते हैं। आप चिंता कर सकते हैं कि आप एक वैश्विक, इष्टतम के बजाय एक स्थानीय पर अटक गए हैं, इसलिए आप प्रारंभिक अनुमानों की एक श्रृंखला की कोशिश करते हैं। आप पा सकते हैं कि बेतहाशा अलग-अलग पैरामीटर आपको उद्देश्य फ़ंक्शन का समान मूल्य देते हैं, इसलिए आपको पता नहीं है कि कौन सा चुनना है।
यहाँ अंतर्ज्ञान प्राप्त करने का एक अच्छा तरीका है। मान लें कि आपके पास एक सरल घातीय प्रतिगमन मॉडल है, जहां एकमात्र प्रतिगामी अवरोधक है: start
E[y]=exp{α}
वस्तुनिष्ठ फ़ंक्शन
QN(α)=−12N∑iN(yi−exp{α})2
इस सरल समस्या के साथ, दोनों दृष्टिकोण संभव हैं। व्युत्पन्न लेने से मिलने वाला बंद-फॉर्म समाधान । आप यह भी सत्यापित कर सकते हैं कि कुछ और आपको इसके बजाय में प्लग करके उद्देश्य फ़ंक्शन का एक उच्च मूल्य देता है । यदि आपके पास कुछ रजिस्टर थे, तो विश्लेषणात्मक समाधान खिड़की से बाहर चला जाता है। ln ( ˉ y + कश्मीर )α∗=lny¯ln(y¯+k)