मशीन लर्निंग अक्सर एक फ़ंक्शन के अनुकूलन से संबंधित होता है जिसमें कई स्थानीय न्यूनतम होते हैं। छिपी हुई इकाइयों के साथ फीडवर्डवर्ड न्यूरल नेटवर्क एक अच्छा उदाहरण है। चाहे ये कार्य असतत हों या निरंतर हों, कोई ऐसी विधि नहीं है जो वैश्विक न्यूनतम प्राप्त करती है और रुक जाती है। यह साबित करना आसान है कि एक सामान्य फ़ंक्शन को वैश्विक न्यूनतम खोजने के लिए कोई भी सामान्य एल्गोरिदम नहीं है, भले ही वह एक आयामी और चिकनी हो (जिसमें असीम रूप से कई डेरिवेटिव हैं)। व्यवहार में, तंत्रिका नेटवर्क सीखने के लिए सभी एल्गोरिदम एक स्थानीय न्यूनतम में फंस गए। इसे जांचना आसान है: एक यादृच्छिक तंत्रिका नेटवर्क बनाएं, यादृच्छिक आदानों के लिए अपनी प्रतिक्रियाओं का एक बड़ा सेट बनाएं, फिर प्रतिक्रियाओं को कॉपी करने के लिए उसी वास्तुकला के साथ एक और तंत्रिका नेटवर्क सीखने की कोशिश करें। जबकि सही समाधान मौजूद है, न तो बैकप्रॉपैगैशन, न ही कोई अन्य लर्निंग अल्गोरिद्म इसे खोज सकेगा,
कुछ सीखने के तरीके, जैसे सिम्युलेटेड एनेलिंग या आनुवंशिक एल्गोरिदम, कई स्थानीय मिनिमस का पता लगाते हैं। निरंतर कार्यों के लिए ढाल वंश जैसी विधियां हैं, जो निकटतम स्थानीय न्यूनतम को ढूंढती हैं। वे बहुत तेज हैं, यही कारण है कि वे व्यापक रूप से अभ्यास में उपयोग किए जाते हैं। लेकिन पर्याप्त समय दिया गया है, तरीकों का पूर्व समूह प्रशिक्षण सेट त्रुटि के मामले में बाद में बेहतर प्रदर्शन करता है। लेकिन वास्तविक दुनिया की समस्याओं के लिए उचित समय की कमी के साथ, बाद वाला समूह आमतौर पर बेहतर होता है।
कुछ मॉडलों के लिए, लॉजिस्टिक रिग्रेशन की तरह, एक स्थानीय न्यूनतम होता है, फ़ंक्शन उत्तल होता है, न्यूनतमकरण न्यूनतम में परिवर्तित होता है, लेकिन मॉडल स्वयं सरल होते हैं।
कटु सत्य।
यह भी ध्यान दें कि अभिसरण के प्रमाण और सर्वोत्तम समाधान के अभिसरण के प्रमाण दो अलग-अलग चीजें हैं। K- साधन एल्गोरिथ्म इसका एक उदाहरण है।
अंत में, कुछ मॉडलों के लिए हम नहीं जानते कि कैसे सीखें। उदाहरण के लिए, यदि आउटपुट इनपुट का एक मनमाना कम्प्यूटेशनल फ़ंक्शन है, तो हम अच्छे एल्गोरिदम को नहीं जानते हैं, जो उचित समय में, इस फ़ंक्शन को लागू करने वाली एक ट्यूरिंग या समकक्ष मशीन पाते हैं। उदाहरण के लिए, यदि f (1) = 2, f (2) = 3, f (3) = 5, f (4) = 7, ..., f (10) = 29 (दस पहले प्रिम्स), तो हम डॉन किसी भी लर्निंग एल्गोरिथ्म को नहीं जान पाएंगे, जो उचित समय में भविष्यवाणी करने में सक्षम होगा, यह f (11) = 31 है, जब तक कि यह पहले से ही अभाज्य संख्याओं की अवधारणा को नहीं जानता है।