एक लागत समारोह तैयार करके एक समस्या से संपर्क करने का लाभ जो विश्व स्तर पर अनुकूलन योग्य है

Question

यह एक सामान्य प्रश्न है (अर्थात आँकड़ों के लिए विशेष रूप से विशिष्ट नहीं), लेकिन मैंने मशीन सीखने और सांख्यिकीय साहित्य में एक प्रवृत्ति देखी है जहाँ लेखक निम्नलिखित दृष्टिकोण का पालन करना पसंद करते हैं:

दृष्टिकोण 1 : एक लागत समारोह तैयार करके एक व्यावहारिक समस्या का समाधान प्राप्त करें जिसके लिए यह संभव है (जैसे एक कम्प्यूटेशनल दृष्टिकोण से) एक वैश्विक रूप से इष्टतम समाधान खोजने के लिए (जैसे उत्तल लागत फ़ंक्शन तैयार करके)।

बजाय:

दृष्टिकोण 2 : एक लागत समस्या के समाधान के लिए एक लागत फ़ंक्शन तैयार करना, जिसके लिए हम एक वैश्विक रूप से इष्टतम समाधान प्राप्त करने में सक्षम नहीं हो सकते हैं (जैसे हम केवल इसके लिए स्थानीय रूप से इष्टतम समाधान प्राप्त कर सकते हैं)।

ध्यान दें कि दो समस्याओं को सख्ती से बोलना अलग है; धारणा यह है कि हम पहले एक के लिए वैश्विक रूप से इष्टतम समाधान पा सकते हैं, लेकिन दूसरे के लिए नहीं।

अन्य विचार एक तरफ (यानी गति, कार्यान्वयन में आसानी, आदि), मैं देख रहा हूँ:

1. एक स्पष्टीकरण इस प्रवृत्ति का (जैसे गणितीय या ऐतिहासिक तर्क)
2. व्यावहारिक समस्या को हल करते समय 2 के बजाय दृष्टिकोण 1 का पालन करने के लिए लाभ (व्यावहारिक और / या सैद्धांतिक)।

Answer 1

मेरा मानना ​​है कि लक्ष्य उस फ़ंक्शन को ऑप्टिमाइज़ करने का होना चाहिए जिसमें आप रुचि रखते हैं। यदि ऐसा होता है कि गर्भपात की संख्या है - और द्विपद की संभावना नहीं है, तो कहें - तो आपको गर्भपात की संख्या को कम करने की कोशिश करनी चाहिए। हालांकि, उल्लिखित व्यावहारिक कारणों (गति, कार्यान्वयन, अस्थिरता आदि) की संख्या के लिए, यह इतना आसान नहीं हो सकता है और यह असंभव भी हो सकता है। उस मामले में, हम समाधान का अनुमान लगाने के लिए चुनते हैं।

मुझे मूल रूप से दो सन्निकटन रणनीतियों का पता है; या तो हम एल्गोरिदम के साथ आते हैं जो मूल समस्या के समाधान को लगभग अनुमानित करने का प्रयास करते हैं, या हम मूल समस्या को अधिक सीधे हल करने योग्य समस्या (जैसे उत्तल विश्राम) के रूप में सुधारते हैं।

दूसरे पर एक दृष्टिकोण को वरीयता देने के लिए एक गणितीय तर्क यह है कि क्या हम समझ सकते हैं कि) समाधान के गुणों को वास्तव में गणना की गई है और बी) समाधान कितनी अच्छी तरह से उस समस्या के समाधान का अनुमान लगाता है जिसमें हम वास्तव में रुचि रखते हैं।

मुझे आँकड़ों के कई परिणामों का पता है जहाँ हम एक अनुकूलन समस्या के समाधान के गुण सिद्ध कर सकते हैं। मेरे लिए एक एल्गोरिथ्म के समाधान का विश्लेषण करना अधिक कठिन है, जहां आपके पास यह गणना करने का गणितीय सूत्र नहीं है (जैसे कि यह किसी दिए गए अनुकूलन समस्या को हल करता है)। मैं निश्चित रूप से यह दावा नहीं करूंगा कि आप ऐसा नहीं कर सकते हैं, लेकिन यह एक सैद्धांतिक लाभ प्रतीत होता है , यदि आप जो भी गणना करते हैं उसका एक स्पष्ट गणितीय सूत्रीकरण दे सकते हैं।

यह मेरे लिए स्पष्ट नहीं है, यदि इस तरह के गणितीय तर्क किसी भी व्यावहारिक लाभ को दृष्टिकोण 2 पर दृष्टिकोण 2 के लिए देते हैं। निश्चित रूप से वहाँ कोई है, जो एक गैर-उत्तल हानि समारोह से डरते नहीं हैं ।

Comments

यान लेकन की बात के संदर्भ के लिए धन्यवाद। मैं इसे देखने के लिए उत्सुक हूं।

— एमिलियो वाज़केज़-रीना

Answer 2

@ एनआरएच ने इस सवाल का जवाब दिया (5 साल पहले), इसलिए मैं सिर्फ एक दृष्टिकोण 3 प्रस्तुत करूंगा, जो दृष्टिकोण 1 और 2 को जोड़ता है।

दृष्टिकोण 3 :

1. वैश्विक अनुकूलता को एक उत्तल, या किसी भी घटना में, विश्व स्तर पर अनुकूलन योग्य (जरूरी नहीं कि उत्तल) के रूप में तैयार और हल करें, समस्या जो वास्तव में उस समस्या के "करीब" है जिसे आप हल करना चाहते हैं।
2. एक गैर-उत्तल अनुकूलन समस्या के लिए प्रारंभिक (प्रारंभिक) समाधान के रूप में चरण 1 से वैश्विक रूप से इष्टतम समाधान का उपयोग करें जिसे आप वास्तव में हल करना चाहते हैं (या चरण 1 में हल की गई समस्या से अधिक हल करना चाहते हैं)। आशा है कि आपका प्रारंभिक समाधान गैर-उत्तल अनुकूलन समस्या जिसे आप वास्तव में हल करना चाहते हैं, को हल करने के लिए नियोजित समाधान पद्धति के सापेक्ष वैश्विक इष्टतम "आकर्षण के क्षेत्र" में है।

Comments

कृपया एक ठोस उदाहरण प्रदान करें।

— क्षितिज

यह वास्तव में मार्क का मामला नहीं है, लेकिन कई कंप्यूटर दृष्टि समस्याओं में एक आम दृष्टिकोण संबंधित समस्याओं पर "अच्छा" स्थानीय ऑप्टिमा का एक अनुक्रम प्राप्त करने के लिए स्नातक की उपाधि प्राप्त गैर-उत्तलता का उपयोग करना है। एक ठोस उदाहरण ठीक ऑप्टिकल प्रवाह के लिए मोटे है जहां छवियों की एक जोड़ी के लिए, एक मोटे पैमाने पर संरेखण का उपयोग महीन तराजू पर खोज को बीज बनाने के लिए किया जाता है, छवि पिरामिड की एक जोड़ी के माध्यम से आगे बढ़ रहा है ।

— जियोमैट

@horaceT आइए बताते हैं कि आप एक नॉनलाइनियर कम से कम वर्गों की समस्या को हल करना चाहते हैं $y$ ~ $ae^{bx}$, जो गैर-उत्तल है। चरण 1 के रूप में, आप रैखिक कम से कम वर्गों की समस्या को हल कर सकते हैं$y$ ~ $aa + bb x$, जो उत्तल है और इसे वैश्विक अनुकूलता के लिए हल किया जा सकता है। फिर चरण 2 में उपयोग करें$a = e^{aa_{optimal}}, b = bb_{optimal}$के रूप में nonlinear कम से कम वर्गों के लिए मान शुरू। समस्याएं समान हैं, लेकिन त्रुटियों का इलाज अलग तरीके से किया जाता है। ऐसी कई समस्याएं हैं जिनमें एक गैर-उत्तल दंड वांछित है (चरण 2 के लिए), लेकिन चरण 1 के लिए उत्तल दंड के साथ प्रतिस्थापित किया जा सकता है। कई पुनरावृत्तियां भी संभव हैं।

— मार्क एल। स्टोन

@ GeoMatt22 जो आपने वर्णित किया है वह आत्मा में समान है, और जिसे समरूप विधियों कहा जाता है, के साथ ओवरलैप होता है, जिसमें समस्या के समाधान का एक रास्ता जिसे आप वास्तव में हल करना चाहते हैं, समस्याओं की एक श्रृंखला को हल करके पता लगाया जाता है जिसमें एक पैरामीटर, जैसे कि एक बाधा है, धीरे-धीरे बदल जाती है और क्रमिक समस्याओं को हल किया जाता है, जिसके लिए पहली समस्या खरोंच से हल करना आसान है। यह वास्तव में मामला हो सकता है कि पहली समस्या उत्तल है, या अन्यथा समाधान के लिए उत्तरदायी है, लेकिन बाद में समस्याएं नहीं हो सकती हैं, भले ही उनका इष्टतम समाधान पैरामीटर में निरंतर हो सकता है।

— मार्क एल। स्टोन