एक शोर समारोह पर गणितीय अनुकूलन

चलो $f:\mathbb{R}^d \to \mathbb{R}$ एक समारोह है कि काफी अच्छा है हो (उदाहरण के लिए, सतत, जो विभेदक, नहीं भी कई स्थानीय मॅक्सिमा, हो सकता है अवतल, आदि)। मैं अधिकतम सीमा ज्ञात करना चाहता हूं $f$ : मान $x \in \mathbb{R}^d$ जो $f(x)$ यथासंभव बड़ा बनाता है।

अगर मैं मूल्यांकन करने के लिए एक प्रक्रिया थी $f$ मेरी पसंद के किसी भी इनपुट पर ठीक है, मैं मानक इस्तेमाल कर सकते हैं गणितीय अनुकूलन तकनीक: पहाड़ी चढ़ाई, ढाल वंश (अच्छी तरह से, ढाल चढ़ाई), आदि हालांकि, अपने आवेदन में मैं एक की जरूरत नहीं है $f(x)$ सही मूल्यांकन करने का तरीका । इसके बजाय, मेरे पास के मूल्य का अनुमान लगाने का एक तरीका है $f(x)$ ।

विशेष रूप से, किसी भी $x$ और किसी भी $\varepsilon$ , मुझे लगता है कि इच्छा उत्पादन दैवज्ञ के एक अनुमान है $f(x)$ , और जिसका अपेक्षित त्रुटि लगभग है $\varepsilon$ । इस दैवी आह्वान का चलने का समय अनुपात में है $1/\varepsilon^2$ । (यह एक प्रकार के सिमुलेशन द्वारा कार्यान्वित किया जाता है; सिमुलेशन की सटीकता परीक्षणों की संख्या के वर्गमूल के साथ बढ़ जाती है, और मैं चुन सकता हूं कि कितने परीक्षणों को चलाना है, इसलिए मैं वांछित सटीकता चुन सकता हूं।) तो यह मुझे एक देता है। मेरी इच्छा के अनुसार किसी भी सटीकता का अनुमान लगाने का तरीका, लेकिन जितना अधिक सटीक मैं अनुमान चाहता हूं, उतना ही अधिक समय लगेगा।

लिए इस शोर के संकेत को देखते हुए , क्या अधिकतम सीमा की गणना करने के लिए कोई तकनीक संभव है? (या, अधिक सटीक रूप से, एक अनुमानित मैक्सिमा को खोजना।) क्या इस मॉडल के भीतर पहाड़ी-चढ़ाई, ढाल वंश, आदि के कार्य हैं? $f$ $f$

बेशक, मैं का एक बहुत छोटा मूल्य तय कर सकता है और इस ओरेकल के साथ पहाड़ी पर चढ़ने या ढाल वंश लागू होते हैं, एक ही रखने भर। हालांकि, यह अनावश्यक रूप से अक्षम हो सकता है: हमें शुरुआत के पास इस तरह के सटीक अनुमान की आवश्यकता नहीं हो सकती है, जबकि समाधान पर शून्य होने पर अंत के निकट परिशुद्धता अधिक महत्वपूर्ण है। तो क्या मेरे अनुमान का सटीकता से नियंत्रण करने की मेरी क्षमता का लाभ उठाने का कोई तरीका है, अनुकूलन प्रक्रिया को अधिक कुशल बनाने के लिए? क्या इस तरह की समस्या का पहले भी अध्ययन किया गया है? $\varepsilon$ $\varepsilon$

optimization approximation

— DW
स्रोत

अध्ययन के अपने क्षेत्र को वारंट करने के लिए एक बहुत ही दर अनुकूलन समस्या की तरह लगता है। नकली annealing के बारे में क्या? क्या आप वहां से विचारों को बदल सकते हैं - संक्रमण संभावनाएं और तापमान अनुसूची? वहाँ एक कनेक्शन है - के रूप में आप ज्यादा ऊपर-नीचे आगे बढ़ना है, और आपके मामले में आप चाहते हैं

ड्रॉप करने।

ϵ

$\epsilon$

— रंडोमसर्फर_123

साइबर कार्यक्रम, हाल ही में GA कार्यक्रम में इस मामले में भाग गया। उस सिम्युलेटेड एनालिंग से ऊपर के साथ सहमति व्यक्त की जाती है, जहां फ़ंक्शन मूल्यांकन की सटीकता मोटे तौर पर तापमान में कमी से मेल खाती है, काम करना चाहिए। एक और विचार प्रत्येक बिंदु पर नमूनों का एक निश्चित # करना है और औसत को अनुमान के रूप में लेना है। एक अधिक उन्नत सिद्धांत आपको केवल यह बता सकता है कि आप कुछ नहीं के लिए कुछ प्राप्त कर सकते हैं और यह कि मूल्यांकन में कोई शॉर्टकट नहीं है जो अनुकूलन में सुधार करता है।

— vzn

एक सटीक समारोह बदल सकते शोर समारोह से , जहां एक कृत्रिम शोर निर्भरता ऐसी है कि वर्णन किया जाता पैरामीटर है और शामिल शोर। $f(x,p)$ $f(x+\Delta x, p + \Delta p)$ $p$ $\Delta x$ $\Delta p$

स्टोकेस्टिक अनुकूलन और मजबूत अनुकूलन में उपयोग की जाने वाली कुछ तकनीकें लागू हो सकती हैं।
क्योंकि मॅक्सिमा के पास,की तुलना में कम खतरनाक है। $\frac{\partial f}{\partial x}\approx 0$ $\Delta x$ $\Delta p$
कभी-कभी सही ढंग से करते हुए का मूल्यांकन अनुमान लगाया जा सकता। अक्सर, यह केवल सिद्धांत में सच है, क्योंकि इसे लागू नहीं किया गया है, और कुछ हिस्सों को विशेष देखभाल की आवश्यकता होगी। $\frac{\partial f}{\partial x}(\tilde{x}, \tilde{p})$ $f(\tilde{x}, \tilde{p})$
वांछित की "smallness" (और ) एक "अंतिम उपयोगकर्ता" निर्णय है। एक इसे नियंत्रित करने के heuristics पेशकश कर सकते हैं, लेकिन करने के लिए एक क्रम आनुपातिक पूरी तरह से स्वचालित सटीकता से निपटने के लिए बहुत धीमी है। $\Delta p$ $\Delta x$ $1/\epsilon^2$
दिए गए शोर बनाम रनटाइम ट्रेडऑफ इस समस्या को बेहतर अध्ययन समस्याओं के अलावा सेट करता है। समस्या यह थी कि शोर केवल अपरिहार्य है और अधिक सामान्य और बेहतर अध्ययन किया जाता है।

— थॉमस क्लिम्पेल
स्रोत

विचार के लिए आपका धन्यवाद। मैं यह समझने के लिए थोड़ा संघर्ष कर रहा हूं कि इस प्रतिस्थापन का क्या अर्थ होगा और यह कैसे मदद करता है। जगह को यह बराबर है

द्वारा

? मुझे यकीन है कि कैसे की समझ बनाने के लिए नहीं कर रहा हूँ

: अगर मैं अपने प्रस्ताव सही ढंग से समझ है, यह तय हो जाएगा और यह कुछ है कि मैं (चुन सकते हैं ताकि व्यापकता की हानि के बिना नहीं होगा हम हो सकता है और साथ ही सेट

और

की परिभाषा में किसी भी निर्भरता को अवशोषित करें

f (x, p)

$f(x,p)$

f^{*} (x + Δ x, Δ p)

$f^*(x+\Delta x,\Delta p)$

p

$p$

p = 0

$p=0$

f^{*}

$f^*$ )। स्टोचस्टिक ऑप्टिमाइज़ेशन और मज़बूत ऑप्टिमाइज़ेशन कमोबेश उसी तरह की आवाज़ करते हैं, जिस तरह की चीज़ें मैं देख रहा था, इसलिए यह बहुत मददगार है। धन्यवाद।

— DW

@DW हाँ, आप

सेट कर सकते हैं । तब के शोर संस्करण

है

। के रूप में कहा,

और

शोर होते हैं। अधिक सटीक रूप से, वे केवल शोर नहीं होते हैं, वे शोर हैं।

p = 0

$p=0$

f (x, 0)

$f(x,0)$

f (x + Δ x, Δ p)

$f(x+\Delta x, \Delta p)$

Δ x

$\Delta x$

Δ p

$\Delta p$

— थॉमस क्लिंपेल