क्या अनुकूलन तकनीक नमूने की तकनीकों का मानचित्र है?


18

किसी भी सामान्य नमूने एल्गोरिथ्म से, एक अनुकूलन एल्गोरिथ्म प्राप्त कर सकते हैं।

दरअसल, एक मनमाना कार्य को अधिकतम करने के लिए , यह से नमूने खींचने के लिए पर्याप्त है । के लिए , इतने छोटे, इन नमूनों समारोह के वैश्विक अधिकतम (या व्यवहार में स्थानीय मॅक्सिमा) के पास गिर जाएगी ।f:xf(x)gef/TTf

"नमूनाकरण" से मेरा मतलब है, एक वितरण से एक छद्म यादृच्छिक नमूना खींचना एक निरंतरता के लिए ज्ञात लॉग-लाइबिलिटी फ़ंक्शन को दिया जाता है। उदाहरण के लिए, MCMC नमूनाकरण, गिब्स नमूनाकरण, बीम नमूनाकरण, आदि "अनुकूलन" से मेरा मतलब किसी दिए गए फ़ंक्शन के मूल्य को अधिकतम करने वाले मापदंडों को खोजने का प्रयास है।


क्या रिवर्स संभव है? एक फ़ंक्शन या एक संयोजन अभिव्यक्ति की अधिकतम खोजने के लिए एक अनुमानी को देखते हुए, क्या हम एक कुशल नमूनाकरण प्रक्रिया निकाल सकते हैं?

उदाहरण के लिए HMC ग्रेडिएंट जानकारी का लाभ उठाती है। क्या हम एक नमूनाकरण प्रक्रिया का निर्माण कर सकते हैं जो बीएफजीएस-जैसे हेसियन के सन्निकटन का लाभ उठाती है? (संपादित करें: जाहिरा तौर पर हाँ: http://papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf ) हम मिश्रित समस्याओं में MCTS उपयोग कर सकते हैं, हम अनुवाद कर सकते हैं कि एक नमूना प्रक्रिया में?

संदर्भ: नमूना लेने में कठिनाई अक्सर यह होती है कि प्रायिकता वितरण का अधिकांश द्रव्यमान बहुत छोटे क्षेत्र में होता है। ऐसे क्षेत्रों को खोजने के लिए दिलचस्प तकनीकें हैं, लेकिन वे निष्पक्ष नमूने प्रक्रियाओं में सीधे अनुवाद नहीं करते हैं।


संपादित करें: मुझे अब यह आभास हो रहा है कि इस प्रश्न का उत्तर कुछ हद तक जटिलता वर्गों #P और NP की समानता के बराबर है, जिससे उत्तर "नहीं" हो सकता है। यह समझाता है कि हर नमूना तकनीक एक अनुकूलन तकनीक क्यों देती है लेकिन इसके विपरीत नहीं।


हालांकि मुझे लगता है कि मुझे इस प्रश्न के अधिकांश शब्दों की पारंपरिक समझ है, मैं अनिश्चित हूं कि इसके बाद क्या हो रहा है। क्या आप "नमूनाकरण" से थोड़ा अधिक सटीक रूप से बता सकते हैं कि आपका क्या मतलब है और "अनुकूलित" क्या होगा? आपको यह अनुमान लगता है कि आपके पाठकों को एक विशेष सेटिंग को ध्यान में रखना है जिसमें एक "वितरण" (या उसके परिवार) शामिल है और जिसमें एक विशेष उद्देश्य ग्रहण किया गया है, लेकिन कोई केवल अनुमान लगा सकता है कि आप वास्तव में क्या बनाते हैं। अंतिम पैराग्राफ में प्रदर्शित होने वाले ऐसे व्यापक कथन।
whuber

"नमूनाकरण" से मेरा मतलब है, एक वितरण से एक छद्म यादृच्छिक नमूना खींचना एक निरंतरता के लिए ज्ञात लॉग-लाइबिलिटी फ़ंक्शन को दिया जाता है। उदाहरण के लिए, MCMC नमूनाकरण, गिब्स नमूनाकरण, बीम नमूनाकरण, आदि "अनुकूलन" से मेरा मतलब किसी दिए गए फ़ंक्शन के मूल्य को अधिकतम करने वाले मापदंडों को खोजने का प्रयास है। उदाहरण के लिए, ढाल वंश, सिंप्लेक्स एल्गोरिथ्म, नकली एनालिंग अनुकूलन तकनीक हैं।
आर्थर बी।

वहाँ एक प्राकृतिक मानचित्रण के बीच नकली annealing और MCMC नमूना है। एचएमसी और ग्रेडिएंट डिसेंट (यदि आप स्क्विंट हैं) के बीच कम प्रत्यक्ष मानचित्रण है। मेरा प्रश्न यह है कि क्या इसे अधिक व्यवस्थित बनाया जा सकता है। नमूना लेने में कठिनाई अक्सर यह होती है कि प्रायिकता वितरण का अधिकांश द्रव्यमान बहुत छोटे क्षेत्र में होता है। इस क्षेत्र को खोजने के लिए दिलचस्प तकनीकें हैं, लेकिन वे निष्पक्ष नमूने प्रक्रियाओं में सीधे अनुवाद नहीं करते हैं।
आर्थर बी।

कृपया इन स्पष्टीकरणों को शामिल करने के लिए अपने प्रश्न को संपादित करें। यह महत्वपूर्ण है क्योंकि "नमूनाकरण" शब्द का आपका (कुछ विशेषीकृत) उपयोग, हालांकि आपके संदर्भ में उचित है, जो कि कई पाठकों को समझ में आ सकता है, से भिन्न है। इसके अलावा, "अनुकूलन" की आपकी व्याख्या, हालांकि सही है, यहाँ इसके अर्थ को पर्याप्त रूप से सटीक बनाने में सहायक प्रतीत नहीं होती है: यह देखते हुए कि "दिया गया कार्य" क्या है और यह "नमूनाकरण" से कैसे संबंधित हो सकता है, उपयोगी जोड़ होंगे।
whuber

क्या अब यह बेहतर है?
आर्थर बी।

जवाबों:


4

मैक्स वेलिंग और दोस्तों द्वारा इन दो पत्रों में एक कनेक्शन लाया गया है:

सार है कि "सीखने", यानी। एक मॉडल का अनुकूलन पोस्टीरियर से नमूने में आसानी से संक्रमण करता है।



हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.