optimization पर टैग किए गए जवाब

मैं मशीन लर्निंग के लिए ऑप्टिमाइज़ेशन तकनीकों पर कुछ शोध कर रहा हूं, लेकिन मुझे बड़ी हैरानी है कि ऑप्टिमाइज़ेशन एल्गोरिदम की बड़ी संख्या अन्य ऑप्टिमाइज़ेशन समस्याओं के संदर्भ में परिभाषित की गई है। मैं निम्नलिखित में कुछ उदाहरणों का वर्णन करता हूं। उदाहरण के लिए https://arxiv.org/pdf/1511.05133v1.pdf सब कुछ अच्छा …

23 machine-learning  svm  optimization 

हाल ही में cstheory stackexchange पर एक एमएल-जैसे सवाल आया था, और मैंने पॉवेल की विधि, ग्रेडिएंट डिसेंट, जेनेटिक एल्गोरिदम या अन्य "सन्निकटन एल्गोरिदम" की सिफारिश करते हुए एक उत्तर पोस्ट किया । एक टिप्पणी में किसी ने मुझे बताया कि ये विधियां "विधियां" थीं और "अनुमानित एल्गोरिदम" नहीं थीं …

23 machine-learning  optimization  approximation 

मुझे आश्चर्य है कि क्या किसी भी अधिकतम (लॉग-) संभावना आकलन समस्या के लिए हमेशा एक अधिकतम है? दूसरे शब्दों में, क्या कुछ वितरण और इसके कुछ पैरामीटर हैं, जिनके लिए MLE समस्या का अधिकतम भार नहीं है? मेरा प्रश्न एक इंजीनियर के दावे से आता है कि MLE में …

23 maximum-likelihood  optimization 

मैं सोच रहा था कि दो एल्गोरिदम, कोऑर्डिनेट डिसेंट और ग्रेडिएंट डिसेंट के लिए अलग-अलग उपयोग के मामले क्या हैं । मुझे पता है कि समन्वित वंश को गैर-चिकनी कार्यों के साथ समस्या है लेकिन इसका उपयोग एसवीएम और एलएएसओ जैसे लोकप्रिय एल्गोरिदम में किया जाता है। हालांकि धीरे-धीरे मुझे …

23 optimization  gradient-descent 

यहां एक समान धागा है ( तंत्रिका नेटवर्क की लागत फ़ंक्शन गैर-उत्तल है? ) लेकिन मैं वहां के उत्तरों में बिंदुओं को समझने में सक्षम नहीं था और फिर से यह पूछने की मेरी वजह से कुछ मुद्दों को स्पष्ट करने की उम्मीद है: यदि मैं चुकता अंतर लागत फ़ंक्शन …

22 machine-learning  neural-networks  optimization  loss-functions  convex 

मान लीजिए मेरे पास निम्न मॉडल है yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i जहाँyi∈RKyi∈RKy_i\in \mathbb{R}^K , xixix_i व्याख्यात्मक चर का एक वेक्टर है, θθ\theta के गैर रेखीय समारोह मापदंडों है fff और εi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) , जहां ΣΣ\Sigma स्वाभाविक रूप से है K×KK×KK\times K मैट्रिक्स । लक्ष्य का अनुमान लगाना सामान्य है और Σ । स्पष्ट …

22 maximum-likelihood  optimization  covariance 

मापदंडों के अधिकतम संभावना अनुमान प्राप्त करना इतना सामान्य क्यों है, लेकिन आप वास्तव में संभावित संभावना पैरामीटर अनुमानों के बारे में कभी नहीं सुनते हैं (यानी, संभावना फ़ंक्शन के मोड के बजाय अपेक्षित मूल्य के आधार पर )? क्या यह मुख्य रूप से ऐतिहासिक कारणों से है, या अधिक …

22 probability  mathematical-statistics  maximum-likelihood  optimization  expected-value 

मुझे एक कार्यक्रम लागू करने की आवश्यकता है जो कुछ प्रशिक्षण डेटा के आधार पर रिकॉर्ड को 2 श्रेणियों (सच्चा / गलत) में वर्गीकृत करेगा, और मैं सोच रहा था कि मुझे किस एल्गोरिदम / कार्यप्रणाली को देखना चाहिए। उनमें से चुनने के लिए बहुत कुछ प्रतीत होता है - …

21 machine-learning  bayesian  optimization  genetic-algorithms 

लॉजिस्टिक रिग्रेशन में परफेक्ट अलगाव के बारे में हमारी कई अच्छी चर्चाएँ हैं। जैसे, R में लॉजिस्टिक रिग्रेशन सही अलगाव (हक-डोनर घटना) के रूप में हुआ। अब क्या? और लॉजिस्टिक रिग्रेशन मॉडल अभिसरण नहीं करता है । मैं व्यक्तिगत रूप से अभी भी महसूस करता हूं कि यह सहज नहीं …

20 logistic  generalized-linear-model  optimization  intuition  separation 

मैं सममित सकारात्मक निश्चित (एसपीडी) मैट्रिक्स की परिभाषा जानता हूं, लेकिन अधिक समझना चाहता हूं। वे इतने महत्वपूर्ण क्यों हैं, सहज ज्ञान युक्त? यहाँ मुझे क्या पता है और क्या? किसी दिए गए डेटा के लिए, सह-विचरण मैट्रिक्स SPD है। सह-विचरण मैट्रिक्स एक महत्वपूर्ण मीट्रिक है, सहज व्याख्या के लिए …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

गहरे और उथले तंत्रिका नेटवर्क के प्रशिक्षण में, अन्य मेटाफ्यूरिस्टिक्स के विपरीत ग्रेडिएंट मेथड्स (जैसे ग्रेडिएंट डिसेंट, नेस्टरोव, न्यूटन-राफसन) का आमतौर पर इस्तेमाल क्यों किया जाता है? मेटाह्यूरिस्टिक्स से मेरा मतलब है कि नकली एनालिंग, चींटी कॉलोनी ऑप्टिमाइज़ेशन आदि जैसे तरीके, जो एक स्थानीय मिनीमा में अटकने से बचने के …

20 neural-networks  optimization  deep-learning  gradient-descent  backpropagation 

मैं LSTMs के साथ प्रयोग करने के लिए थीनो का उपयोग कर रहा हूं, और सोच रहा था कि LSTM के लिए कौन से अनुकूलन के तरीके (SGD, Adagrad, Adadelta, RMSprop, Adam, etc) सबसे अच्छे हैं? क्या इस विषय पर कोई शोध पत्र हैं? इसके अलावा, क्या इसका जवाब इस …

20 machine-learning  neural-networks  optimization  lstm 

जेनेटिक एल्गोरिदम अनुकूलन विधि का एक रूप है। अक्सर स्टोचैस्टिक ग्रेडिएंट डिसेंट और इसके डेरिवेटिव फंक्शन ऑप्टिमाइजेशन के लिए सबसे अच्छा विकल्प होते हैं, लेकिन जेनेटिक एल्गोरिदम अभी भी कभी-कभी उपयोग किए जाते हैं। उदाहरण के लिए, नासा के ST5 अंतरिक्ष यान का एंटीना एक आनुवंशिक एल्गोरिथ्म के साथ बनाया …

20 machine-learning  optimization  gradient-descent  genetic-algorithms 

मैं अनुकूलन के लिए नया हूँ। मैं उन समीकरणों को देखता रहता हूं जिनमें एक सुपरस्क्रिप्ट 2 है और एक मानक के दाईं ओर एक सबस्क्रिप्ट 2 है। उदाहरण के लिए, यहाँ सबसे कम वर्ग समीकरण है मिनट||Ax−b||22||Ax−b||22 ||Ax-b||^2_2 मुझे लगता है कि मैं सुपरस्क्रिप्ट 2 को समझता हूं: इसका …

20 regression  optimization  notation 

लॉजिस्टिक रिग्रेशन ऑप्टिमाइज़ेशन के लिए न्यूटन की विधि का उपयोग करना पुनरावृत्त पुन: भारित वर्गों को क्यों कहा जाता है? यह मुझे स्पष्ट नहीं लगता क्योंकि लॉजिस्टिक लॉस और कम से कम स्क्वायर लॉस पूरी तरह से अलग चीजें हैं।

19 logistic  generalized-linear-model  optimization  irls  fisher-scoring