मशीन लर्निंग में एनर्जी मिनिमाइजेशन क्या है?

मैं कंप्यूटर की दृष्टि में एक खराब समस्या के लिए अनुकूलन के बारे में पढ़ रहा था और विकिपीडिया पर अनुकूलन के बारे में नीचे दिए गए स्पष्टीकरण पर आया था। मुझे समझ में नहीं आ रहा है, वे इस अनुकूलन को " कम से कम " कंप्यूटर विज़न में क्यों कहते हैं ?

एक अनुकूलन समस्या को निम्न तरीके से दर्शाया जा सकता है:

दिया गया: एक फ़ंक्शन कुछ सेट से वास्तविक संख्याओं तक $f: A \to R$ $A$

की मांग की: एक तत्व में ऐसी है कि सभी के लिए में ( "न्यूनतम") या ऐसी है कि सभी के लिए में ( " अधिकतम ")। $x_0$ $A$ $f(x_0) ≤ f(x)$ $x$ $A$ $f(x_0) ≥ f(x)$ $x$ $A$

इस तरह के सूत्रीकरण को अनुकूलन समस्या या गणितीय प्रोग्रामिंग समस्या कहा जाता है (यह शब्द सीधे कंप्यूटर प्रोग्रामिंग से संबंधित नहीं है, लेकिन अभी भी रैखिक प्रोग्रामिंग में उदाहरण के लिए उपयोग में है - नीचे इतिहास देखें)। कई वास्तविक दुनिया और सैद्धांतिक समस्याओं को इस सामान्य ढांचे में तैयार किया जा सकता है। समस्याएं भौतिकी और कंप्यूटर दृष्टि के क्षेत्र में इस तकनीक का इस्तेमाल ऊर्जा न्यूनतम के रूप में तकनीक का उल्लेख कर सकते, फंक्शन का मान की बात कर तैयार की मॉडल की जा रही प्रणाली की ऊर्जा का प्रतिनिधित्व करता हुआ। $f$

machine-learning optimization computer-vision

— iamprem
स्रोत

जवाबों:

ऊर्जा आधारित मॉडल कई मशीन लर्निंग एल्गोरिदम का प्रतिनिधित्व करने के लिए एक एकीकृत ढांचा हैं। वे ऊर्जा क्रिया को कम करने और नुकसान को कम करने के रूप में सीखने के रूप में अनुमान की व्याख्या करते हैं।

ऊर्जा फ़ंक्शन अव्यक्त चर के कॉन्फ़िगरेशन का एक फ़ंक्शन है, और एक उदाहरण में प्रदान किए गए इनपुट का कॉन्फ़िगरेशन। आमतौर पर इंजेक्शन का अर्थ है कम ऊर्जा कॉन्फ़िगरेशन, या संभव कॉन्फ़िगरेशन से नमूना लेना ताकि किसी दिए गए कॉन्फ़िगरेशन को चुनने की संभावना एक गिब्स वितरण हो।

नुकसान कार्यात्मक कई उदाहरण दिए गए मॉडल मापदंडों का एक कार्य है। उदाहरण के लिए, एक पर्यवेक्षित सीखने की समस्या में, आपका नुकसान लक्ष्यों पर कुल त्रुटि है। इसे कभी-कभी "कार्यात्मक" कहा जाता है क्योंकि यह (पैराट्राइज्ड) फ़ंक्शन का एक फ़ंक्शन है जो मॉडल का गठन करता है।

प्रमुख कागज:

वाई। लेकुन, एस। चोपड़ा, आर। हाडसेल, एम। रनाज़ातो और एफजे हुआंग, "एन-बेस्ड लर्निंग ऑन ए ट्यूटोरियल, इन प्रीडिक्टिंग स्ट्रक्चर्ड डेटा, एमआईटी प्रेस, 2006।

और देखें:

लेकुन, वाई।, और हुआंग, एफजे (2005)। ऊर्जा आधारित मॉडल के भेदभावपूर्ण प्रशिक्षण के लिए नुकसान के कार्य। आर्टिफिशियल इंटेलिजेंस एंड स्टैटिस्टिक्स (AIStats'05) पर 10 वीं अंतर्राष्ट्रीय कार्यशाला की कार्यवाही में। से लिया गया http://yann.lecun.com/exdb/publis/pdf/lecun-huang-05.pdf

रैनज़ातो, एम।, बौर्यू, वाई.एल., चोपड़ा, एस।, और लेकुन, वाई। (2007)। Unsupervised Learning के लिए एक एकीकृत ऊर्जा-आधारित ढांचा। प्रोक। AI और सांख्यिकी (AI-Stats) पर सम्मेलन। Http://dblp.uni-trier.de/db/journals/jmlr/jmlrp2.html#RanzatoBCL07 से लिया गया

— नील जी
स्रोत

क्या आप इस बात पर विस्तार कर सकते हैं कि "वे ऊर्जा समारोह को कम करने और हानि के कार्य को कम करने के रूप में अधिगम की व्याख्या करते हैं" का अर्थ है? एक ऊर्जा फ़ंक्शन एक हानि फ़ंक्शन से अलग कैसे है?

— क्लिफ एबी

क्या आप अपना उत्तर विस्तृत कर सकते हैं

— iamprem

@CliffAB उम्मीद है कि स्पष्ट है?

— नील जी

@ नील: सच कहूँ तो, मैं अभी भी थोड़ा उलझन में हूँ। मेरे लिए, ऐसा लगता है कि "ऊर्जा फ़ंक्शन" अनिवार्य रूप से आंकड़ों में संभावना फ़ंक्शन के समान है। क्या यह एक उचित व्याख्या है या मैं कुछ अधिक सूक्ष्म याद कर रहा हूं?

— क्लिफ एबी

@ क्लिफ़ैब: एनर्जी फंक्शन लॉग-लाइबिलिटी हो सकता है, जिस स्थिति में कुल एक्सपेरीनेटेड एनर्जी एक है। हालांकि, यह भी आवश्यक नहीं है: गैर-संभाव्य ऊर्जा-आधारित मॉडल इस सामान्यीकरण के बारे में चिंता नहीं करते हैं, जो उन्हें संभाव्य मॉडल की तुलना में अधिक कुशल बना सकते हैं। ऐसा इसलिए है क्योंकि यह कॉन्फ़िगरेशन स्थान पर महंगी इंटीग्रल्स का मूल्यांकन करने से बचता है।

— नील जी

$x_t$

इ = Σ {एक्स}_{टी}^{2}

$E = \Sigma x_t^2$

एस एस इ = Σ (y - \hat{y})^{2}

$SSE= \Sigma (y-\hat{y})^2$ कहाँ पे

\hat{y}

$\hat{y}$ फिट की गई प्रतिक्रिया है। समानता को नोटिस करें? SSE ऊर्जा है। इस ऊर्जा को फिट किए गए मापदंडों द्वारा कम से कम किया जाता है।

— स्टेन
स्रोत

मुझे लगता है कि आप ऊर्जा के साथ नुकसान को भ्रमित कर रहे हैं

— नील जी

I am using the standard definition of energy from signal processing. Computer science / machine learning people do tend to redefine terms, I guess. I come from stats and signal processing background

— stan

Your first formula is an energy function. The second formula is loss function since it's not a function of the configuration.

— Neil G

@Neil I'm sure you are using the terminology correctly as defined in the papers you cited. It's just a different terminology from what I'm used to where SSE is energy

— stan