उद्देश्य फ़ंक्शन, लागत फ़ंक्शन, हानि फ़ंक्शन: क्या वे एक ही चीज़ हैं?

Question

मशीन लर्निंग में लोग ऑब्जेक्टिव फंक्शन, कॉस्ट फंक्शन, लॉस फंक्शन के बारे में बात करते हैं। क्या वे एक ही चीज़ के अलग-अलग नाम हैं? उनका उपयोग कब करें? यदि वे हमेशा एक ही चीज़ का संदर्भ नहीं देते हैं, तो अंतर क्या हैं?

Comments

आंकड़े

— निक कॉक्स

Answer 1

ये बहुत सख्त शब्द नहीं हैं और ये अत्यधिक संबंधित हैं। हालाँकि:

• हानि फ़ंक्शन आमतौर पर डेटा बिंदु, भविष्यवाणी और लेबल पर परिभाषित एक फ़ंक्शन है, और दंड को मापता है। उदाहरण के लिए:
  • चौकोर हानि , रैखिक प्रतिगमन में प्रयुक्त$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • $l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • सैद्धांतिक विश्लेषण और सटीकता की परिभाषा में प्रयुक्त लॉस ,$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• लागत समारोह आमतौर पर अधिक सामान्य है। यह आपके प्रशिक्षण सेट और कुछ मॉडल जटिलता जुर्माना (नियमितीकरण) पर नुकसान कार्यों का एक योग हो सकता है। उदाहरण के लिए:
  • मीन चुकता त्रुटि$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • SVM लागत समारोह (वहाँ जोड़ने अतिरिक्त की कमी कर रहे हैं साथ और प्रशिक्षण सेट के साथ)$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• उद्देश्य फ़ंक्शन किसी भी फ़ंक्शन के लिए सबसे सामान्य शब्द है जिसे आप प्रशिक्षण के दौरान अनुकूलित करते हैं। उदाहरण के लिए, अधिकतम संभावना दृष्टिकोण में प्रशिक्षण सेट उत्पन्न करने की संभावना एक अच्छी तरह से परिभाषित उद्देश्य फ़ंक्शन है, लेकिन यह न तो एक हानि फ़ंक्शन है और न ही लागत फ़ंक्शन (हालांकि आप एक समकक्ष लागत फ़ंक्शन को परिभाषित कर सकते हैं)। उदाहरण के लिए:
  • MLE एक प्रकार का उद्देश्य फ़ंक्शन है (जिसे आप अधिकतम करते हैं)
  • वर्गों के बीच विचलन एक उद्देश्य फ़ंक्शन हो सकता है लेकिन यह मुश्किल से एक लागत फ़ंक्शन है, जब तक कि आप 1-डायवर्जेंस जैसे कुछ कृत्रिम को परिभाषित न करें, और इसे लागत का नाम दें

लंबी कहानी छोटी, मैं कहूंगा कि:

हानि फ़ंक्शन एक लागत फ़ंक्शन का एक हिस्सा है जो एक उद्देश्य फ़ंक्शन का एक प्रकार है ।

Comments

+1। मैंने इसके लिए एक स्रोत नहीं देखा है, लेकिन मैंने अनुमान लगाया है कि "उद्देश्य" शब्द का उपयोग किया जाता है क्योंकि यह आपका लक्ष्य या उद्देश्य है उस फ़ंक्शन को अनुकूलित करना, जिसका अर्थ हो सकता है कि किसी चीज़ को अधिकतम करना या किसी चीज़ को कम से कम करना, हालांकि यह अंतर तुच्छ है, किसी भी कार्य को नकारा जा सकता है। इसके विपरीत, "नुकसान" और "लागत" के pejorative ओवरटोन काटते हैं: मैं कहूंगा कि किसी चीज को कम से कम करने के लिए किसी भी शब्द का उपयोग करने के लिए यह विकृत होगा। ये बिंदु आपके ठीक उत्तर में मौन हैं, लेकिन थोड़ा और जोर देने के लायक हैं।

— निक कॉक्स

"MLE" में "M" का अर्थ "अधिकतम" नहीं "न्यूनतम" है। मैं केवल इस पांडित्यपूर्ण विवरण का उल्लेख करता हूं क्योंकि यह प्रश्न स्टैक्वेरोफ़्लो से माइग्रेट किया गया था, और मुझे गलत फ़ंक्शन को कम करने के बग से काट लिया गया है

— टेलर

दरअसल, ऑब्जेक्टिव फंक्शन एक फंक्शन (जैसे एक लीनियर फंक्शन) होता है जिसे आप किसी फंक्शन फंक्शन की कमी के तहत (आमतौर पर कम या ज्यादा करके) ऑप्टिमाइज़ करना चाहते हैं (जैसे L1, L2)। उदाहरण रिज रिग्रेशन या एसवीएम हैं। आप बिना किसी नुकसान के फ़ंक्शन के उद्देश्य फ़ंक्शन को भी अनुकूलित कर सकते हैं, उदाहरण के लिए साधारण ओएलएस या लॉगिट।

— g3o2

@ निक कॉक्स ने '' लॉस '' और '' कॉस्ट '' के दकियानूसी ओवरटोन को काटते हुए लिखा है: मैं कहूंगा कि किसी चीज को छोड़कर किसी भी शब्द का उपयोग करने के लिए इसे विकृत किया जाएगा '' इससे मैं असहमत हूं, नुकसान या लागत को अधिकतम किया जा सकता है। सबसे खराब संभव मामला खोजें (जो भी बाधाओं के अधीन है)। यह सबसे खराब स्थिति विश्लेषण के लिए उपयोगी हो सकता है।

— मार्क एल। स्टोन

मुझे "नुकसान" और "लागत" के बीच के अंतर को रटे याद रखने की तुलना में सीधा रखना कठिन लगता है। समस्या यह है कि शब्दों की अंग्रेजी परिभाषा में ऐसा कोई सुराग नहीं दिया गया है जो कि होना चाहिए, और न ही कोई स्पष्ट विषय-वस्तु है। किसी भी सुझाव का स्वागत करते हैं।

— स्टीफन

Answer 2

प्रो। एंड्रयू एनजी के अनुसार (पृष्ठ 11 पर स्लाइड देखें),

समारोह h (X) आपकी परिकल्पना का प्रतिनिधित्व करता है। फिक्स्ड फिटिंग पैरामीटर थीटा के लिए, यह एक्स का एक फ़ंक्शन है। मेरा कहना है कि इसे ऑब्जेक्टिव फंक्शन भी कहा जा सकता है।

लागत फ़ंक्शन J फिटिंग पैरामीटर थीटा का एक फ़ंक्शन है। जे = जे (थीटा)।

हस्ती एट अल की पाठ्य पुस्तक "एलिमेंट्स ऑफ़ स्टैटिस्टिकल लर्निंग" के अनुसार , p.37 द्वारा:

"हम इनपुट X के Y दिए गए मानों की भविष्यवाणी के लिए एक फ़ंक्शन f (X) चाहते हैं।" [...] हानि फ़ंक्शन L (Y, f (X)) "भविष्यवाणी में त्रुटियों को दंडित करने के लिए एक फ़ंक्शन है",

तो ऐसा लगता है कि "नुकसान फ़ंक्शन" "लागत फ़ंक्शन" की तुलना में थोड़ा अधिक सामान्य शब्द है। यदि आप उस पीडीएफ में "नुकसान" की तलाश करते हैं, तो मुझे लगता है कि वे "लागत फ़ंक्शन" और "नुकसान फ़ंक्शन" का कुछ समान रूप से उपयोग करते हैं।

वास्तव में, पी। 502

"स्थिति [क्लस्टरिंग में] कुछ हद तक भविष्यवाणी की समस्याओं (पर्यवेक्षण सीखने) में हानि या लागत समारोह के विनिर्देशन के समान है"।

शायद ये शब्द मौजूद हैं क्योंकि वे विभिन्न शैक्षणिक समुदायों में स्वतंत्र रूप से विकसित हुए हैं। "ऑब्जेक्टिव फंक्शन" एक पुराना शब्द है जिसका उपयोग ऑपरेशंस रिसर्च, और इंजीनियरिंग गणित में किया जाता है। "हानि समारोह" सांख्यिकीविदों के बीच उपयोग में अधिक हो सकता है। लेकिन मैं यहां अटकलें लगा रहा हूं।

Comments

हानि समारोह लागत समारोह की तुलना में "अधिक सामान्य" होने के आसपास कहीं नहीं है। f (X) विशेष रूप से आपके मापदंडों (इस प्रकार J (थीटा)) का कार्य है, जिससे यह (हानि फ़ंक्शन) एक विशेष प्रकार का लागत कार्य होता है। इसके अलावा, हस्ती के पास एक सरलीकरण है, वह अतिरिक्त नुकसान कार्यों को मानता है , जो लागत कार्यों

— बनाता है

मैंने सिर्फ अकादमिक साहित्य के संदर्भों के साथ इस सवाल का जवाब देने की कोशिश की, जिन्हें समझना आसान है। "योगात्मक हानि कार्यों" की आपकी बात सही हो सकती है, लेकिन पूछे गए प्रश्न के दायरे से परे है, और मुझे ESL पुस्तक में यह विशिष्ट शब्द नहीं मिल सकता है

— knb

Esl एक महान पुस्तक है, लेकिन Ml ज्ञान का एकमात्र स्रोत नहीं है।

— लेज्लोट

यह "मैं कहूंगा" एनजी से या आप? एच मॉडल है (परिकल्पना के लिए एच)। उद्देश्य यह है कि h अच्छा प्रदर्शन करता है। उद्देश्य फ़ंक्शन मापता है कि एच कितना अच्छा करता है और आमतौर पर एच से अलग होता है।

— जोकिम वैगनर

esl का लिंक टूटा है

— Talespin_Kit

Answer 3

एंड्रयू एनजी के शब्दों में-

"अंत में, नुकसान फ़ंक्शन को एक एकल प्रशिक्षण उदाहरण के संबंध में परिभाषित किया गया था। यह मापता है कि आप एकल प्रशिक्षण उदाहरण पर कितना अच्छा काम कर रहे हैं। मैं अब लागत फ़ंक्शन नामक कुछ को परिभाषित करने जा रहा हूं, जो मापता है कि आप कितने अच्छे हैं।" एक संपूर्ण प्रशिक्षण सेट कर रहा है। इसलिए लागत फ़ंक्शन जे जो आपके मापदंडों पर लागू होता है डब्ल्यू और बी प्रशिक्षण के प्रत्येक उदाहरण पर लागू नुकसान फ़ंक्शन के योग में से एक के साथ औसत होने वाला है और बारी है। "

Answer 4

"डीप लर्निंग" में धारा 4.3 से - इयान गुडफेलो, योशुआ बेंगियो, आरोन कोर्टविल http://www.deeplinbook.org/

"जिस फ़ंक्शन को हम कम से कम या अधिकतम करना चाहते हैं, उसे उद्देश्य फ़ंक्शन या मानदंड कहा जाता है। जब हम इसे कम कर रहे होते हैं, तो हम इसे लागत फ़ंक्शन, हानि फ़ंक्शन, या त्रुटि फ़ंक्शन भी कह सकते हैं। इस पुस्तक में, हम इन शब्दों का परस्पर उपयोग करते हैं।" हालांकि कुछ मशीन लर्निंग प्रकाशन इन शब्दों में से कुछ को विशेष अर्थ प्रदान करते हैं। "

इस पुस्तक में, कम से कम, हानि और लागत समान हैं।

Answer 5

आपको संक्षिप्त उत्तर देने के लिए, मेरे अनुसार वे पर्यायवाची हैं। हालाँकि, लागत फ़ंक्शन का उपयोग ऑप्टिमाइज़ेशन समस्या में अधिक किया जाता है और नुकसान फ़ंक्शन का उपयोग पैरामीटर अनुमान में किया जाता है।

Answer 6

शब्द की लागत और हानि के कार्य पर्याय हैं कुछ लोग इसे त्रुटि फ़ंक्शन भी कहते हैं। अधिक सामान्य परिदृश्य पहले एक उद्देश्य फ़ंक्शन को परिभाषित करना है, जिसे हम अनुकूलित करना चाहते हैं। यह वस्तुनिष्ठ समारोह हो सकता है

1. अधिकतम संभावनाएं बढ़ाएं (उदाहरण के लिए, भोले बे)
2. अधिकतम एक फिटनेस फ़ंक्शन (आनुवंशिक प्रोग्रामिंग)
3. कुल इनाम / मूल्य समारोह (सुदृढीकरण सीखने) को अधिकतम करें
4. अधिकतम जानकारी प्राप्त करें / बच्चे के नोड की अशुद्धियों को कम करें (CART निर्णय वृक्ष वर्गीकरण) 5. एक न्यूनतम चुकता त्रुटि लागत (या हानि) फ़ंक्शन (CART, निर्णय ट्री प्रतिगमन, रैखिक प्रतिगमन, अनुकूली रैखिक न्यूरॉन्स,…
5. लॉग-लाइकैलिटी को अधिकतम करें या क्रॉस-एन्ट्रापी लॉस (या लागत) को कम करें समारोह को कम करें हानि (वेक्टर मशीन का समर्थन करें)

Answer 7

वास्तव में सरल होने के लिए यदि आपके पास एम (जैसे (1), वाई (1)), (एक्स (2), वाई (2)) जैसे प्रशिक्षण डेटा हैं, तो। । । (x (m), y (m)) हम एक एकल प्रशिक्षण सेट के ycap और y के बीच हानि का पता लगाने के लिए हानि फ़ंक्शन L (ycap, y) का उपयोग करते हैं। यदि हम संपूर्ण प्रशिक्षण सेट के ycap और y के बीच हानि को खोजना चाहते हैं तो हम उपयोग करते हैं लागत कार्य।

नोट: - ycap का अर्थ है हमारे मॉडल से आउटपुट और y का मतलब अपेक्षित आउटपुट है

नोट: - क्रेडिट एंड्रयू एनजी रिसोर्स: coursera न्यूरल नेटवर्क और डीप लर्निंग जाता है

Answer 8

हानि फ़ंक्शन एकल प्रशिक्षण उदाहरण के लिए त्रुटि की गणना करता है, जबकि लागत फ़ंक्शन पूरे प्रशिक्षण सेट के नुकसान कार्यों का औसत है।

Comments

निक कॉक्स के लिंक को देखें।

— माइकल चेरिक