हम नकारात्मक संभावना को कम क्यों करते हैं अगर यह संभावना के अधिकतमकरण के बराबर है?

Question

इस सवाल ने मुझे लंबे समय तक हैरान किया। मैं संभावना को अधिकतम करने में 'लॉग' के उपयोग को समझता हूं इसलिए मैं 'लॉग' के बारे में नहीं पूछ रहा हूं।

मेरा सवाल यह है कि चूंकि लॉग लाइबिलिटी को अधिकतम करना "नेगेटिव लॉग लाइबिलिटी" (एनएलएल) को कम करने के बराबर है, हमने इस एनएलएल का आविष्कार क्यों किया? हम हर समय "सकारात्मक संभावना" का उपयोग क्यों नहीं करते हैं? एनएलएल किन परिस्थितियों में इष्ट है?

मुझे यहां थोड़ा स्पष्टीकरण मिला। https://quantivity.wordpress.com/2011/05/23/why-minimize-negative-log-likelihood/ , और यह गहराई में स्पष्ट समानता की व्याख्या करता प्रतीत होता है, लेकिन मेरी उलझन को हल नहीं करता है।

किसी भी स्पष्टीकरण की सराहना की जाएगी।

Comments

अधिकतम लॉग संभावना एक हानि कार्य नहीं है, लेकिन इसका नकारात्मक अंतिम अनुभाग में लेख में बताया गया है। यह संगति की बात है। मान लीजिए कि आपके पास एक स्मार्ट लर्निंग सिस्टम है जो किसी समस्या के लिए अलग-अलग नुकसान की कोशिश कर रहा है। नुकसान कार्यों के सेट में चुकता नुकसान, पूर्ण नुकसान आदि शामिल होंगे, एक सुसंगत सूची के लिए आप नुकसान कार्यों की सूची में नकारात्मक लॉग संभावना जोड़ देंगे।

— Cagdas Ozgenc

Answer 1

यह एक वैकल्पिक उत्तर है: सांख्यिकीय पैकेज में ऑप्टिमाइज़र आमतौर पर एक फ़ंक्शन के परिणाम को कम करके काम करते हैं । यदि आपके फ़ंक्शन को संभावना मान देता है, तो यह संभावना फ़ंक्शन द्वारा लौटाए गए मूल्य को कम करने के लिए लॉगरिदम का उपयोग करने के लिए अधिक सुविधाजनक है। फिर, चूंकि लॉग लाइबिलिटी और संभावना फ़ंक्शन में एक ही बढ़ती या घटती प्रवृत्ति होती है, आप वास्तव में परीक्षण कर रहे फ़ंक्शन के अधिकतम संभावना अनुमान का प्रदर्शन करने के लिए नकारात्मक लॉग संभावना को कम कर सकते हैं। उदाहरण के लिए देखें आर में समारोह यहांnlminb

Comments

मैं कहूंगा कि यह भी आशावादियों से परे है और अनुकूलन सिद्धांत में सम्मेलनों में निहित है। ऐसा लगता है कि न्यूनतमकरण को अक्सर डिफ़ॉल्ट अनुकूलन माना जाता है। उदाहरण के लिए, "उत्तल अनुकूलन" नाम पर विचार करें, जो न्यूनतमकरण के साथ-साथ चलता है, लेकिन आसानी से "अवतल अनुकूलन" कहा जा सकता है।

— बिटवाइज

Answer 2

ऑप्टिमाइज़र आमतौर पर एक फ़ंक्शन को कम करते हैं, इसलिए हम नकारात्मक लॉग-लाइबिलिटी का उपयोग कम से कम करते हैं जो लॉग-लाइबिलिटी या स्वयं की संभावना को अधिकतम करने के बराबर है।

पूर्णता के लिए, मैं यह उल्लेख करूंगा कि लघुगणक एक मोनोटोनिक फ़ंक्शन है, इसलिए एक फ़ंक्शन का अनुकूलन उसी के लघुगणक को अनुकूलित करने के समान है। संभावना फ़ंक्शन के लॉग ट्रांसफ़ॉर्मेशन को करने से इसे हैंडल करना आसान हो जाता है (गुणन रकम बन जाता है) और यह भी अधिक स्थिर होता है। ऐसा इसलिए है क्योंकि संभावना की मात्रा बहुत कम हो सकती है। एक लॉग ट्रांसफ़ॉर्मिंग करने से ये छोटे नंबर बड़े नकारात्मक मूल्यों में परिवर्तित हो जाते हैं, जो एक परिमित सटीक मशीन बेहतर तरीके से संभाल सकती है।

Comments

एक उदाहरण के रूप में, मैं अक्सर अपने काम में क्रम -40,000 के लॉग संभावना का सामना करता हूं। इस शासन में यह संभावना के साथ ही काम करने के लिए संख्यात्मक रूप से असंभव है।

— वॉनडेन

Answer 3

यहाँ कम करने का अर्थ है दो वितरणों की दूरी को अपने सबसे कम करना: लक्ष्य बर्नौली वितरण और उत्पन्न परिणाम वितरण। हम Kullback-Leibler divergence (जिसे रिश्तेदार एन्ट्रॉपी भी कहा जाता है) का उपयोग करके दो वितरणों की दूरी को मापते हैं, और बड़ी संख्या के सिद्धांत के कारण केएल डाइवरेज को कम करने से क्रॉस एन्ट्रॉपी (या तो मल्टीक्लास क्रॉस ट्रॉपी को कम करने के लिए राशि है, यहां देखें या बाइनरी वर्गीकरण देखें, यहां देखें और यहां देखें) यहाँ )।

इस प्रकार

लॉग संभावना को अधिकतम करना "नकारात्मक लॉग संभावना" को कम करने के बराबर है

में अनुवाद किया जा सकता है

लॉग संभावना को अधिकतम करना दो वितरणों के बीच की दूरी को कम करने के बराबर है, इस प्रकार केएल विचलन को कम करने के बराबर है, और फिर क्रॉस एन्ट्रापी।

मुझे लगता है कि यह काफी सहज हो गया है।

Answer 4

उत्तर जितना आसान हो सकता है, आपको लगता है। यह कन्वेंशन है कि हम अनुकूलन उद्देश्य फ़ंक्शन को "लागत फ़ंक्शन" या "हानि फ़ंक्शन" कहते हैं और इसलिए, हम उन्हें अधिकतम करने के बजाय उन्हें कम से कम करना चाहते हैं, और इसलिए आपके में सकारात्मक संभावना की बजाय नकारात्मक लॉग संभावना बनती है। शब्द। हालांकि तकनीकी रूप से दोनों सही हैं। वैसे, अगर हम किसी चीज को अधिकतम करना चाहते हैं, तो आमतौर पर हम इसे "यूटिलिटी फंक्शन" कहते हैं और इसलिए लक्ष्य उन्हें अधिकतम करना है।