मशीन लर्निंग में अनुकूलन उद्देश्य के रूप में पियर्सन के सहसंबंध गुणांक का उपयोग करें


12

मशीन लर्निंग (प्रतिगमन समस्याओं के लिए) में, मैं अक्सर मीन-स्क्वेर्ड-एरर (MSE) या मीन-एब्सोल्यूट-एरर (MAE) को कम से कम करने के लिए एरर फंक्शन के रूप में उपयोग किया जाता है (साथ ही रेगुलराइजेशन टर्म)। मैं सोच रहा हूँ कि क्या ऐसी परिस्थितियाँ हैं जहाँ सहसंबंध गुणांक का उपयोग करना अधिक उचित होगा? यदि ऐसी स्थिति मौजूद है, तो:

  1. किन परिस्थितियों में सहसंबंध गुणांक एमएसई / एमएई की तुलना में बेहतर मीट्रिक है?
  2. इन स्थितियों में, MSE / MAE अभी भी उपयोग करने के लिए एक अच्छा प्रॉक्सी लागत फ़ंक्शन है?
  3. क्या सहसंबंध सहसंबंध को अधिकतम करना संभव है? क्या यह एक स्थिर उद्देश्य फ़ंक्शन का उपयोग करना है?

मैं उन मामलों को नहीं खोज सका जहां सहसंबंध गुणांक का उपयोग सीधे अनुकूलन में उद्देश्य समारोह के रूप में किया जाता है। मैं सराहना करूंगा अगर लोग मुझे इस क्षेत्र में जानकारी के लिए इंगित कर सकते हैं।

जवाबों:


7

अत्यधिक शोर होने पर मैक्सिमाइज़िंग सहसंबंध उपयोगी होता है। दूसरे शब्दों में, इनपुट और आउटपुट के बीच का संबंध बहुत कमजोर है। ऐसे मामले में, MSE को कम करने से आउटपुट शून्य के करीब हो जाएगा ताकि प्रेडिकेशन एरर ट्रेनिंग आउटपुट के विचरण के समान हो।

प्रत्यक्ष रूप से सहसंबंध के रूप में सहसंबंध का उपयोग करना ढाल वंश दृष्टिकोण के लिए संभव है (बस इसे न्यूनतम माइनर संबंध में परिवर्तित करें)। हालांकि, मुझे नहीं पता है कि इसे SGD के दृष्टिकोण के साथ कैसे अनुकूलित किया जाए, क्योंकि लागत समारोह और ढाल में सभी प्रशिक्षण नमूनों के आउटपुट शामिल हैं।

सहसंबंध को अधिकतम करने के लिए एक और तरीका है कि आउटपुट आउटपुट के लिए विवश एमएसई को प्रशिक्षण आउटपुट संस्करण के समान कम से कम किया जाए। हालाँकि, बाधा में सभी आउटपुट शामिल हैं, इस प्रकार वहाँ (मेरे विचार में) कोई भी अनुकूलक अनुकूलक का लाभ उठाने के लिए नहीं है।

संपादित करें: यदि तंत्रिका नेटवर्क की शीर्ष परत एक रैखिक आउटपुट परत है, तो हम MSE को कम कर सकते हैं और फिर सहसंबंध को अधिकतम करने के लिए रैखिक परत में भार और पूर्वाग्रह को समायोजित कर सकते हैं। समायोजन CCA ( https://en.wikipedia.org/wiki/Canonical_analysis ) के समान किया जा सकता है ।


1

हम अपने शोध में पियरसन के सहसंबंध का उपयोग करते हैं और यह अच्छी तरह से काम करता है। हमारे मामले में यह काफी स्थिर है। चूंकि यह एक अनुवाद और पैमाना अपरिवर्तनीय उपाय है, यह केवल तभी उपयोगी है जब आप आकार की भविष्यवाणी करना चाहते हैं, सटीक मूल्यों की नहीं। इसलिए, यह उपयोगी है यदि आप नहीं जानते कि आपका लक्ष्य आपके मॉडल के समाधान स्थान में है और आप केवल आकार में रुचि रखते हैं। इसके विपरीत, एमएसई भविष्यवाणी और लक्ष्यों के बीच औसत दूरी को कम कर देता है, इसलिए यह डेटा को यथासंभव फिट करने की कोशिश करता है। शायद यही कारण है कि एमएसई का अधिक व्यापक रूप से उपयोग किया जाता है, क्योंकि आप आमतौर पर सटीक मूल्यों की भविष्यवाणी करने में रुचि रखते हैं। यदि आप एमएसई को कम करते हैं, तो सहसंबंध बढ़ेगा।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.