पारंपरिक आंकड़ों में, एक मॉडल का निर्माण करते समय, हम विचरण मुद्रास्फीति कारक (VIF) जैसे अनुमानों का उपयोग करते हुए मल्टीकोलिनरिटी की जांच करते हैं, लेकिन मशीन लर्निंग में, हम इसके बजाय सुविधा चयन के लिए नियमितीकरण का उपयोग करते हैं और यह जांचने के लिए प्रतीत नहीं होते हैं कि क्या सुविधाएँ सहसंबद्ध हैं बिल्कुल भी। हम ये क्यों करते हैं?
जवाबों:
मल्टीकोलिनियरिय को ध्यान में रखते हुए, प्रतिगमन विश्लेषण में महत्वपूर्ण है क्योंकि, एक्स्ट्रेमा में , यह सीधे इस बात पर निर्भर करता है कि आपके गुणांक डेटा में विशिष्ट रूप से पहचाने गए हैं या नहीं। कम गंभीर मामलों में, यह अभी भी आपके गुणांक अनुमानों के साथ खिलवाड़ कर सकता है; अनुमान के लिए उपयोग किए जाने वाले डेटा में छोटे परिवर्तन अनुमानित गुणांकों में जंगली झूलों का कारण हो सकते हैं। ये एक हीन दृष्टिकोण से समस्याग्रस्त हो सकते हैं: यदि दो चर अत्यधिक सहसंबद्ध हैं, तो एक में वृद्धि दूसरे में घट सकती है, इसलिए संयुक्त प्रभाव एक दूसरे को नकारना है। दो से अधिक चर के साथ, प्रभाव और भी अधिक सूक्ष्म हो सकता है, लेकिन यदि भविष्यवाणियां स्थिर हैं, तो यह अक्सर मशीन सीखने के अनुप्रयोगों के लिए पर्याप्त है।
विचार करें कि हम प्रतिगमन संदर्भ में नियमित क्यों करते हैं: हमें मॉडल को बहुत अधिक लचीला होने से रोकने की आवश्यकता है । नियमितीकरण की सही मात्रा को लागू करने से विचरण में बड़ी कमी के लिए पूर्वाग्रह थोड़ा बढ़ जाएगा। इसका उत्कृष्ट उदाहरण एक प्रतिगमन में बहुपद शब्द और अंतःक्रियात्मक प्रभाव जोड़ रहा है: पतित मामले में, भविष्यवाणी समीकरण डेटा बिंदुओं को प्रक्षेपित करेगा, लेकिन शायद अनदेखी डेटा बिंदुओं के मूल्यों की भविष्यवाणी करने का प्रयास करते समय भयानक हो। उन गुणांकों को सिकोड़ने से उन गुणांकों में से कुछ को कम करने या पूरी तरह से समाप्त करने की संभावना होगी और सामान्यीकरण में सुधार होगा।
एक यादृच्छिक जंगल, हालांकि, प्रत्येक विभाजन पर नमूना किए गए चर की संख्या के माध्यम से एक नियमितीकरण पैरामीटर देखा जा सकता है: आप बेहतर विभाजन को बड़ा करते हैं mtry(चुनने के लिए अधिक सुविधाएँ; उनमें से कुछ दूसरों की तुलना में बेहतर हैं), लेकिन वह भी प्रत्येक पेड़ एक दूसरे के पेड़ के साथ अधिक सहसंबद्ध बनाता है, पहली जगह में कई पेड़ों के आकलन के विविध प्रभाव को कम करता है। यह दुविधा एक सही संतुलन खोजने के लिए मजबूर करती है, आमतौर पर क्रॉस-वैलिडेशन का उपयोग करके हासिल की जाती है। महत्वपूर्ण रूप से, और एक प्रतिगमन विश्लेषण के विपरीत, यादृच्छिक वन मॉडल के किसी भी हिस्से को अत्यधिक मिलीभगत चर द्वारा नुकसान नहीं पहुंचाया जाता है: भले ही चर में से दो समान बाल नोड शुद्धता प्रदान करते हैं, आप परिणाम की गुणवत्ता को कम किए बिना सिर्फ एक चुन सकते हैं।
इसी तरह, एसवीएम जैसी किसी चीज के लिए, आप सुविधाओं की तुलना में अधिक भविष्यवाणियों को शामिल कर सकते हैं क्योंकि कर्नेल चाल आपको उन फीचर वैक्टर के आंतरिक उत्पाद पर पूरी तरह से काम करने देती है। टिप्पणियों की तुलना में अधिक विशेषताओं के होने से रिग्रेसन में समस्या होगी, लेकिन कर्नेल ट्रिक का अर्थ है कि हम केवल प्रत्येक उदाहरण के लिए गुणांक का अनुमान लगाते हैं, जबकि नियमितीकरण पैरामीटर समाधान के लचीलेपन को कम करता है - जो कि निश्चित रूप से एक अच्छी बात है, क्योंकि पैरामीटर के लिएएक अप्रतिबंधित तरीके से अवलोकन हमेशा परीक्षण डेटा पर एक आदर्श मॉडल का उत्पादन करेगा - और हम पूर्ण सर्कल में आते हैं, रिज / LASSO / लोचदार नेट प्रतिगमन परिदृश्य पर वापस आते हैं, जहां हमारे पास एक ओवरऑल आशावादी मॉडल के खिलाफ जांच के रूप में मॉडल लचीलापन है। एसवीएम समस्या की केकेटी स्थितियों की समीक्षा से पता चलता है कि एसवीएम समाधान अद्वितीय है, इसलिए हमें पहचान की समस्याओं के बारे में चिंता करने की ज़रूरत नहीं है जो प्रतिगमन मामले में उत्पन्न हुई हैं।
अंत में, मल्टीकोलिनरिटी के वास्तविक प्रभाव पर विचार करें । यह मॉडल की भविष्य कहनेवाला शक्ति को नहीं बदलता है (कम से कम, प्रशिक्षण डेटा पर) लेकिन यह हमारे गुणांक अनुमानों के साथ पेंच करता है। अधिकांश एमएल अनुप्रयोगों में, हम खुद को गुणांक के बारे में परवाह नहीं करते हैं, हमारे मॉडल की भविष्यवाणियों का नुकसान, इसलिए उस अर्थ में, VIF की जाँच वास्तव में एक परिणामी प्रश्न का उत्तर नहीं देती है। (लेकिन अगर डेटा में थोड़ा सा भी बदलाव गुणांक [मल्टीकोलिनरिटी का एक क्लासिक लक्षण] में भारी उतार-चढ़ाव का कारण बनता है, तो यह भविष्यवाणियों को भी बदल सकता है, जिस स्थिति में हम देखभाल करते हैं - लेकिन यह सब [हमें उम्मीद है!] की विशेषता है जब हम क्रॉस-वेलिडेशन निष्पादित करें, जो वैसे भी मॉडलिंग प्रक्रिया का एक हिस्सा है।) एक प्रतिगमन अधिक आसानी से व्याख्या की जाती है, लेकिन व्याख्या कुछ कार्यों के लिए सबसे महत्वपूर्ण लक्ष्य नहीं हो सकती है।
इसका कारण यह है कि "पारंपरिक आंकड़ों" के लक्ष्य कई मशीन लर्निंग तकनीकों से अलग हैं।
"पारंपरिक आंकड़ों" द्वारा, मेरा मानना है कि आप प्रतिगमन और इसके प्रकारों का मतलब है। प्रतिगमन में, हम स्वतंत्र चर पर निर्भर चर पर पड़ने वाले प्रभाव को समझने की कोशिश कर रहे हैं। यदि मजबूत बहुसंस्कृति है, तो यह संभव नहीं है। कोई भी एल्गोरिथ्म इसे ठीक करने वाला नहीं है। यदि स्टूडियो उपस्थिति और ग्रेड के साथ अध्ययनशीलता का संबंध है, तो हम यह नहीं जान सकते हैं कि ग्रेड वास्तव में क्या कारण है - उपस्थिति या अध्ययन।
हालांकि, मशीन लर्निंग तकनीकों में जो भविष्यवाणिय सटीकता पर ध्यान केंद्रित करते हैं, हम सभी इस बात की परवाह करते हैं कि हम दूसरे सेट की भविष्यवाणी करने के लिए चर के एक सेट का उपयोग कैसे कर सकते हैं। इन चरों के एक दूसरे पर पड़ने वाले प्रभाव की हमें परवाह नहीं है।
मूल रूप से, मशीन लर्निंग तकनीकों में हम मल्टीकोलिनरिटी की जांच नहीं करते हैं, यह एल्गोरिथ्म का परिणाम नहीं है, यह लक्ष्य का परिणाम है। आप इसे देख सकते हैं कि चर के बीच मजबूत संपूर्नता प्रतिगमन विधियों की भविष्यवाणी सटीकता को चोट नहीं पहुंचाती है।
यहाँ एक अंतर्निहित धारणा प्रतीत होती है कि कोलीनियरिटी की जाँच करना एक उचित या सर्वोत्तम अभ्यास नहीं है। यह त्रुटिपूर्ण लगता है। उदाहरण के लिए, कई भविष्यवाणियों के साथ एक डेटासेट में पूर्ण संपुष्टता की जाँच करने से पता चलेगा कि क्या वास्तव में दो चर एक ही हैं जैसे जन्म तिथि और आयु (उदाहरण डोरेमॉन एट अल। (2013), पारिस्थितिकी , 36 , 1, पृष्ठ 27,46 )। )। मैंने कभी-कभी कागले प्रतियोगिताओं में पूरी तरह से सहसंबंधित भविष्यवक्ताओं का मुद्दा भी देखा है, जहां मंच पर प्रतियोगियों ने संभावित भविष्यवक्ताओं को समाप्त करने का प्रयास किया है, जो गुमनाम हो गए हैं (यानी भविष्यवक्ता लेबल छिपा हुआ है, कागले और कागले जैसी प्रतियोगिताओं में एक आम समस्या है)।
भविष्यवाणियों का चयन करने की मशीन सीखने में अभी भी एक गतिविधि है - अत्यधिक सहसंबद्ध भविष्यवक्ताओं की पहचान करना कार्यकर्ता को भविष्यवाणियों को खोजने की अनुमति दे सकता है जो एक अन्य अंतर्निहित (छिपे हुए) चर के लिए प्रॉक्सी हैं और अंततः एक चर पाते हैं जो अक्षांश चर का प्रतिनिधित्व करने का सबसे अच्छा काम करता है या वैकल्पिक रूप से वैरिएबल का सुझाव दें जो संयुक्त हो सकता है (जैसे पीसीए के माध्यम से)।
इसलिए, मैं सुझाव दूंगा कि हालांकि मशीन सीखने के तरीके आमतौर पर (या कम से कम अक्सर) सहसंबद्ध भविष्यवक्ताओं के चेहरे को मजबूत करने के लिए डिज़ाइन किए गए हैं, यह समझने के लिए कि किस हद तक भविष्यवक्ता सहसंबद्ध हैं, एक मजबूत और सटीक मॉडल बनाने में अक्सर एक उपयोगी कदम है। , और एक अनुकूलित मॉडल प्राप्त करने के लिए एक उपयोगी सहायता है।
मल्टीकोलिनरिटी के साथ मुख्य मुद्दा यह है कि यह स्वतंत्र चर के गुणांक (बेटास) को गड़बड़ कर देता है। इसलिए यह एक गंभीर मुद्दा है जब आप चर के बीच संबंधों का अध्ययन कर रहे हैं, कार्य-कारण स्थापित कर रहे हैं आदि।
हालाँकि, यदि आप इस घटना को समझने में कोई दिलचस्पी नहीं रखते हैं, लेकिन पूरी तरह से भविष्यवाणी और पूर्वानुमान पर ध्यान केंद्रित कर रहे हैं, तो बहुरूपता एक मुद्दे से कम नहीं है। या कम से कम यही है कि लोग इसके बारे में क्या सोचते हैं।
मैं यहां सही बहुसंस्कृति के बारे में बात नहीं कर रहा हूं , जो एक तकनीकी समस्या या पहचान का मुद्दा है। तकनीकी रूप से, इसका सीधा मतलब है कि डिज़ाइन मैट्रिक्स विलक्षणता की ओर जाता है, और समाधान परिभाषित नहीं है।
उन मशीन लर्निंग में नियमितीकरण प्रतिगमन गुणांक को स्थिर करता है, इसलिए कम से कम मल्टीकोलिनरिटी के प्रभाव को समाप्त कर दिया जाता है। लेकिन इससे भी महत्वपूर्ण बात यह है कि यदि आप भविष्यवाणी के लिए जा रहे हैं (जो मशीन सीखने वाले अक्सर होते हैं), तो बहुसंख्या "समस्या" पहली समस्या में से एक बड़ी समस्या नहीं थी। यह एक समस्या है जब आपको किसी विशेष गुणांक का अनुमान लगाने की आवश्यकता होती है और आपके पास जानकारी नहीं होती है।
इसके अलावा, " जब LASSO सहसंबद्ध भविष्यवक्ताओं का चयन करता है " तो मेरा जवाब आपके लिए उपयोगी हो सकता है।
मुझे लगता है कि मशीन लर्निंग में मल्टीकोलीनिटी की जांच होनी चाहिए। यहाँ क्यों है: मान लीजिए कि हमारे डेटासेट में आपके पास दो अत्यधिक सहसंबद्ध सुविधाएँ X और Y हैं। इसका मतलब है कि प्रतिक्रिया विमान विश्वसनीय नहीं है (डेटा में एक छोटे से परिवर्तन से प्रतिक्रिया विमान के अभिविन्यास पर काफी प्रभाव पड़ सकता है)। जिसका तात्पर्य है कि डेटा बिंदुओं के लिए मॉडल की भविष्यवाणियाँ बहुत दूर हैंलाइन से, जहां X और Y गिरते हैं, विश्वसनीय नहीं हैं। यदि आप अपने मॉडल का उपयोग ऐसे बिंदुओं के लिए भविष्यवाणियों के लिए करते हैं तो भविष्यवाणियां बहुत खराब होंगी। इसे दूसरे शब्दों में कहें, जब आपके पास दो उच्च सहसंबंधित विशेषताएं हैं, तो एक मॉडल के रूप में, आप एक विमान सीख रहे हैं जहां वास्तव में डेटा ज्यादातर एक पंक्ति में आता है। इसलिए, अविश्वसनीय मॉडल और गलत भविष्यवाणियों को रोकने के लिए अपने डेटा से अत्यधिक सहसंबद्ध सुविधाओं को हटाना महत्वपूर्ण है।