PCA, LASSO, लोचदार नेट की गति, कम्प्यूटेशनल व्यय

मैं हस्ती एट अल में प्रतिष्ठित के रूप में रैखिक प्रतिगमन के लिए तरीकों के तीन समूहों की कम्प्यूटेशनल जटिलता / आकलन की गति की तुलना करने की कोशिश कर रहा हूं। "सांख्यिकीय शिक्षा के तत्व" (दूसरा संस्करण), अध्याय 3:

सबसेट का चयन
संकोचन विधियाँ
व्युत्पन्न इनपुट दिशाओं (पीसीआर, पीएलएस) का उपयोग करने के तरीके

तुलना बहुत कठिन हो सकती है, बस कुछ विचार देने के लिए। मैं इकट्ठा करता हूं कि उत्तर समस्या के आयाम पर निर्भर हो सकते हैं और यह कि कंप्यूटर वास्तुकला में कैसे फिट बैठता है, इसलिए एक ठोस उदाहरण के लिए कोई 500 और 50 उम्मीदवार रजिस्टरों के नमूने के आकार पर विचार कर सकता है। मैं ज्यादातर कम्प्यूटेशनल जटिलता / आकलन की गति के पीछे प्रेरणा में दिलचस्पी रखता हूं, लेकिन दिए गए उदाहरण के लिए एक निश्चित प्रोसेसर पर कितना समय लगेगा।

— रिचर्ड हार्डी
स्रोत

पीसीआर या पीएलएस का उपयोग करते समय, घटकों की संख्या एक ट्यूनिंग पैरामीटर ( रिज रिग्रेशन में

समान

λ

$\lambda$ ) है। तो इन तरीकों को भी घटकों की इष्टतम संख्या का पता लगाने के लिए क्रॉस-मान्य करने की आवश्यकता होगी। LASSO में एक नियमितीकरण पैरामीटर भी है, लेकिन लोचदार नेट में दो (लोचदार नेट = रिज + LASSO) होते हैं, इसलिए क्रॉस-सत्यापन अधिक महंगा है। इसके अलावा, LASSO शायद अन्य सभी मॉडलों की तुलना में फिट होने के लिए धीमा है, क्योंकि इसमें एक बंद-रूप समाधान नहीं है।

— अमीबा का कहना है कि

धन्यवाद! यदि आप दो और विवरणों को शामिल करते हैं तो आप एक अच्छा जवाब देंगे: (1) नियमित प्रतिगमन के एक ओएलएस रन के साथ तुलना में पीसीआर और पीएलएस का एक चलना कितना महंगा है; (2) LASSO की गति को नियमित रूप से प्रतिगमन की गति की तुलना करने के लिए और अधिक सटीक रूप से निर्धारित करें (क्या यह बहुपद है, घातीय या रैखिक रूप से अधिक महंगा है, और क्यों)।

— रिचर्ड हार्डी

दुर्भाग्य से, मेरे पास इसके लिए तैयार उत्तर नहीं है, विशेषकर (2) के लिए। इसलिए मैंने केवल एक टिप्पणी छोड़ दी। +1, वैसे, और 5k प्रतिनिधि के साथ बधाई!

— अमीबा का कहना है कि मोनिका

@amoeba, धन्यवाद! पिछले साल जब मैंने (बहुत धीरे से) शुरुआत की तो मैं 5k तक पहुंचने की उम्मीद नहीं कर सकता था। लेकिन यह बहुत ही रोमांचक और पुरस्कृत है कि यहाँ पर एक सक्रिय सदस्य क्रॉस वैलिडेट हो!

— रिचर्ड हार्डी

@amoeba, मुझे लगता है कि अगर LARS एल्गोरिथ्म का उपयोग किया जाता है, तो मुझे LASSO जटिलता की पकड़ मिली; मैंने उसी के अनुसार अपनी पोस्ट अपडेट की। लेकिन मैंने LARS के पेपर को ध्यान से नहीं पढ़ा, इसलिए मुझे पूरी तरह से यकीन नहीं है कि यह सही है ...

— रिचर्ड हार्डी

जवाबों:

समूह 1 :
समूह 1. की जटिलता / गति यह पता लगाना बहुत मुश्किल नहीं है कि क्या जानवर बल एल्गोरिदम का उपयोग किया जाता है (हालांकि "लीप्स एंड बाउंड्स एल्गोरिथम" जैसे अधिक कुशल विकल्प हो सकते हैं)। उदाहरण के लिए, पूर्ण उप-चयन के लिए पूल को फिट करने के लिए प्रतिगमन की आवश्यकता होगी $2^K$ $K$ अभ्यर्थियों के । एक रैखिक प्रतिगमन के एक ओएलएस फिट में ( इस पोस्ट के अनुसार की जटिलता है जहां नमूना आकार है। इसलिए, जानवर-बल पूर्ण उप-चयन की कुल जटिलता होनी चाहिए $\mathcal{O}(K^2 n)$ $n$ । $\mathcal{O}(2^K K^2 n)$

समूह 2 : समूह
की जटिलता / गति 2. पुस्तक के खंड 3.8 और 3.9 में चर्चा की गई है। उदाहरण के लिए, दिए गए दंड साथ रिज प्रतिगमन में नियमित प्रतिगमन के समान कम्प्यूटेशनल जटिलता है। चूँकि को क्रॉस वेलिडेशन का उपयोग करने की आवश्यकता होती है, इसलिए कम्प्यूटेशनल लोड क्रॉस-वैलिडेशन (कहते हैं, ) में उपयोग किए जाने वाले डेटा विभाजन की संख्या में रैखिक रूप से बढ़ जाता है । यदि ग्रिड में अंक हैं, तो पैरामीटर को ट्यून करने के साथ रिज रिग्रेशन की कुल जटिलता । $\lambda$ $\lambda$ $S$ $\lambda$ $L$ $\lambda$ $\mathcal{O}(LSK^2 n)$
पुस्तक में LASSO के बारे में काफी कुछ है , लेकिन मुझे वह नहीं मिल पाया जिसकी मुझे आवश्यकता है। हालाँकि, मैं पी पर पाया। एफ्रॉन एट अल के 443।"लिस्ट एंगल रिग्रेशन" (2004) कि किसी दिए गए लिए LASSO जटिलता LARS विधि का उपयोग किए जाने पर रैखिक रिग्रेशन के ओएलएस फिट की जटिलता के समान है। फिर पैरामीटर को ट्यून करने के साथ LASSO की कुल जटिलता । (मैंने उस पेपर को ध्यान से नहीं पढ़ा था, इसलिए कृपया मुझे सही करें अगर मुझे यह गलत मिला है।) लोचदार नेट रिज और लेस्सो को जोड़ती है; दोनों में एक ही कम्प्यूटेशनल जटिलता है; इसलिए, लोचदार नेट की जटिलता होनी चाहिए $\lambda$ $\lambda$ $\mathcal{O}(LSK^2 n)$
जहां ट्यूनिंग पैरामीटर का ग्रिड आकार है जोरिज बनाम LASSO के भार को संतुलित करता है। $\mathcal{O}(ALSK^2 n)$ $A$ $\alpha$

समूह 3 :
मुझे अभी भी समूह 3 के लिए जटिलता / गति पर कोई भी नोट याद नहीं है। इसमें प्रमुख घटक प्रतिगमन (पीसीआर) और आंशिक रूप से कम वर्ग (पीएलएस) शामिल हैं।

— रिचर्ड हार्डी
स्रोत

यह समूह 3 के ऊपर (अर्थात PLS) पर प्रश्न 2 के केवल एक भाग के लिए है, लेकिन फिर भी जानकारीपूर्ण हो सकता है: श्रीनिवासन एट अल (2010, तकनीकी रिपोर्ट; देखें https://www.umiacs.umd.edu/~balajiv/paper/ UMD_CS_TR_Pls_Gpu.pdf ने NIPALS एल्गोरिथ्म का उपयोग करते हुए PLS पर कुछ माप किए - उस समय (और स्थान) की इस एल्गोरिथ्म की जटिलता हे (dN) - निष्कर्षण के लिए और इन सहित विभिन्न मॉडलों में) छवियों में मनुष्यों का पता लगाने के लिए, और b ) चेहरा पहचान। मापन अपने स्वयं के GPU आधारित कार्यान्वयन का उपयोग करके किया गया था।

— JF1
स्रोत