प्रतिगमन के प्रयोजनों के लिए भविष्यवाणियों की आयामीता को कम करने का क्या फायदा है?

Question

पारंपरिक रिग्रेशन तकनीकों (किसी भी आयामी कमी के बिना) पर डायमेंशन रिडक्शन रिग्रेशन (डीआरआर) या सुपरवाइज्ड डायमेंशन रिडक्शन (एसडीआर) तकनीकों के अनुप्रयोग या फायदे क्या हैं ? तकनीक के इन वर्ग को प्रतिगमन समस्या के लिए निर्धारित सुविधा का निम्न-आयामी प्रतिनिधित्व मिलता है। इस तरह की तकनीकों के उदाहरणों में कटा हुआ उलटा प्रतिगमन, प्रधान हेसियन निर्देश, कटा हुआ औसत भिन्न अनुमान, कर्नेल कटा हुआ उलटा प्रतिगमन, प्रधान घटक प्रतिगमन, आदि शामिल हैं।

1. क्रॉस-वैरिफाइड आरएमएसई के संदर्भ में, यदि कोई एल्गोरिथम किसी भी आयामीता में कमी के बिना प्रतिगमन कार्य पर बेहतर प्रदर्शन करता है, तो प्रतिगमन के लिए आयामी कमी का वास्तविक उपयोग क्या है? मुझे इन तकनीकों की बात नहीं आती।

2. क्या ये तकनीकें प्रतिगमन के लिए स्थान और समय की जटिलता को कम करने के लिए उपयोग किए जाने वाले किसी भी अवसर से हैं? यदि यह प्राथमिक लाभ है, तो इस तकनीक का उपयोग करने के लिए उच्च-आयामी डेटासेट के लिए जटिलता में कमी पर कुछ संसाधन सहायक होंगे। मैं इस तथ्य के साथ इस पर बहस करता हूं कि डीआरआर या एसडीआर तकनीक को चलाने के लिए कुछ समय और स्थान की आवश्यकता होती है। क्या यह एसडीआर / डीआरआर + एक उच्च-मंद डेटासेट पर केवल प्रतिगमन की तुलना में कम-मंद डेटासेट पर प्रतिगमन है?

3. क्या यह सेटिंग केवल अमूर्त ब्याज से बाहर का अध्ययन किया गया है, और एक अच्छा व्यावहारिक अनुप्रयोग नहीं है?

जैसा कि एक पक्ष ने सोचा था: कई बार ऐसी धारणाएं हैं कि फीचर्स और रेस्पॉन्स Y का संयुक्त वितरण कई गुना है। यह एक प्रतिगमन समस्या को हल करने के लिए इस संदर्भ में मनाया नमूना से कई गुना सीखने के लिए समझ में आता है।$X$$Y$

Comments

आप कई गुना सीखने के बारे में बात करते हैं, इसलिए निम्नलिखित ब्लॉगपोस्ट मदद कर सकता है: normaldeviate.wordpress.com/2012/09/08/hunting-for-manifolds

— kjetil b halvorsen

Answer 1

कई गुना परिकल्पना के अनुसार, डेटा को कम-आयामी कई गुना पर झूठ माना जाता है, निहितार्थ यह है कि अवशिष्ट शोर है, इसलिए यदि आप अपनी आयामीता को सही ढंग से कम करते हैं, तो आपको शोर के बजाय सिग्नल को मॉडलिंग करके प्रदर्शन में सुधार करना चाहिए। यह केवल अंतरिक्ष और जटिलता का सवाल नहीं है।

Comments

लेकिन मैं एसआईआर जैसी तकनीकों को मजबूत आधार पर आयामीता में कमी के बाद बेहतर नहीं कर रहा हूं। मुझे सही करें अगर आप गलत हैं या यदि आप एक एसडीआर / डीडीआर तकनीक के बारे में जानते हैं जो इस संकेत को बेहतर ढंग से पता कर सकती है-एक प्रतिगमन सेटिंग में, तो मुझे बताएं कि यह किस तकनीक (नाम) का है।

— रथी

बेशक यह प्रतिगमन एल्गोरिथ्म और डेटा की आंतरिक गतिशीलता पर निर्भर करता है। मैं विशेष रूप से एसआईआर के लिए नहीं बोल सकता, लेकिन यहां एक पेपर है जो एमएनआईएसटी डेटासेट पर विभिन्न प्रतिगमन एल्गोरिदम की तुलना करता है, जो निम्न आयामी है। हो सकता है कि आप कुछ परेशान करने वाला डेटा साझा कर सकें, ताकि लोग उस पर दरार डाल सकें।

— एमरे

"कई गुना परिकल्पना" क्या है?

— अमीबा

परिकल्पना है कि उच्च आयामी डेटा एक कम आयामी कई गुना के आसपास के क्षेत्र में झूठ बोलता है ।

— एमरे

मुझे आश्चर्य है कि अगर यह सामान तंत्रिका नेटवर्क और गैर-बहुआयामी स्केलिंग के समान है, तो यह "ऐसा लगता है" यह हर जगह बहुत अच्छा होना चाहिए, लेकिन व्यवहार में मामलों के अधिक सीमित सेट में अच्छी तरह से करता है

— छायाकार

Answer 2

प्रतिगमन में आयामीता में कमी का उद्देश्य नियमितीकरण है।

आपके द्वारा सूचीबद्ध अधिकांश तकनीकें बहुत अच्छी तरह से ज्ञात नहीं हैं; मैंने मुख्य घटक प्रतिगमन (पीसीआर) के अलावा उनमें से किसी के बारे में नहीं सुना है। इसलिए मैं पीसीआर के बारे में उत्तर दूंगा लेकिन उम्मीद करता हूं कि यही बात अन्य तकनीकों पर भी लागू हो।

$p$$n$

$p>n$$y$$100\%$

$p\ll n$

$p$

मानक प्रतिगमन की तुलना में प्रदर्शन में वृद्धि देखने के लिए, आपको बहुत सारे भविष्यवक्ताओं के साथ एक डेटासेट की आवश्यकता है और इतने सारे नमूने नहीं हैं, और आपको निश्चित रूप से क्रॉस-सत्यापन या एक स्वतंत्र परीक्षण सेट का उपयोग करने की आवश्यकता है। यदि आपने कोई प्रदर्शन वृद्धि नहीं देखी, तो शायद आपके डेटासेट में पर्याप्त आयाम नहीं थे।

अच्छे जवाब के साथ संबंधित सूत्र:

• में प्रतिगमन पी » एन$p\gg N$

• पी > एन सेटिंग में प्रतिगमन $p>n$

Comments

अपने प्रकाशनों को देखते हुए यह मान लेना सुरक्षित है कि वह यह जानता है।

— एमर

धन्यवाद, @Emre, मुझे पता नहीं था कि ओपी कौन था। हो सकता है कि मैंने इस प्रश्न को गलत समझा हो, लेकिन इसे पढ़ने के बाद अब मैं यह नहीं देखता कि मैं इसकी अलग तरह से व्याख्या कैसे कर सकता हूं। अगर कोई यह पूछ रहा है कि पीसीआर का व्यावहारिक लाभ क्या है, तो इसका उत्तर है नियमितीकरण; पीसीआर वास्तव में रिज रिग्रेशन से निकटता से संबंधित है, जो सबसे मानक नियमितीकरण विधियों में से एक है।

— अमीबा

$p > n$

@ssdecontrol: मैं सहमत हूँ। मुझे लगता है कि सर्वसम्मति है कि पीसीआर बहुत अधिक गैर-प्रतिस्पर्धी है और लगभग हमेशा बेहतर दृष्टिकोण होते हैं। यह वही है जो मैंने अपने उत्तर में लिखा था (मैं नहीं?), लेकिन प्रश्न विशेष रूप से भविष्यवाणियों की आयामी कमी के बारे में था और इसका उद्देश्य क्या हो सकता है। मेरा जवाब है कि उद्देश्य नियमितीकरण है।

— अमीबा

समझ लिया। लेकिन मुझे लगता है कि हम इस बात से सहमत हो सकते हैं कि यह प्रश्न विशेष रूप से इसकी उपयोगिता को चुनौती देने के लिए लोड किया गया है, क्योंकि यह वास्तव में अपनी सहज अपील के बावजूद नियमित करने का सबसे अच्छा तरीका नहीं है

— शैडोअल्कर