में वायुमंडलीय विज्ञान में सांख्यिकीय तरीकों , डैनियल विल्क्स नोट एकाधिक रेखीय प्रतीपगमन समस्याओं को जन्म दे सकता है कि अगर वहाँ भविष्यवक्ताओं के बीच बहुत मजबूत intercorrelations (3 संस्करण, पेज 559-560) कर रहे हैं:
एक पैथोलॉजी जो कई रेखीय प्रतिगमन में हो सकती है, यह है कि मजबूत पारस्परिक संबंध वाले भविष्यवक्ता चर का एक परिणाम अस्थिर प्रतिगमन संबंध की गणना में परिणाम कर सकता है।
(...)
वह फिर प्रमुख घटक प्रतिगमन का परिचय देता है:
इस समस्या को दूर करने का एक तरीका यह है कि पहले भविष्यवक्ताओं को उनके प्रमुख घटकों में बदल दिया जाए, जिनके बीच संबंध शून्य हैं।
अब तक सब ठीक है। लेकिन इसके बाद, वह कुछ ऐसे बयान देता है जो वह नहीं समझाता (या कम से कम मेरे लिए पर्याप्त विवरण में नहीं है):
यदि सभी प्रमुख घटकों को एक प्रमुख घटक प्रतिगमन में रखा जाता है, तो पूर्ण भविष्यवक्ता सेट के लिए पारंपरिक न्यूनतम-वर्ग से अधिक कुछ भी प्राप्त नहीं होता है।
(..) तथा:
मूल भविष्यवक्ताओं के संदर्भ में प्रमुख-घटक प्रतिगमन को फिर से जोड़ना संभव है, लेकिन परिणाम सामान्य रूप से सभी मूल भविष्यवाणियों को शामिल करेगा भले ही केवल एक या कुछ प्रमुख घटक भविष्यवाणियों का उपयोग किया गया हो। इस पुनर्गठित प्रतिगमन को पक्षपाती किया जाएगा, हालांकि अक्सर विचरण बहुत छोटा होता है, जिसके परिणामस्वरूप एक छोटा एमएसई होता है।
मैं इन दो बिंदुओं को नहीं समझता।
बेशक, यदि सभी प्रमुख घटकों को बरकरार रखा जाता है, तो हम उसी जानकारी का उपयोग करते हैं जब हम अपने मूल स्थान में भविष्यवक्ताओं का उपयोग कर रहे थे। हालांकि, प्रमुख घटक स्थान में काम करने से आपसी सहसंबंधों की समस्या दूर हो जाती है। हम अभी भी ओवरफिट कर सकते हैं, लेकिन क्या यह एकमात्र समस्या है? क्यों कुछ हासिल नहीं हुआ?
दूसरे, भले ही हम मुख्य घटकों (शायद शोर में कमी और / या ओवरफिटिंग को रोकने के लिए) को काटते हैं, यह क्यों और कैसे एक पक्षपाती पुनर्गठित प्रतिगमन को जन्म देता है? किस तरह से बायस्ड?
पुस्तक का स्रोत: डैनियल एस। विलक्स, वायुमंडलीय विज्ञान में सांख्यिकीय तरीके, तीसरा संस्करण, 2011। अंतर्राष्ट्रीय भूभौतिकी श्रृंखला खंड 100, शैक्षणिक प्रेस।