आंशिक कम से कम वर्गों (पीएलएस) प्रतिगमन की मॉडल धारणाएं

Question

मैं पीएलएस प्रतिगमन (एकल ) की मान्यताओं के बारे में जानकारी खोजने की कोशिश कर रहा हूं । मैं विशेष रूप से पीएलएस की मान्यताओं की तुलना में ओएलएस प्रतिगमन के संबंध में रुचि रखता हूं। $y$

मैंने पीएलएस के विषय पर साहित्य का एक बड़ा भाग पढ़ा / स्किम्ड किया है; Wold (Svante और Herman), Abdi, और कई अन्य लोगों द्वारा कागजात लेकिन एक संतोषजनक स्रोत नहीं मिला है।

वॉट अल अल। (2001) पीएलएस-रिग्रेशन: केमोमेट्रिक्स का एक मूल उपकरण पीएलएस की मान्यताओं का उल्लेख करता है, लेकिन इसमें केवल उल्लेख किया गया है कि

1. Xs को स्वतंत्र होने की आवश्यकता नहीं है,
2. सिस्टम कुछ अंतर्निहित अव्यक्त चर का एक कार्य है,
3. प्रणाली को विश्लेषणात्मक प्रक्रिया के दौरान समरूपता का प्रदर्शन करना चाहिए, और
4. में माप त्रुटि स्वीकार्य है। $X$

अवलोकन किए गए डेटा, या मॉडल अवशिष्ट के किसी भी आवश्यकताओं का कोई उल्लेख नहीं है। क्या किसी को ऐसे स्रोत के बारे में पता है जो इसमें से किसी को संबोधित करता है? अंतर्निहित गणित को ध्यान में रखते हुए पीसीए के अनुरूप है ( और बीच सहसंयोजक को अधिकतम करने के लक्ष्य के साथ ) एक अनुमान बहुभिन्नरूपी सामान्यता है ? क्या मॉडल अवशिष्टों को विचरण की समरूपता का प्रदर्शन करने की आवश्यकता है?$y$$X$$(y, X)$

मेरा यह भी मानना ​​है कि मैंने कहीं पढ़ा है कि टिप्पणियों को स्वतंत्र होने की आवश्यकता नहीं है; बार-बार माप अध्ययन के संदर्भ में इसका क्या अर्थ है?

Comments

Wold का लिंक। एट अल गलत है। क्या यह एक होना चाहिए? libpls.net/publication/PLS_basic_2001.pdf

— emudrak

एक ग्राहक ने एक पेपर के लिए एक समीक्षक की टिप्पणी की जिसमें कहा गया था कि कुछ लाइन "आपको रैखिकता की धारणा की जाँच करती है।" आप यह कैसे करेंगे?

— एमुद्रक

Answer 1

जब हम कहते हैं कि मानक ओएलएस प्रतिगमन की कुछ धारणाएँ हैं, तो हमारा मतलब है कि इन मान्यताओं को ओएलएस अनुमानक के कुछ वांछनीय गुणों को प्राप्त करने की आवश्यकता है जैसे कि यह सबसे अच्छा रैखिक निष्पक्ष अनुमानक है - गॉस-मार्कोव प्रमेय देखें और एक उत्कृष्ट उत्तर दें @mpiktas द्वारा रैखिक प्रतिगमन के लिए सामान्य मान्यताओं की एक पूरी सूची क्या है? केवल पर को पुनः प्राप्त करने के लिए किसी धारणा की आवश्यकता नहीं है । मान केवल इष्टतमता के बयान के संदर्भ में प्रकट होते हैं।$y$$X$

आम तौर पर, "धारणाएं" एक ऐसी चीज है जो केवल एक सैद्धांतिक परिणाम (प्रमेय) हो सकती है।

इसी तरह पीएलएस रिग्रेशन के लिए। पर को पुनः प्राप्त करने के लिए PLS प्रतिगमन का उपयोग करना हमेशा संभव होता है । इसलिए जब आप पूछते हैं कि पीएलएस प्रतिगमन की धारणाएं क्या हैं, तो आप क्या सोचते हैं, इसके बारे में क्या इष्टतम कथन हैं? वास्तव में, मुझे किसी के बारे में जानकारी नहीं है। PLS प्रतिगमन संकोचन नियमितीकरण का एक रूप है, कुछ संदर्भ और अवलोकन के लिए आंशिक कम से कम वर्गों प्रतिगमन के पीछे थ्योरी में मेरा जवाब देखें । नियमित अनुमानक पक्षपाती होते हैं, इसलिए मान्यताओं की कोई राशि उदासीनता साबित नहीं होगी।$y$$X$

इसके अलावा, पीएलएस प्रतिगमन का वास्तविक परिणाम इस बात पर निर्भर करता है कि मॉडल में कितने पीएलएस घटक शामिल हैं, जो एक नियमितीकरण पैरामीटर के रूप में कार्य करता है। किसी भी धारणा के बारे में बात करना केवल तभी समझ में आता है जब इस पैरामीटर को चुनने की प्रक्रिया पूरी तरह से निर्दिष्ट हो (और यह आमतौर पर नहीं है)। इसलिए मुझे नहीं लगता कि PLS के लिए कोई इष्टतम परिणाम हैं, जिसका अर्थ है कि PLS प्रतिगमन की कोई धारणा नहीं है। मुझे लगता है कि प्रधान घटक प्रतिगमन या रिज प्रतिगमन जैसे किसी भी अन्य दंडित प्रतिगमन विधियों के लिए भी यही सच है।

अद्यतन: मैंने अपने तर्क में इस तर्क का विस्तार किया है कि रिज प्रतिगमन की धारणाएं क्या हैं और उनका परीक्षण कैसे किया जाए?

बेशक, अभी भी अंगूठे के नियम हो सकते हैं जो कहते हैं कि पीएलएस प्रतिगमन उपयोगी होने की संभावना है और कब नहीं। कृपया कुछ चर्चा के लिए ऊपर दिए गए मेरे उत्तर को देखें; PLSR के अनुभवी चिकित्सकों (मैं उनमें से एक नहीं हूं) निश्चित रूप से इससे अधिक कह सकता हूं।

Comments

सामान्यता और नमूने की स्वतंत्रता के बारे में क्या?

— WCMC

Answer 2

जाहिर है, PLS आपके चर के संयुक्त वितरण के बारे में "कठोर" धारणा नहीं बनाता है। इसका मतलब है कि आपको उचित परीक्षण आँकड़े चुनने के लिए सावधान रहना होगा (मुझे लगता है कि चर वितरण पर निर्भरता की यह कमी PLS को गैर-पैरामीट्रिक तकनीक के रूप में वर्गीकृत करती है)। उपयुक्त आँकड़ों के लिए मुझे मिले सुझाव 1) आश्रित अव्यक्त चरों के लिए r- वर्ग का उपयोग करना और अनुमानों की स्थिरता का आकलन करने के लिए 2) पुनरुत्पादन के तरीके हैं।

ओएलएस / एमएलएस और पीएलएस के बीच मुख्य अंतर पूर्व में आमतौर पर चर के बीच संबंधों की भविष्यवाणी करने के लिए जनसंख्या मापदंडों का अधिकतम संभावना अनुमान का उपयोग करता है, जबकि पीएलएस चर के समूहों के बीच संबंधों की भविष्यवाणी करने के लिए सच्ची आबादी के लिए चर के मूल्यों का अनुमान लगाता है (भविष्यवक्ता के समूहों द्वारा / अव्यक्त चर के साथ प्रतिक्रिया चर)।

मैं भी दोहराया / दोहराया प्रयोगों, विशेष रूप से बहुक्रियाशील लोगों को संभालने में दिलचस्पी रखता हूं, हालांकि मुझे यकीन नहीं है कि पीएलएस का उपयोग करके यह कैसे दृष्टिकोण करना है।

आंशिक रूप से कम वर्गों की पुस्तिका: अवधारणा, तरीके और अनुप्रयोग (पृष्ठ 659, धारा 28.4)

वॉल्ड, एच। 2006. प्रिडिक्टर स्पेसिफिकेशन। सांख्यिकीय विज्ञान का विश्वकोश। 9।

http://www.rug.nl/staff/tkdijkstra/latentvariablesandindices.pdf (पृष्ठ 4 और 5)

Answer 3

मुझे PLS में गैर-सामान्यता और छोटे नमूने के आकार के प्रभाव से संबंधित एक सिमुलेशन अध्ययन मिला; लेखकों का निष्कर्ष है: "सभी तीन तकनीकों [पीएलएस शामिल] सामान्य से मध्यम प्रस्थान के खिलाफ उल्लेखनीय रूप से मजबूत थे, और समान रूप से ऐसा है।"

हालांकि, योग्यता के लिए: "ऐसा प्रतीत होता है कि सभी तीन तकनीकें छोटे से मध्यम तिरछा या कुर्तोसिस (ऊपर तिरछा = 1.1 और कर्टोसिस = 1.6 तक) के लिए काफी मजबूत हैं। हालांकि, अधिक तिरछी डेटा (तिरछा = 1.8 और कुटोसिस = 3.8) के साथ। सभी तीन तकनीकों में n = 40 और n = 90 (हमने जिस दो नमूने का परीक्षण किया है) दोनों के लिए शक्ति का पर्याप्त और सांख्यिकीय रूप से महत्वपूर्ण नुकसान होता है। उदाहरण के लिए n = 90 और मध्यम प्रभाव आकार के साथ, प्रतिगमन की शक्ति सामान्य डेटा के साथ 76% है। , लेकिन अत्यंत तिरछे डेटा के लिए 53% तक गिर जाता है। समान शर्तों के तहत PLS की बिजली 75% से 48% तक गिरती है, जबकि LISREL 79% से 50% तक गिरती है। "

(व्यक्तिगत रूप से, मैं सत्ता में सुंदर खड़ी गिरावट के साथ सामान्यता से उन काफी मामूली प्रस्थानों पर विचार करूंगा।)

प्रशस्ति पत्र: डेल एल गुडहुए, विलियम लुईस, और रॉन थॉम्पसन। क्या पीएलएस में छोटे नमूने के आकार या गैर-सामान्य डेटा के लिए लाभ हैं? एमआईएस त्रैमासिक 2012; 36 (3): 891-1001।