आंशिक रूप से वर्गों में "आंशिक" क्या है?

Question

आंशिक कम से कम वर्गों के प्रतिगमन (PLSR) या आंशिक रूप से कम से कम वर्गों के संरचनात्मक समीकरण मॉडलिंग (PLS-SEM) में, "आंशिक" शब्द किसको संदर्भित करता है?

Comments

ध्यान दें कि वॉल्ड जूनियर को लगता है कि "आंशिक रूप से कम से कम वर्ग" नाम भ्रामक है और इसे "अव्यक्त स्थानों पर प्रक्षेपण" कहा जाना चाहिए था।

— मोमो

@ मोमो: हां, मैंने इसके बारे में पढ़ा है। हालांकि, भले ही पीएलएस एक हद तक भ्रामक हो, "अव्यक्त स्थानों पर प्रक्षेपण" और भी कम स्पष्ट है, लिखित रूप में शब्द का उपयोग करने में सुविधा की कमी का उल्लेख नहीं करना।

— १

Answer 1

मैं इस सवाल का जवाब देना चाहूंगा, काफी हद तक ऐतिहासिक परिप्रेक्ष्य पर आधारित है , जो काफी दिलचस्प है। हरमन वोल्ड, जिन्होंने आंशिक रूप से कम से कम वर्ग (PLS) दृष्टिकोण का आविष्कार किया , ने अभी PLS (या यहां तक ​​कि आंशिक शब्द का उल्लेख नहीं ) शब्द का उपयोग शुरू नहीं किया है। के दौरान प्रारंभिक अवधि (1966-1969), वह के रूप में इस दृष्टिकोण के लिए भेजा NILES इस विषय पर अवधि और उसके प्रारंभिक पेपर के शीर्षक का संक्षिप्त नाम - Iterative कम से कम वर्गों प्रक्रिया द्वारा गैर रेखीय आकलन , 1966 में प्रकाशित।

जैसा कि हम देख सकते हैं, प्रक्रियाओं को बाद में आंशिक कहा जाएगा, इसे पुनरावृत्त के रूप में संदर्भित किया गया है, जो वजन और अव्यक्त चर (LVs) का आकलन करने की प्रक्रिया की पुनरावृत्ति प्रकृति पर ध्यान केंद्रित कर रहा है। "कम से कम वर्ग" शब्द एक मॉडल के अन्य अज्ञात मापदंडों (Wold, 1980) का अनुमान लगाने के लिए सामान्य न्यूनतम वर्ग (OLS) प्रतिगमन का उपयोग करने से आता है । ऐसा लगता है कि शब्द "आंशिक" की जड़ें NILES प्रक्रियाओं में हैं, जिसने "एक मॉडल के मापदंडों को उप-भागों में विभाजित करने के विचार को लागू किया है ताकि उन्हें भागों में अनुमान लगाया जा सके" (सांचेज़, 2013, पृष्ठ 216; जोर मेरा) ।

PLS शब्द का पहला प्रयोग पेपर नॉनलेयर पुनरावृत्त आंशिक कम से कम वर्गों (NIPALS) अनुमान प्रक्रियाओं में हुआ है , जो प्रकाशन PLS इतिहास की अगली अवधि - NIPALS मॉडलिंग अवधि। 1970 और 1980 का दशक नरम मॉडलिंग का दौर बन जाता है , जब, कार्ल जोर्सकॉग के SEM के दृष्टिकोण से प्रभावित होकर, वोल्ड ने NIPALS के दृष्टिकोण को नरम मॉडलिंग में बदल दिया, जिसने मूल रूप से आधुनिक PLS दृष्टिकोण (मूल शब्द PLS 1970 के अंत में मुख्यधारा बन गया) )। 1990 के दशक, पीएलएस इतिहास में अगली अवधि, जिसे सांचेज (2013) "अंतराल" अवधि कहता है, बड़े पैमाने पर इसके उपयोग को कम करके चिह्नित किया गया है। सौभाग्य से, 2000 के दशक ( समेकन की अवधि) से शुरू), पीएलएस ने एसईएम विश्लेषण के लिए एक बहुत लोकप्रिय दृष्टिकोण के रूप में अपनी वापसी का आनंद लिया, खासकर सामाजिक विज्ञान में।

अद्यतन (अमीबा की टिप्पणी के जवाब में):

• शायद, सांचेज़ का शब्द उस वाक्यांश में आदर्श नहीं है जिसे मैंने उद्धृत किया है। मुझे लगता है कि "भागों में अनुमानित" चर के अव्यक्त ब्लॉकों पर लागू होता है । वॉल्ड (1980) विस्तार से अवधारणा का वर्णन करता है।
• आप सही हैं कि NIPALS मूल रूप से PCA के लिए विकसित किया गया था। भ्रम इस तथ्य से उपजा है कि लीनियर PLS और nonlinear PLS दोनों मौजूद हैं। मुझे लगता है कि रोज़िपल (2011) मतभेदों को बहुत अच्छी तरह से समझाता है (कम से कम, यह सबसे अच्छा स्पष्टीकरण है जिसे मैंने अब तक देखा है)।

अद्यतन 2 (आगे स्पष्टीकरण):

अमीबा के जवाब में व्यक्त की गई चिंताओं के जवाब में, मैं कुछ चीजों को स्पष्ट करना चाहूंगा। मुझे ऐसा लगता है कि हमें NIPALS और PLS के बीच "आंशिक" शब्द के उपयोग को अलग करने की आवश्यकता है। यह 1 के बारे में दो अलग-अलग प्रश्न बनाता है) NIPALS में "आंशिक" का अर्थ और 2) PLS में "आंशिक" का अर्थ (यह Phil2014 द्वारा मूल प्रश्न है)। जबकि मुझे पूर्व के बारे में निश्चित नहीं है, मैं बाद के बारे में और स्पष्टीकरण दे सकता हूं।

वोल्ड के अनुसार, सोजस्ट्रॉम और एरिकसन (2001),

PLS में "आंशिक" इंगित करता है कि यह एक आंशिक प्रतिगमन है, क्योंकि ...

दूसरे शब्दों में, "आंशिक" इस तथ्य से उपजा है कि PLS के लिए NIPALS एल्गोरिथ्म द्वारा डेटा अपघटन में सभी घटक शामिल नहीं हो सकते हैं , इसलिए "आंशिक"। मुझे संदेह है कि यही कारण सामान्य रूप से NIPALS पर लागू होता है, यदि "आंशिक" डेटा पर एल्गोरिथ्म का उपयोग करना संभव है। यह NIPALS में "P" की व्याख्या करेगा।

NIPALS परिभाषा में "nonlinear" शब्द का उपयोग करने के संदर्भ में ( nonlinear PLS के साथ भ्रमित न करें , जो PLS दृष्टिकोण के nonlinear संस्करण का प्रतिनिधित्व करता है!), मुझे लगता है कि यह स्वयं एल्गोरिथ्म को नहीं , बल्कि nonlinear मॉडल को संदर्भित करता है , जो हो सकता है रेखीय प्रतिगमन-आधारित NIPALS का उपयोग करके विश्लेषण किया गया।

अद्यतन 3 (हरमन वॉल्ड की व्याख्या):

जबकि हरमन वोल्ड का 1969 का पेपर NIPALS पर सबसे शुरुआती पेपर लगता है, मैं इस विषय पर सबसे शुरुआती पेपरों में से एक खोजने में कामयाब रहा। वह वोल्ड (1974) का एक पेपर है, जहां PLS के "पिता" ने NIPALS की परिभाषा में "आंशिक" शब्द का उपयोग करने के लिए अपना तर्क प्रस्तुत किया है (पृष्ठ 71)।

3.1.4। NIPALS का अनुमान: Iterative OLS। यदि मॉडल के एक या अधिक चर अव्यक्त हैं, तो भविष्यवक्ता संबंध में न केवल अज्ञात पैरामीटर, बल्कि अज्ञात चर भी शामिल हैं, जिसके परिणामस्वरूप अनुमान समस्या nonlinear हो जाती है। जैसा कि 3.1 (iii) में इंगित किया गया है, NIPALS एक पुनरावृत्ति प्रक्रिया द्वारा इस समस्या को हल करते हैं, चरण s = 1, 2 के साथ कहते हैं, ... प्रत्येक चरण s में मॉडल की प्रत्येक पूर्वसूचक संबंध के लिए OLS प्रतिगमन की एक सीमित संख्या शामिल है। प्रत्येक ऐसा प्रतिगमन अज्ञात मापदंडों और अव्यक्त चर (इसलिए नाम आंशिक कम से कम वर्ग) के एक उप-सेट के लिए प्रॉक्सी अनुमान देता है , और ये प्रॉक्सी अनुमान नए प्रॉक्सी अनुमानों की गणना करने के लिए प्रक्रिया के अगले चरण में उपयोग किए जाते हैं।

संदर्भ

रोजपाल, आर। (2011)। Nonlinear आंशिक कम से कम वर्ग: एक सिंहावलोकन। लोधी एच। और यमनिशी वाई। (ईडीएस) में, रसायन विज्ञान और उन्नत मशीन लर्निंग परिप्रेक्ष्य: जटिल कम्प्यूटेशनल तरीके और सहयोगात्मक तकनीक , पीपी। 169-189। एसीसीएम, आईजीआई ग्लोबल। Http://aiolos.um.savba.sk/~roman/Papers/npls_book.pdf से लिया गया

सांचेज, जी (2013)। आर। बर्कले, CA: Trowchez संस्करणों के साथ PLS पथ मॉडलिंग । Http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf से लिया गया

वॉल्ड, एच। (1974)। अव्यक्त चर के साथ बहती है: NIPALS मॉडलिंग के प्रकाश में तरीकों का विभाजन। यूरोपीय आर्थिक समीक्षा, 5 , 67-86। उत्तर हॉलैंड प्रकाशन।

वॉल्ड, एच। (1980)। सैद्धांतिक ज्ञान होने पर मॉडल निर्माण और मूल्यांकन दुर्लभ है: सिद्धांत और आंशिक रूप से कम से कम वर्ग। जे। कंमेंटा और जेबी राम्सी (ईडीएस) में, अर्थमेटिक मॉडल का मूल्यांकन , पी। 47-74। न्यूयॉर्क: अकादमिक प्रेस। Http://www.nber.org/chapters/c11693 से लिया गया

वॉल्ड, एस।, सोजोस्ट्रम, एम।, और एरिकसन, एल। (2001)। पीएलएस-रिग्रेशन: केमोमेट्रिक्स का एक मूल उपकरण। केमोमेट्रिक्स और इंटेलिजेंट लेबोरेटरी सिस्टम, 58 , 109-130। doi: 10.1016 / S0169-7439 (01) 00155-1 http://www.libpls.net/publication/PLS_basic_2001.pdf से लिया गया

Comments

@amoeba: मेरा मानना ​​है कि यह पेपर PLS को अन्य दृष्टिकोणों के विपरीत अधिक तकनीकी तरीके से समझाता है, जिसकी आपने हाल ही में चर्चा की है। हालांकि, ध्यान दें कि उपरोक्त स्पष्टीकरण PLS प्रतिगमन पर केंद्रित है, जबकि PLS में सिस्टम विश्लेषण के कई वर्ग शामिल हैं (निम्नलिखित प्रस्तुति में स्लाइड 10 देखें)। 25-29 स्लाइड पर तकनीकी नोट IMHO भी सहायक हैं। प्रस्तुति: plsmodeling.com/pls/pls-introduction ।

— अलेक्सांद्र ब्लेक

@ अलेक्सांद्र ब्लेक: ये बहुत अच्छे संदर्भ हैं।

— अल्फ

वाह, लोग पीएलएस इतिहास की अवधि को नाम देते हैं! प्रभावशाली।

— अमीबा का कहना है कि मोनिका

गंभीरता से हालांकि, मैंने सांचेज़ की किताब में देखा, लेकिन अभी भी यह नहीं समझ पाया कि NIPALS को "किसी मॉडल के मापदंडों को सबसेट में विभाजित करने के विचार के साथ क्या करना है ताकि उन्हें भागों में अनुमान लगाया जा सके" । मूल रूप से NIPALS को मुख्य घटकों की गणना करने की एक विधि के रूप में सुझाया गया था, है ना? यह काफी सरल है। मुझे मापदंडों का कोई "विभाजन" वहां "सबसेट" में नहीं दिखता है, इसलिए मुझे पता नहीं है कि सांचेज़ यहां क्या बात कर रहे हैं। वैसे, NIPALS में न तो मुझे "नॉनलाइनर" समझ में आता है। निश्चित रूप से पीसीए एक रैखिक तकनीक है!

— अमीबा का कहना है कि मोनिका

@amoeba: कृपया अपनी टिप्पणी के जवाब में मेरा अपडेट देखें। आशा करता हूँ की ये काम करेगा।

— Aleksandr Blekh

Answer 2

$X$$Y$

हालांकि, ऐतिहासिक रूप से, जैसा कि @Aleksandr अच्छी तरह से बताता है (+1), PLS को वोल्ड द्वारा पेश किया गया था जिन्होंने इसे लागू करने के लिए अपने NIPALS एल्गोरिथम का उपयोग किया था; NIPALS का अर्थ है "नॉनलाइनियर iterated आंशिक कम से कम वर्ग", इसलिए जाहिर है P में PLS सिर्फ NIPALS से मिला है।

$\newcommand{\X}{\mathbf X}\X$$\newcommand{\v}{\mathbf v}\v$$\newcommand{\p}{\mathbf p}\p$$\v$$\p$

1. $\v = \X^\top \p (\p^\top \p)^{-1}$
2. $\|\v\|$$1$
3. $\p = \X \v (\v^\top \v)^{-1}$

$\v$$\p$$\X$

(उन्होंने इसे "नॉनलाइनर" क्यों कहा, यह मुझे अभी भी समझ में नहीं आया है।)

यह शब्द उल्लेखनीय रूप से भ्रामक है, क्योंकि यदि यह "आंशिक" है, तो प्रत्येक अपेक्षा-अधिकतमकरण एल्गोरिथ्म "आंशिक" भी है (वास्तव में, एनआईपीवालों को ईएम के एक आदिम रूप के रूप में देखा जा सकता है, रोविस 1998 देखें )। मुझे लगता है कि PLS मशीन लर्निंग प्रतियोगिता में सबसे अधिक भ्रामक शब्द के लिए एक अच्छा उम्मीदवार है। काश, वोल्ड जूनियर के प्रयासों के बावजूद इसे बदलने की संभावना नहीं होती (ऊपर @ मोमो की टिप्पणी देखें)।

Comments

आगे के स्पष्टीकरण के साथ आपको मेरे उत्तर की अद्यतन २ में रुचि हो सकती है।

— B पर

इस चर्चा को बनाए रखने के लिए धन्यवाद (किसी भी गलतफहमी को रोकने के लिए, मुझे कहना चाहिए कि मैंने किसी भी तरह से आपकी आलोचना करने की कोशिश नहीं की!)। अब, अपने Update2 पर। आपको क्या लगता है कि हमें PLS और NIPALS में "आंशिक" के अर्थ को अलग करना चाहिए? यह अजीब लगता है; PLS NIPALS पर काम से बाहर हो गया और यह बताता है कि इसका नाम केवल एक छोटा "niPaLS" है। यह Wold एट अल द्वारा पुष्टि की जा रही है। 2001 का पेपर जो आपको मिला: "इसमें NIPALS [...] नामक इन मॉडलों में मापदंडों का अनुमान लगाने का एक सरल लेकिन कुशल तरीका शामिल था। इसके कारण, बदले में, इन मॉडलों के लिए PLS को संक्षिप्त कर दिया गया" ।

— अमीबा का कहना है कि मोनिका

$\mathbf v$$\mathbf p$$\mathbf X$

महान! मुझे लगता है कि आखिरकार इस सवाल का संतोषजनक जवाब दिया गया है। और मैंने अंत में आपके उत्तर को बदल दिया है, +1 :-) मैंने अपने उत्तर को इस नई समझ को शामिल करने के लिए संपादित किया है। अपने उत्तर के बारे में: जब आपने अपडेट 1 और अपडेट 2 में "आंशिक" शब्द की व्याख्या की, तो क्या आपका वास्तव में वही मतलब है जो अब हम सहमत हैं? मेरे लिए ऐसा लगता है कि आपके उत्तर में वर्तमान में कई अलग-अलग व्याख्याएँ हैं ...

— अमीबा का कहना है कि मोनिका

मुझे नहीं पता! शायद यह सही है। क्या आप इस बात पर विस्तार से बता सकते हैं कि NIPALS का उपयोग करके "नॉनलाइनर मॉडल" का क्या विश्लेषण किया जा सकता है? दूसरी ओर, यह शायद एक पूरी तरह से अलग विषय है। मुझे लगता है कि बिंदु यह है कि Wold ने NIPALS को अपने स्वयं के लिए PCA की गणना नहीं करने के लिए विकसित किया था, लेकिन कुछ विशेष अनुप्रयोगों को ध्यान में रखते हुए, जहां उन्हें nonlinear समस्याओं से निपटना था और उन्हें किसी तरह से रैखिक बनाया, PCA को कम किया? आजकल लोग NIPALS को प्रमुख विलक्षण वैक्टरों की गणना करने के लिए एक सरल एल्गोरिथ्म के रूप में प्रस्तुत करते हैं, लेकिन शायद 1969 से Wold इस दृश्य के लिए बिल्कुल भी सहमत नहीं होंगे!

— अमीबा का कहना है कि मोनिका