आइए जानें क्या हो रहा है। मुझे यकीन है कि आप पहले से ही निम्नलिखित में से अधिकांश सामग्री को जानते हैं, लेकिन संकेतन और परिभाषाओं को स्थापित करने और विचारों को स्पष्ट करने के लिए, मैं प्रश्न का उत्तर देने से पहले बहुपद प्रतिगमन की मूल बातें कवर करूंगा। यदि आप पसंद करते हैं, R
तो इस पोस्ट में लगभग दो-तिहाई रास्ते के शीर्षक "क्या करता है" पर जाएं, और फिर किसी भी परिभाषा के लिए वापस छोड़ें जिसकी आपको आवश्यकता हो सकती है।
सेटिंग
हम कुछ प्रकार के प्रतिगमन में संभावित व्याख्यात्मक चर के एन × के मॉडल मैट्रिक्स एक्स पर विचार कर रहे हैं । इस का मतलब है कि हम के स्तंभों में से रहे हैं सोच एक्स होने के रूप में n -vectors एक्स1, एक्स2, ... , एक्सक और हम उनमें से रैखिक संयोजन के गठन किया जाएगा, β1एक्स1+ β2एक्स2+ ⋯ + βकएक्सक, एक प्रतिक्रिया का अनुमान लगाने या अनुमान लगाने के लिए।
कभी-कभी गुणांक द्वारा एक्स विभिन्न स्तंभों को एक दूसरे से गुणा करके बनाए गए अतिरिक्त स्तंभों को प्रस्तुत करके एक प्रतिगमन में सुधार किया जा सकता है । इस तरह के उत्पादों को "मोनोमियल" कहा जाता है और इसे लिखा जा सकता है
एक्सघ11एक्सघ22⋯ एक्सघकक
जहां प्रत्येक "पॉवर" घमैं शून्य या अधिक है, यह दर्शाता है कि उत्पाद में प्रत्येक एक्स1 कितनी बार दिखाई देता है। सूचना है कि एक्स0 एक है n निरंतर गुणांकों के -vector ( 1 ) और एक्स1= एक्स ही। इस प्रकार, मोनोमियल (वैक्टर के रूप में) एक वेक्टर स्थान उत्पन्न करता है जिसमें एक्स । का मूल स्तंभ स्थान शामिल होता है । संभावना है कि यह एक बड़ा वेक्टर स्थान हो सकता है यह प्रक्रिया रैखिक संयोजनों के साथ प्रतिक्रिया को मॉडल करने के लिए अधिक गुंजाइश देता है।
हम मूल मॉडल मैट्रिक्स एक्स को मोनोमियल के संग्रह रैखिक संयोजनों द्वारा बदलने का इरादा रखते हैं । जब इनमें से कम से कम एक मोनोमियल की डिग्री 1 , से अधिक हो जाती है , तो इसे बहुपद प्रतिगमन कहा जाता है ।
बहुपद की ग्रेडिंग
एक मोनोमियल की डिग्री इसकी शक्तियों का योग है, घ1+ डी2+ … + डीक। मोनोमियल (एक "बहुपद") के रैखिक संयोजन की डिग्री गैर-गुणांक वाले मोनोमियल शब्दों के बीच सबसे बड़ी डिग्री है। डिग्री का एक आंतरिक अर्थ है, क्योंकि जब आप मूल वेक्टर अंतरिक्ष के आधार को बदलते हैं, तो प्रत्येक वेक्टर एक्समैं को सभी वैक्टरों के रैखिक संयोजन द्वारा दर्शाया जाता है; एकपदीयों एक्सघ11एक्सघ22⋯ एक्सघककइस प्रकार एक ही डिग्री के बहुपद बन जाते हैं; और फलस्वरूप किसी भी बहुपद की डिग्री अपरिवर्तित होती है।
डिग्री इस बहुपद बीजगणित के लिए एक प्राकृतिक "ग्रेडिंग" प्रदान करती है: डी + 1 तक और एक्स सहित डिग्री के एक्स के सभी रैखिक संयोजनों द्वारा उत्पन्न वेक्टर अंतरिक्ष , जिसे "[या अप करने के लिए] डिग्री डी + 1 " कहा जाता है । एक्स , " एक्स में डिग्री डी तक बहुपद के वेक्टर स्थान का विस्तार करता है ।घ+ 1 ,घ+ 1एक्स,घएक्स।
बहुपद प्रतिगमन का उपयोग
अक्सर, बहुपद प्रतिगमन इस अर्थ में खोजपूर्ण है कि हम शुरू में नहीं जानते कि किन मोनोमियल को शामिल करना है। मोनोमियल से नए मॉडल मैट्रिसेस बनाने और प्रतिगमन को फिर से फिट करने की प्रक्रिया को कई बार दोहराने की आवश्यकता हो सकती है, शायद कुछ मशीन सीखने की सेटिंग्स में कई बार खगोलीय संख्या।
इस दृष्टिकोण के साथ मुख्य समस्याएं हैं
मोनोमियल्स अक्सर नए मॉडल मैट्रिक्स में "मल्टीकोलीनैरिटी" की समस्याग्रस्त मात्रा का परिचय देते हैं, मुख्य रूप से क्योंकि एक एकल चर की शक्तियां अत्यधिक टकराहट होती हैं। (दो अलग-अलग चरों की शक्तियों के बीच सामंजस्य अप्रत्याशित है, क्योंकि यह इस बात पर निर्भर करता है कि वे चर किस तरह से संबंधित हैं, और इसलिए कम अनुमानित है।)
मॉडल मैट्रिक्स के सिर्फ एक कॉलम को बदलना, या एक नया परिचय देना, या एक को हटाना, प्रतिगमन प्रक्रिया के "कोल्ड पुनरारंभ" की आवश्यकता हो सकती है, संभवतः कम्प्यूटेशन के लिए एक लंबा समय लग सकता है।
बहुपद बीजगणियों की ग्रेडिंग दोनों समस्याओं को दूर करने का एक तरीका प्रदान करती है।
एक चर में रूढ़िवादी बहुपद
यह देखते हुए एक एकल स्तंभ वेक्टर एक्स, के लिए "ओर्थोगोनल बहुआयामी पद" का एक सेट एक्स है स्तंभ वैक्टर का एक अनुक्रम पी0( एक्स)) , पी1( एक्स)) , पी2( एक्स)) , … में एकपदीयों के रैखिक संयोजन के रूप में गठन एक्स अकेले - क्या है, एक्स शक्तियों के रूप में - निम्नलिखित गुणों के साथ:
प्रत्येक डिग्री के लिए घ= 0 , 1 , 2 , … , वैक्टर पी0( एक्स)) , पी1( एक्स)) , … , पीघ( एक्स))एक्स0, एक्स1, ... , एक्सघ। रूप में एक ही वेक्टर अंतरिक्ष उत्पन्न करते हैं। । (कि सूचना एक्स0 है n वालों के -vector और एक्स1 बस है एक्स अपने आप।)
पीमैं( एक्स)) परस्पर हैं ओर्थोगोनल इस अर्थ में कि के लिए मैं ≠ j , पीमैं( एक्स))'पीजे( एक्स)) = 0।
आमतौर पर, प्रतिस्थापन मॉडल मैट्रिक्स पी = ( पी0( एक्स))पी1( एक्स))⋯पीघ( एक्स)))
इन एकपदीयों से गठित होने के लिए चुना जाता है orthonormal इकाई लंबाई करने के लिए अपने कॉलम को सामान्य से: पी'प = मघ+ 1।
का प्रतिलोम क्योंकि पी'पी सबसे प्रतिगमन समीकरण में प्रकट होता है और पहचान मैट्रिक्स का प्रतिलोम मैंघ+ 1 अपने आप में, यह एक विशाल कम्प्यूटेशनल लाभ का प्रतिनिधित्व करता है।
ऑर्थोनॉर्मलिटी बहुत लगभग पीमैं( एक्स)) का है । निर्धारित करती है । आप इसे निर्माण द्वारा देख सकते हैं:
पहले बहुपद, पी0( एक्स)) , की एक बहु होना चाहिए n -vector 1 =(1,1,…,1 )' इकाई लंबाई की। वहाँ केवल दो विकल्प हैं, ± 1 / n---√1 है । यह सकारात्मक वर्गमूल लेने की प्रथा है।
दूसरा बहुपद, पी1( एक्स)) , ऑर्थोगोनल से 1 है । होना चाहिए । यह regressing द्वारा प्राप्त किया जा सकता एक्स के खिलाफ 1 , जिसका समाधान मतलब मूल्यों का वेक्टर है एक्स = ˉ एक्स 1 । तो बच ε = एक्स - एक्स नहीं हूबहू शून्य, वे केवल दो संभव समाधान देने के पी 1 ( एक्स ) = ± ( 1 / | | ε | |एक्स^= एक्स¯1 है ।ϵ = एक्स- एक्स^पी1( एक्स)) = ± ( 1 / | | ε | | )ε ।
...
- आम तौर पर, पीघ+ 1( एक्स))पी 0 ( एक्स ) , पी 1 ( एक्स ) , … , पी डी ( एक्स ) के खिलाफ एक्सघ+ 1 प्राप्त करके और अवशेषों को इकाई लंबाई का वेक्टर बनाने के लिए प्राप्त किया जाता है। जब अवशिष्ट सभी शून्य नहीं होते हैं तो संकेत के दो विकल्प होते हैं। अन्यथा, प्रक्रिया समाप्त होती है: एक्स की किसी भी उच्च शक्तियों को देखने के लिए यह बेकार होगा । (यह एक अच्छा प्रमेय है, लेकिन इसके प्रमाण की हमें यहाँ ध्यान भंग करने की आवश्यकता नहीं है।)पी0( एक्स)) , पी1( एक्स)) , … , पीघ( एक्स))एक्स।
यह ग्राम-श्मिट प्रक्रिया है जो वैक्टर एक्स0, एक्स1, ... , एक्सघ, … । के आंतरिक क्रम पर लागू होती है । आमतौर पर यह एक क्यूआर अपघटन का उपयोग करके गणना की जाती है , जो लगभग एक ही चीज है लेकिन एक संख्यात्मक रूप से स्थिर तरीके से गणना की जाती है।
यह निर्माण मॉडल मैट्रिक्स में शामिल करने पर विचार करने के लिए अतिरिक्त कॉलम का एक क्रम देता है। एक चर में बहुपद प्रतिगमन इसलिए आमतौर पर इस क्रम के तत्वों को एक-एक करके जोड़ते हुए आगे बढ़ता है, जब तक कि प्रतिगमन में कोई और सुधार प्राप्त नहीं होता है। क्योंकि प्रत्येक नया स्तंभ पिछले वाले के लिए रूढ़िवादी है, इसमें पिछले गुणांक अनुमानों में से कोई भी परिवर्तन नहीं करता है। यह एक कुशल और आसानी से व्याख्या करने योग्य प्रक्रिया के लिए बनाता है।
कई चर में बहुपद
खोजपूर्ण प्रतिगमन (साथ ही साथ मॉडल फिटिंग) आमतौर पर पहले (जो) मूल चर को एक मॉडल में शामिल करने पर विचार करके आगे बढ़ता है; फिर यह आकलन करना कि क्या उन चरों को संवर्धित किया जा सकता है, उनमें से विभिन्न परिवर्तनों को शामिल किया जा सकता है, जैसे मोनोमियल; और फिर इन चरों के उत्पादों और उनके पुन: भावों से बने "इंटरैक्शन" को शुरू करना।
इस तरह के एक कार्यक्रम को अंजाम देना, तब, एक्स के स्तंभों में अलग-अलगएक्स ऑर्थोगोनल पॉलीओनियम्स बनाने के साथ शुरू होगा । प्रत्येक स्तंभ के लिए एक उपयुक्त डिग्री का चयन करने के बाद, आप फिर बातचीत शुरू करेंगे।
इस बिंदु पर, एकतरफा कार्यक्रम के कुछ हिस्से टूट जाते हैं। जब तक एक उपयुक्त मॉडल की पहचान नहीं हो जाती है, तब तक आप एक-दूसरे पर किस प्रकार का इंटरैक्शन लागू करेंगे? इसके अलावा, अब जब कि हम वास्तव में बहुविकल्पीय विश्लेषण के दायरे में प्रवेश कर चुके हैं, उपलब्ध विकल्पों की संख्या और उनकी बढ़ती जटिलता का सुझाव है कि बहुभिन्नरूपी ऑर्थोगोनल बहुपद के अनुक्रम के निर्माण में कम रिटर्न हो सकता है । यदि, हालांकि, आपके मन में ऐसा क्रम था, तो आप इसे क्यूआर अपघटन का उपयोग करके गणना कर सकते हैं।
क्या R
करता है
बहुपद प्रतिगमन के लिए सॉफ्टवेयर इसलिए अविभाजित ऑर्थोगोनल बहुपद अनुक्रमों की गणना पर ध्यान केंद्रित करता है । यह R
इस तरह के समर्थन को स्वचालित रूप से संभव के रूप में विस्तारित करने के लिए एकात्मक बहुपद के समूहों के लिए विशेषता है। यह क्या poly
करता है (इसका साथी polym
अनिवार्य रूप से एक ही कोड है, जिसमें कम घंटियाँ और सीटी होती हैं; दोनों कार्य समान काम करते हैं)
विशेष रूप से, poly
एक एकल वेक्टर एक्स, दिए जाने पर, एक निर्दिष्ट डिग्री घ। पर रोकते हुए , एकतरफा ऑर्थोगोनल पॉलीओनियम्स के अनुक्रम की गणना करेगा । (यदि घ बहुत बड़ा है - और यह मुश्किल भविष्यवाणी करने के लिए कितना बड़ा बहुत बड़ा है हो सकता है -। यह दुर्भाग्य से एक त्रुटि फेंकता) जब किसी दिए गए सेट वैक्टर की एक्स1, ... , एक्सक एक मैट्रिक्स के रूप में X , यह वापस आ जाएगा
पी1( एक्स)जे) , पी2( एक्स)जे) , … , पीघ( एक्स)जे)जेघ।पी0( एक्स)मैं)R
घ।
घ।2घ= 2 , R
पी1( एक्स)1) ,पी2( एक्स)1) ,पी1( एक्स)2) ,पी1( एक्स)1) पी1( एक्स)2) ,पी2( एक्स)2) का है ।
R
पी2( एक्स)1) पी1( एक्स)2) , पी1( एक्स)1) पी2( एक्स)2)पी1( एक्स)2) पी2( एक्स)2)formula
पी1( एक्स)1) पी1( एक्स)2) का है ।पी1( एक्स)1)पी1( एक्स)2)
एक उदाहरण
एक्स = ⎛⎝⎜152364⎞⎠⎟।
एक्स1= ( १ , ५ , २ )'एक्स01= ( 1 , 1 , 1 )'पी0( एक्स)1) = ( 1 , 1 , 1 )'/ ३-√≈ ( 0.58 , 0.58 , 0.58 )'।एक्स11= एक्स1पी0( एक्स)1) ,एक्स1पी0( एक्स)1)पी1( एक्स)1)एक्स1पी1( एक्स)1) = ( - 0.57 , 0.79 , - 0.23 )'।एक्स21= ( 1 , 25 , 4 )पी0( एक्स)1)पी1( एक्स)1)एक्स1n = 3एक्स1,( टी - १ ) ( टी - ५ ) ( टी - ४ ) ,3 ,3 या कम शक्तियों के रैखिक संयोजन बड़े होते हैं और वे निम्न शक्तियाँ रैखिक रूप से स्वतंत्र होती हैं।)
एक्स1
पी1= ⎛⎝⎜0.580.580.58- 0.570.79- 0.230.590.20- 0.78⎞⎠⎟
(दो महत्वपूर्ण आंकड़ों के लिए)।
एक्स2
पी2= ⎛⎝⎜0.580.580.58- 0.620.77- 0.150.530.27- 0.80⎞⎠⎟।
( 0.35 , 0.61 , 0.035 )'।poly
polym
पी = ⎛⎝⎜- 0.570.79- 0.230.590.20- 0.78- 0.620.77- 0.150.350.610.0350.530.27- 0.80⎞⎠⎟।
एक्स1एक्स2पी'पी ,( 1 , 2 ) , ( 2 , 1 ) , ( 3 , 5 ) ,( ५ , ३ )( 1 , 1 ) , ( 2 , 2 ) , ( 3 , 3 ) ,( ५ , ५ )( ४ , ४ )
पी'पी = ⎛⎝⎜⎜⎜⎜⎜⎜1010.280.09101- 0.0910.311- 0.09110.2500.280.30.250.50.320.091100.321⎞⎠⎟⎟⎟⎟⎟⎟।
पी10- 17