कलमन फ़िल्टरिंग और (बार-बार, यदि आवश्यक हो) कम से कम वर्गों बहुपद प्रतिगमन के बीच संबंध, यदि कोई हो, तो क्या है?
कलमन फ़िल्टरिंग और (बार-बार, यदि आवश्यक हो) कम से कम वर्गों बहुपद प्रतिगमन के बीच संबंध, यदि कोई हो, तो क्या है?
जवाबों:
1. इष्टतमता मानदंड के संदर्भ में एक अंतर है
कलमन फ़िल्टर एक रैखिक अनुमानक है। यह एक रेखीय इष्टतम अनुमानक है - अर्थात अप्रत्यक्ष, गलत और अनिश्चित टिप्पणियों से ब्याज के मॉडल मापदंडों को प्रभावित करता है।
लेकिन किस अर्थ में इष्टतम? यदि सभी शोर गॉसियन है, तो कलमन फ़िल्टर अनुमानित मापदंडों के औसत वर्ग त्रुटि को कम करता है । इसका मतलब यह है, कि जब अंतर्निहित शोर गाऊसी नहीं है तो वादा अब नहीं रखता है। नॉनलाइनियर डायनामिक्स के मामले में, यह सर्वविदित है कि राज्य के आकलन की समस्या कठिन हो जाती है। इस संदर्भ में, कोई भी फ़िल्टरिंग योजना स्पष्ट रूप से अन्य सभी रणनीतियों को बेहतर नहीं बनाती है। ऐसे मामले में, गैर-रैखिक अनुमानक बेहतर हो सकते हैं यदि वे अतिरिक्त जानकारी के साथ सिस्टम को बेहतर ढंग से मॉडल कर सकते हैं। [रेफ १-२ देखें]
बहुपद प्रतिगमन रेखीय प्रतिगमन का एक रूप है जिसमें स्वतंत्र चर x और आश्रित चर y के बीच संबंध को nth क्रम बहुपद के रूप में दर्शाया गया है।
ध्यान दें कि, जबकि बहुपद प्रतिगमन डेटा के लिए एक अरेखीय मॉडल फिट बैठता है, ये मॉडल अनुमान के दृष्टिकोण से सभी रैखिक हैं, क्योंकि प्रतिगमन समारोह अज्ञात मापदंडों संदर्भ में रैखिक है । यदि हम को विभिन्न चर के रूप में मानते हैं , तो बहुपद प्रतिगमन को कई रेखीय प्रतिगमन के रूप में भी माना जा सकता है । एक्स , एक्स 2
बहुपद प्रतिगमन मॉडल आमतौर पर कम से कम वर्गों की विधि का उपयोग करके फिट होते हैं। कम से कम वर्गों की विधि में भी, हम औसत चुकता त्रुटि को कम करते हैं। गौस-मार्कोव प्रमेय की शर्तों के तहत, कम से कम वर्ग विधि गुणांक के निष्पक्ष अनुमानकों के विचरण को कम करती है । यह प्रमेय, बताता है कि निम्नलिखित शर्तों के तहत साधारण न्यूनतम वर्ग (ओएलएस) या रैखिक कम से कम वर्ग सबसे अच्छा रैखिक अस्पष्टीकृत अनुमानक (BLUE) है:
ए। जब त्रुटियों की अपेक्षा शून्य होती है तो
b। समान भिन्नताएं हैं जैसे कि
c। और त्रुटियां असंबंधित हैं अर्थातवी एक आर मैं एक n ग ई ( ई मैं ) = σ 2 < ∞ सी ओ वी ( ई मैं , ई जे ) = 0
ध्यान दें: यहाँ, त्रुटियों को गाऊसी होने की जरूरत नहीं है और न ही IID होने की आवश्यकता है। इसे केवल असंबंधित करने की आवश्यकता है।
2. कलमन फ़िल्टर कम से कम वर्ग से अनुमानकर्ताओं का विकास है
1970 में, एचडब्ल्यू सोरेनसन ने आईईईई स्पेक्ट्रम लेख प्रकाशित किया, जिसका शीर्षक था "कम से कम अनुमान: गौस से कलामन। " [देखें रेफ 3.] यह एक सेमिनल पेपर है जो गॉस के मूल विचार के बारे में आज के आधुनिक विचार के बारे में महान जानकारी प्रदान करता है। कलमन जैसे अनुमानक।
गॉस के काम ने न केवल कम से कम चौकोर ढांचा पेश किया, बल्कि यह वास्तव में सबसे शुरुआती काम में से एक था जिसमें एक संभाव्य दृश्य का उपयोग किया गया था। जबकि कम से कम वर्ग विभिन्न प्रतिगमन विधियों के रूप में विकसित हुए थे, एक और महत्वपूर्ण कार्य था जो एक अनुमानक के रूप में उपयोग करने के लिए फिल्टर सिद्धांत लाया।
स्थिर समय श्रृंखला के आकलन के लिए उपयोग किए जाने वाले ing लेटरिंग के सिद्धांत का निर्माण 1940 के दौरान नॉर्बर्ट वीनर द्वारा (WW-II के दौरान) किया गया था और 1949 में प्रकाशित किया गया था जिसे अब वीनर फिल्टर के रूप में जाना जाता है। काम बहुत पहले किया गया था, लेकिन द्वितीय विश्व युद्ध के बाद भी उत्तम दर्जे का था। वीनर के काम के समतुल्य समय को कोलमोगोरोव द्वारा स्वतंत्र रूप से प्राप्त किया गया था और 1941 में प्रकाशित किया गया था। इसलिए सिद्धांत को अक्सर वीनर-कोलमोगोरोव फ़िल्टरिंग सिद्धांत कहा जाता है ।
पारंपरिक रूप से फ़िल्टर वांछित आवृत्ति प्रतिक्रिया के लिए डिज़ाइन किए गए हैं। हालांकि, वीनर फ़िल्टर के मामले में, यह वांछित नीरव सिग्नल के अनुमान की तुलना करके सिग्नल में मौजूद शोर की मात्रा को कम करता है। वेनर फ़िल्टर वास्तव में एक अनुमानक है। एक महत्वपूर्ण पत्र में, हालांकि, लेविंसन (1947) [देखें रेफ 6] ने दिखाया कि असतत समय में, पूरे सिद्धांत को कम से कम वर्गों तक कम किया जा सकता था और इसलिए गणितीय रूप से बहुत सरल था। देखें रेफ 4
इस प्रकार, हम देख सकते हैं कि वीनर के काम ने अनुमान समस्या के लिए एक नया दृष्टिकोण दिया; एक और अच्छी तरह से स्थापित फिल्टर सिद्धांत के लिए कम से कम वर्गों का उपयोग करने से एक विकास। हालांकि, महत्वपूर्ण सीमा यह है कि वीनर फ़िल्टर मानता है कि इनपुट स्थिर हैं। हम कह सकते हैं कि कलमन फ़िल्टर विकास में एक अगला कदम है जो स्थिर मानदंडों को गिराता है। कलमन फ़िल्टर में, स्टेट स्पेस मॉडल को सिग्नल या सिस्टम के गैर-स्थिर प्रकृति से निपटने के लिए गतिशील रूप से अनुकूलित किया जा सकता है।
कलमन फ़िल्टर असतत समय डोमेन में रैखिक गतिशील प्रणालियों पर आधारित हैं। इसलिए यह वीनर के विपरीत संभावित समय बदलती सिग्नल से निपटने में सक्षम है। जैसे कि सोरेनसन का पेपर गौस के कम से कम वर्गों और कलमन फिल्टर के बीच समानांतर खींचता है
... इसलिए, एक देखता है कि गॉस और कलमैन की मूल धारणा समान है सिवाय इसके कि बाद में राज्य को एक समय से अगले तक बदलने की अनुमति मिलती है। यह अंतर गॉस की समस्या के लिए एक गैर-तुच्छ संशोधन का परिचय देता है लेकिन एक जिसे कम से कम वर्गों के ढांचे के भीतर इलाज किया जा सकता है।
3. वे वही हैं जहाँ तक भविष्यवाणी की कार्य-कारण दिशा का संबंध है; कार्यान्वयन दक्षता के अलावा
कभी कभी यह माना जाता है कि Kalman फिल्टर जहां प्रतिगमन या कम से कम वर्गों के रूप में चौरसाई करता अतीत डेटा के आधार पर भविष्य की घटनाओं की भविष्यवाणी के लिए प्रयोग किया जाता है के भीतर अंक को समाप्त करने के अंत। यह वास्तव में सच नहीं है। पाठकों को ध्यान देना चाहिए कि दोनों अनुमानक (और लगभग सभी अनुमानक जो आप सोच सकते हैं) या तो नौकरी कर सकते हैं। आप लागू करने के लिए Kalman फिल्टर लागू कर सकते हैं Kalman समरेखण ।
इसी तरह, प्रतिगमन आधारित मॉडल भी भविष्यवाणी के लिए इस्तेमाल किया जा सकता है। प्रशिक्षण वेक्टर को देखते हुए, और आपने लागू किया और मॉडल पैरामीटर खोज की अब एक और नमूने के लिए हम मॉडल के आधार पर को एक्सट्रपलेट कर सकते हैं ।वाई टी
इसलिए, दोनों तरीकों का उपयोग चौरसाई या फिटिंग (गैर-कारण) के साथ-साथ भविष्य की भविष्यवाणियों (कारण मामले) के रूप में किया जा सकता है। हालांकि, महत्वपूर्ण अंतर कार्यान्वयन है जो महत्वपूर्ण है। बहुपद प्रतिगमन के मामले में - पूरी प्रक्रिया के साथ दोहराए जाने की आवश्यकता होती है और इसलिए, जबकि कारण आकलन को लागू करना संभव हो सकता है लेकिन यह कम्प्यूटेशनल रूप से महंगा हो सकता है। [जबकि, मुझे यकीन है कि चीजों को पुनरावृत्त बनाने के लिए अब तक कुछ शोध होना चाहिए]।
दूसरी ओर, कलमन फ़िल्टर स्वाभाविक रूप से पुनरावर्ती है। इसलिए, भविष्य के लिए भविष्यवाणी के लिए इसका उपयोग केवल पिछले डेटा का उपयोग करना बहुत ही कुशल होगा।
यहां एक और अच्छी प्रस्तुति है जो कई तरीकों की तुलना करती है: Ref 5
संदर्भ
कलमन फ़िल्टर का सर्वश्रेष्ठ परिचय - डैन सिमोन कलमन फ़िल्टरिंग एंबेडेड सिस्टम प्रोग्रामिंग जुने 2001 पृष्ठ 72
प्रस्तुति: लिंडसे क्लेमन अंडरस्टैंडिंग एंड अप्लायिंग कलमन फ़िल्टरिंग
HW सोरेंसन लिस्ट-स्क्वायर अनुमान: गॉस से कलमैन IEEE स्पेक्ट्रम तक, जुलाई 1970. पीपी 63-68।
प्रेजेंटेशन सिमो स्कर्क लाइनर रिग्रेशन से लेकर कलमन फिल्टर और बियोंड हेलसिंकी यूनिवर्सिटी ऑफ टेक्नोलॉजी तक
लेविंसन, एन। (1947)। "फिल्टर डिजाइन और भविष्यवाणी में वीनर आरएमएस त्रुटि मानदंड।" जे। मठ। फिज।, वी। 25, पीपी। 261-278।
अंतर काफी बड़ा है, क्योंकि वे दो पूरी तरह से अलग मॉडल हैं जिनका उपयोग एक ही समस्या से निपटने के लिए किया जा सकता है। चलो एक त्वरित पुनर्कथन करते हैं।
बहुपद प्रतिगमन समारोह का एक तरीका है। हमारे पास प्रपत्र का डेटा सेट है और कार्यात्मक संबंध निर्धारित करने की इच्छा है, जिसे प्रायः प्रायिकता घनत्व अनुमान व्यक्त किया जाता है । इस धारणा के तहत कि यह एक गाऊसी है, हमें अधिकतम संभावना अनुमानक के रूप में सबसे कम वर्ग समाधान मिलता है।
कलमन फ़िल्टरिंग एक रैखिक गतिशील प्रणाली में अनुमान का एक विशेष तरीका है। एलडीएस राज्य अंतरिक्ष मॉडल का एक विशेष मामला है, जिसमें हम मानते हैं कि हम जो डेटा देखते हैं, वह गाऊसी यादृच्छिक चर पर मार्कोव श्रृंखला के बाद के चरणों के रैखिक परिवर्तन के अनुप्रयोग द्वारा उत्पन्न होता है। इस प्रकार हम वास्तव में मॉडल करते हैं , जो कि एक समय श्रृंखला की संभावना है। कलमन फ़िल्टरिंग की प्रक्रिया एक समय श्रृंखला के अगले मूल्य की भविष्यवाणी करने के लिए है, उदाहरण के लिए अधिकतम । लेकिन एक ही मॉडल का उपयोग चौरसाई, प्रक्षेप और कई और चीजों पर अनुमान लगाने के लिए किया जा सकता है।
इस प्रकार: बहुपद प्रतिगमन समारोह सन्निकटन करता है, कलमन फ़िल्टरिंग समय श्रृंखला भविष्यवाणी करता है। दो पूरी तरह से अलग-अलग चीजें, लेकिन टाइम सीरीज़ की भविष्यवाणी फंक्शन सन्निकटन का एक विशेष मामला है। इसके अलावा, दोनों मॉडल उनके द्वारा देखे जाने वाले डेटा पर काफी भिन्न धारणाओं को आधार बनाते हैं।
कलामन फ़िल्टर पर कोई विशेषज्ञ नहीं है, हालांकि मेरा मानना है कि पारंपरिक कलमन फ़िल्टरिंग अवलोकन योग्य डेटा के बीच एक रैखिक संबंध का अनुमान लगाता है, और डेटा जिसे आप अनुमान लगाना चाहते हैं, इसके विपरीत विस्तारित कल्मन फ़िल्टर जैसे गैर पेचीदा रिश्तों को मान सकते हैं।
इस बात को ध्यान में रखते हुए, मेरा मानना है कि पारंपरिक कलमन फ़िल्टर के लिए, ऑन-लाइन रैखिक प्रतिगमन, प्रदर्शन में कलामन के समान होगा। हालांकि, एक बहुपद प्रतिगमन का भी उपयोग किया जा सकता है जो एक गैर-रैखिक संबंध मान सकता है जो एक पारंपरिक कलमैन को पकड़ने में सक्षम नहीं हो सकता है।
कलमन फ़िल्टरिंग अगले राज्य के लिए कई भविष्यवाणियाँ देता है, जहाँ एक प्रतिगमन का अपव्यय नहीं होगा।
कलमन फ़िल्टर शोर कारकों (गॉसियन वितरण पर आधारित) सहित पर केंद्रित हैं।
बहुत पहले ही कहा जा चुका है, मुझे कुछ टिप्पणियाँ जोड़ने की अनुमति दें:
कलमन फ़िल्टर बायेसियन संभाव्यता सिद्धांत का एक अनुप्रयोग है, जिसका अर्थ है कि "एक पूर्व सूचना" या "पूर्व अनिश्चितता" (और) को निर्दिष्ट किया जाना चाहिए। जैसा कि मैं समझता हूं, पारंपरिक कम-वर्ग फिटिंग के साथ ऐसा नहीं है। जबकि टिप्पणियों (डेटा) को एलएसक्यू फिटिंग में संभावनाओं के साथ भारित किया जा सकता है, एक समाधान के पूर्व ज्ञान को आसानी से ध्यान में नहीं रखा जा सकता है।
सारांश में, केएफ द्वारा पाए जाने वाले समाधान पर निर्भर करेगा
a) 'पूर्वानुमान' प्रदान करने के लिए एक मॉडल
बी) माप जो 'अवलोकन' हैं
ग) भविष्यवाणियों और टिप्पणियों पर अनिश्चितता
घ) समाधान का एक पूर्व ज्ञान।
"पूर्व ज्ञान" को प्रारंभिक अनुमान पर विचरण के रूप में निर्दिष्ट किया गया है, लेकिन यह प्रासंगिक नहीं है या हर अनुप्रयोग में समान सीमा तक उपयोग नहीं किया गया है।
जैसा कि पहले उल्लेख किया गया है, केएफ का एक सामान्य उपयोग वास्तविक समय की टिप्पणियों में शोर को कम करना है। मॉडल की भविष्यवाणियों के साथ टिप्पणियों की तुलना करने से शोर से रहित 'सही माप' का अनुमान लगाने में मदद मिल सकती है। यह सामान्य अनुप्रयोग यही है कि KF को फ़िल्टर क्यों कहा जाता है।
इस उदाहरण में प्रारंभिक अनुमान शून्य पर समय पर लिया गया समाधान होगा जिसमें केएफ शुरू होता है, संबद्ध "पूर्व अनिश्चितता" के साथ। अक्सर आपके पास प्रेडिक्टिव मॉडल में कुछ अज्ञात पैरामीटर होंगे, लेकिन जो माप से विवश हो सकते हैं, वे हैं "अवलोकनीय"। केएफ उन दोनों मापदंडों और "सही माप" के अपने अनुमानों में सुधार करेगा क्योंकि यह डेटा की समय श्रृंखला के माध्यम से चलता है। उस स्थिति में प्रारंभिक अवस्था अक्सर निर्दिष्ट फ़िल्टरिंग प्रदर्शन में परिणाम के लिए निर्दिष्ट होती है: वास्तविक अनुमान त्रुटियों के रूप में परिभाषित किया गया है जो कि केएफ अपने समाधान के साथ प्रदान करता है। इस उदाहरण में, प्रारंभिक स्थिति पर पूर्व अनिश्चितता बड़ी होने के लिए निर्दिष्ट की जा सकती है, जिसमें केएफ को किसी भी त्रुटि को ठीक करने का अवसर मिलता है। छोटे मान भी निर्दिष्ट किए जा सकते हैं,
केएफ डिज़ाइन के इस क्षेत्र में प्रारंभिक स्थिति के मूल्यों और अच्छे प्रदर्शन के परिणामस्वरूप अनिश्चितता के साथ आने के लिए परीक्षण और त्रुटि, या इंजीनियरिंग निर्णय शामिल हो सकते हैं। इस कारण से, यह और केएफ फ़िल्टर डिज़ाइन के अन्य पहलुओं में अच्छे प्रदर्शन के परिणामस्वरूप अनिश्चितताओं को निर्दिष्ट करना शामिल है (जैसा कि यह संख्यात्मक, अनुमान, भविष्यवाणी ...) अक्सर "फ़िल्टर ट्यूनिंग" के रूप में जाना जाता है।
लेकिन अन्य अनुप्रयोगों में, पूर्व अनिश्चितताओं के लिए अधिक कठोर और उपयोगी दृष्टिकोण अपनाया जा सकता है। पिछला उदाहरण वास्तविक समय के अनुमान के बारे में था (अनिश्चित माप से शोर को फ़िल्टर करने के लिए)। प्रारंभिक अवस्था और उसके विचरण (पूर्व अनिश्चितता) एक प्रारंभिक समय में फिल्टर को आरंभ करने के लिए लगभग एक आवश्यक बुराई है, जिसके बाद प्रारंभिक अवस्था तेजी से महत्वहीन हो जाती है क्योंकि अनुमानों को सुधारने के लिए भविष्य की टिप्पणियों का उपयोग किया जाता है। अब विचार करें कि एक कलमन फ़िल्टर एक विशिष्ट समय t_s पर माप और मॉडल भविष्यवाणियों पर लागू होता है। हमारे पास अनिश्चित अवलोकन, एक अनिश्चित मॉडल है, लेकिन हमें उस समाधान के बारे में कुछ पूर्व ज्ञान भी है जिसकी हम तलाश कर रहे हैं। मान लीजिए कि हम इसकी गॉसियन पीडीएफ जानते हैं: माध्य और विचरण। इस मामले में, समाधान पूर्व की अनिश्चितता पर बहुत दृढ़ता से निर्भर कर सकता है, जिसका अर्थ है आइटम d) ऊपर,
यह सुविधा, जो बेयसियन सिद्धांत के लिए मौलिक है, केएफ को आमतौर पर उपलब्ध हर प्रकार की अनिश्चितता / जानकारी को ध्यान में रखते हुए स्टोकेस्टिक समस्याओं को हल करने की अनुमति देता है। क्योंकि केएफ को दशकों से विकसित और लागू किया गया है, इसकी बुनियादी विशेषताओं का हमेशा विस्तार से वर्णन नहीं किया गया है। मेरे अनुभव में, कई कागजात और किताबें इष्टतमता और रैखिककरण (विस्तारित KF, असंतुष्ट KF, और इसी तरह) पर ध्यान केंद्रित करती हैं। लेकिन मुझे "कण फिल्टर" पर परिचयात्मक कागजात और ग्रंथों को पढ़कर, बायेसियन सिद्धांत और केएफ के बीच लिंक के महान विवरण मिले हैं। वे एक और बेसीयन अनुमान के अधिक हालिया कार्यान्वयन हैं, यदि आप रुचि रखते हैं तो उन्हें देखें!