समय-श्रृंखला-आधारित विसंगति का पता लगाने वाले एल्गोरिदम के लिए तरंगिकाओं का अनुप्रयोग


25

मैं एंड्रयू मूर द्वारा सांख्यिकीय डेटा माइनिंग ट्यूटोरियल के माध्यम से अपना काम करना शुरू कर रहा हूं (इस क्षेत्र में पहले किसी और के लिए अनुशंसित)। मैंने इस बेहद दिलचस्प पीडीएफ को "टाइम-सीरीज़-आधारित-विसंगति का पता लगाने वाले एल्गोरिदम का परिचयात्मक अवलोकन" पढ़कर शुरू किया , जिसमें बीमारी के प्रकोप का पता लगाने के लिए एल्गोरिथ्म के निर्माण में इस्तेमाल की जाने वाली कई तकनीकों के माध्यम से मूर का पता चलता है। स्लाइड्स के माध्यम से, पेज 27 पर, वह कई अन्य "अत्याधुनिक तरीकों की सूची" का उपयोग करता है, जो प्रकोपों ​​का पता लगाने के लिए उपयोग किया जाता है। पहले सूचीबद्ध एक तरंगिका है । विकिपीडिया एक तरंगिका के रूप में वर्णन करता है

एक तरंग जैसा दोलन जो कि शून्य पर शुरू होता है, बढ़ता है, और फिर वापस शून्य में घट जाता है। इसे आम तौर पर "संक्षिप्त दोलन" के रूप में देखा जा सकता है

लेकिन आंकड़ों के लिए उनके आवेदन का वर्णन नहीं करता है और मेरी Google खोज में अत्यधिक शैक्षणिक पेपर निकलते हैं जो इस बात का ज्ञान देते हैं कि विषय पर आंकड़े या पूर्ण पुस्तकों से कैसे संबंधित हैं।

मैं इस बात की एक बुनियादी समझ चाहता हूं कि तरंगों को समय-श्रृंखला विसंगति का पता लगाने के लिए कैसे लागू किया जाता है, बहुत कुछ इस तरह से मूर अपने ट्यूटोरियल में अन्य तकनीकों को दिखाता है। क्या कोई इस बात की व्याख्या प्रदान कर सकता है कि तरंगों का उपयोग करने के तरीकों का पता लगाने का काम या मामले पर एक समझदार लेख के लिंक के लिए क्या है?

जवाबों:


19

तरंगिकाएं एक संकेत में विलक्षणताओं का पता लगाने के लिए उपयोगी होती हैं (उदाहरण के लिए यहां पेपर देखें (चित्र के लिए चित्र 3 देखें) और इस पेपर में उल्लिखित संदर्भ हैं। मुझे लगता है कि विलक्षणता कभी-कभी एक विसंगति हो सकती है?

यहां विचार यह है कि कंटीन्यूअस वेवलेट ट्रांसफॉर्म (सीडब्ल्यूटी) में मैक्सिमा लाइनें हैं जो आवृत्तियों के साथ फैलती हैं, यानी जितनी लंबी लाइन होती है, उतनी ही विलक्षणता होती है। पेपर में चित्र 3 देखें कि मेरा क्या मतलब है! ध्यान दें कि उस पेपर से संबंधित मुफ्त मैटलैब कोड है, यह यहां होना चाहिए ।


इसके अतिरिक्त, मैं आपको कुछ विवरण दे सकता हूं कि क्यों DISCRETE (पूर्ववर्ती उदाहरण निरंतर एक के बारे में है) तरंग परिवर्तन ( DWT ) एक सांख्यिकीविद् के लिए दिलचस्प है (बहाना गैर-थकावट):

  • (यथार्थवादी (बेस्कोव स्पेस)) संकेतों की एक विस्तृत श्रेणी है जो तरंग परिवर्तन द्वारा विरल अनुक्रम में बदल जाती है। ( संपीडित संपत्ति )
  • (अर्ध-स्थिर) प्रक्रियाओं की एक विस्तृत श्रेणी जो लगभग असंबद्ध सुविधाओं ( सजावट संपत्ति ) के साथ अनुक्रम में तब्दील हो जाती है
  • वेवलेट गुणांक में जानकारी होती है जो समय और आवृत्ति में (विभिन्न पैमानों पर) स्थानीय होती है। (बहु-स्तरीय संपत्ति)
  • एक सिग्नल के वेवलेट गुणांक इसकी विलक्षणताओं पर ध्यान केंद्रित करते हैं

19

प्रस्तुति में सूची, जो आप संदर्भ देते हैं, मेरे लिए काफी मनमाना लगती है, और जिस तकनीक का उपयोग किया जाता है वह वास्तव में विशिष्ट समस्या पर निर्भर करेगा। आप इस बात पर ध्यान देंगे कि इसमें कलमन फ़िल्टर भी शामिल हैं , इसलिए मुझे संदेह है कि इच्छित उपयोग फ़िल्टरिंग तकनीक के रूप में है। वेवलेट ट्रांसफॉर्म आमतौर पर सिग्नल प्रोसेसिंग के विषय के अंतर्गत आते हैं , और अक्सर बहुत शोर डेटा के साथ पूर्व-प्रसंस्करण कदम के रूप में उपयोग किया जाएगा। चेन और ज़हान द्वारा एक उदाहरण " मल्टी-स्केल विसंगति का पता लगाना " पेपर है (नीचे देखें)। दृष्टिकोण मूल शोर श्रृंखला के बजाय विभिन्न स्पेक्ट्रम पर विश्लेषण चलाने के लिए होगा।

वेवलेट्स की तुलना निरंतर-समय के फूरियर परिवर्तन से की जाती है, हालांकि उन्हें समय और आवृत्ति दोनों में स्थानीयकृत होने का लाभ होता है। वेवलेट्स का उपयोग सिग्नल कंप्रेशन और स्मूथिंग (वेवलेट सिकुड़न) के लिए भी किया जा सकता है। अंत में, तरंग परिवर्तन लागू होने के बाद (उदाहरण के लिए ऑटो-सहसंबंध समारोह को देखकर) एक और सांख्यिकीय लागू करने के लिए यह समझ में आ सकता है। तरंगों का एक और पहलू जो विसंगति का पता लगाने के लिए उपयोगी हो सकता है, वह है स्थानीयकरण का प्रभाव: अर्थात्, एक विच्छेदन केवल उस तरंगिका को प्रभावित करेगा जो इसके निकट है (एक फूरियर रूपांतरण के विपरीत)। इसका एक अनुप्रयोग स्थानीय रूप से स्थिर समय श्रृंखला (एक LSW का उपयोग करके) खोजना है।

गाय नैसन के पास एक अच्छी किताब है जिसे मैं सुझाऊंगा कि क्या आप व्यावहारिक सांख्यिकीय अनुप्रयोग में आगे बढ़ना चाहते हैं: " आर के साथ सांख्यिकी में वेवलेट तरीके "। यह विशेष रूप से सांख्यिकीय विश्लेषण के लिए तरंगिकाओं के आवेदन को लक्षित कर रहा है, और वह सभी कोड के साथ कई वास्तविक दुनिया उदाहरण प्रदान करता है ( वेवथ्रेश पैकेज का उपयोग करके )। नैसन की पुस्तक विशेष रूप से "विसंगति का पता लगाने" को संबोधित नहीं करती है, हालांकि यह एक सामान्य अवलोकन प्रदान करने का एक एडमिरल काम करता है।

अन्त में, विकिपीडिया लेख कई अच्छे परिचयात्मक संदर्भ प्रदान करता है, इसलिए यह विस्तार से इसके लायक है।

[एक साइड नोट के रूप में: यदि आप परिवर्तन बिंदु का पता लगाने के लिए एक अच्छी आधुनिक तकनीक की तलाश कर रहे हैं, तो मैं आपको तरंगिका विधियों के साथ बहुत अधिक समय बिताने से पहले एक एचएमएम की कोशिश करने का सुझाव दूंगा, जब तक कि आपके पास अपने विशेष क्षेत्र में तरंगिकाओं का उपयोग करने का अच्छा कारण न हो। यह मेरे व्यक्तिगत अनुभव पर आधारित है। बेशक कई अन्य गैर-मॉडल हैं, जिन पर विचार किया जा सकता है, इसलिए यह वास्तव में आपकी विशिष्ट समस्या पर निर्भर करता है।]


1
यह मेरे लिए स्पष्ट नहीं है कि विसंगति का पता लगाने के लिए छिपे हुए मार्कोव मॉडल का उपयोग कैसे किया जाता है, लेकिन मैं बहुत कुछ जानना चाहूंगा। जो हिस्सा मेरे लिए विशेष रूप से अस्पष्ट है, वह यह है कि सार्थक संक्रमण संभावनाओं के साथ एक सही अंतर्निहित स्टेट मशीन कैसे बनाई जाए (जब तक कि यह "विसंगति" और "विसंगति नहीं" जैसे दो राज्यों की तरह उनके बीच एक भोली संक्रमण संभावना हो)।
जॉन रॉबर्टसन

6

आमतौर पर इस्तेमाल किए जाने वाले और लागू किए गए असतत वेवलेट बेस फ़ंक्शंस (जैसा कि रॉबिन के जवाब में वर्णित CWT से अलग है) में दो अच्छे गुण हैं जो उन्हें विसंगति का पता लगाने के लिए उपयोगी बनाते हैं:

  1. वे कॉम्पैक्ट रूप से समर्थित हैं।
  2. वे अपने समर्थन द्वारा निर्धारित पास-बैंड के साथ बैंड-पास फिल्टर के रूप में कार्य करते हैं।

व्यावहारिक अर्थों में इसका मतलब यह है कि आपके असतत वेवलेट अपघटन विभिन्न प्रकार के तराजू और आवृत्ति बैंड में संकेत में स्थानीय परिवर्तनों को देखता है। यदि आपके पास (उदाहरण के लिए) बड़ा-परिमाण है, तो उच्च-आवृत्ति वाले शोर पूरे समारोह में दिखाई देते हैं, जो लंबी अवधि में कम परिमाण में बदलाव को प्रदर्शित करता है, वेवलेट ट्रांसफ़ॉर्म कुशलता से इन दो पैमानों को अलग कर देगा और आपको आधारभूत बदलाव देखने देगा तकनीक याद आएगी; इस बेसलाइन में बदलाव से बीमारी का प्रकोप या ब्याज के कुछ अन्य परिवर्तन का सुझाव दिया जा सकता है। बहुत सारे तरीकों से, आप अपघटन को खुद को एक चिकना समझ सकते हैं (और गैर-घटक अनुमान में तरंगिका गुणांक के लिए कुशल संकोचन पर काफी काम किया गया है, उदाहरण के लिए डोनोहो पर तरंगिकाओं पर बहुत कुछ देखें)। शुद्ध आवृत्ति-आधारित विधियों के विपरीत, कॉम्पैक्ट समर्थन का मतलब है कि वे गैर-स्थिर डेटा को संभालने में सक्षम हैं। विशुद्ध रूप से समय-आधारित तरीकों के विपरीत, वे कुछ आवृत्ति-आधारित फ़िल्टरिंग के लिए अनुमति देते हैं।

व्यावहारिक रूप से, विसंगतियों या परिवर्तन बिंदुओं का पता लगाने के लिए, आप एक असतत वेवलेट ट्रांसफ़ॉर्म लागू करेंगे (शायद वेरिएंट को "मैक्सिमम ओवरलैप डीडब्ल्यूटी" या "शिफ्ट इंवेरिएंट डीडब्ल्यूटी" के रूप में जाना जाता है, जो आप पढ़ते हैं, जो डेटा पर निर्भर करता है) और देखो गुणांक के निचले-आवृत्ति सेट पर यह देखने के लिए कि क्या आपके पास बेसलाइन में महत्वपूर्ण बदलाव हैं। यह आपको तब दिखाएगा जब दिन-प्रतिदिन के शोर के नीचे एक दीर्घकालिक परिवर्तन हो रहा है। पेरिवल और वाल्डेन (नीचे संदर्भ देखें) सांख्यिकीय रूप से महत्वपूर्ण गुणांक के लिए कुछ परीक्षण प्राप्त करते हैं जिन्हें आप यह देखने के लिए उपयोग कर सकते हैं कि इस तरह की शिफ्ट महत्वपूर्ण है या नहीं।

असतत तरंगों के लिए एक उत्कृष्ट संदर्भ कार्य पर्सीवल और वाल्डेन है, "टाइम सीरीज विश्लेषण के लिए वेवलेट तरीके"। एक अच्छा परिचयात्मक काम है "बुरलेट, गोपीनाथ, और गुओ द्वारा तरंगों और तरंगिका रूपांतर, एक प्राइमर का परिचय"। यदि आप एक इंजीनियरिंग पृष्ठभूमि से आ रहे हैं, तो "इंजीनियरों और वैज्ञानिकों के लिए तरंगों के तत्व" सिग्नल-प्रोसेसिंग दृष्टिकोण से एक अच्छा परिचय है।

(रॉबिन की टिप्पणियों को शामिल करने के लिए संपादित)


आपके द्वारा उल्लेखित पहला बिंदु सामान्य रूप से गलत है, मेरा सुझाव है कि आप Daubechie की पुस्तक में अध्याय books.google.fr/… का पहला वाक्य पढ़ें । इसके अलावा, यदि आपने मेरा उत्तर पढ़ा है, तो मैंने पहले ही अपने उत्तर के दूसरे भाग में DWT की अच्छी संपत्ति का उल्लेख किया है ...
robin girard

पहले बिंदु पर, आप सही हैं। मुझे कहना चाहिए "सबसे अधिक इस्तेमाल किया / कार्यान्वित असतत तरंग आधार कार्य"; मैं उस को प्रतिबिंबित करने के लिए संपादित करूंगा। दूसरे बिंदु के लिए, आपने कुछ सीडब्ल्यूटी (सबसे अधिक बार एक डीओजी तरंगिका या संबंधित संबंधित तरंगिका के बारे में एक अच्छा जवाब दिया; कुछ इस तरह जैसे कि गैबर तरंग आपके व्यवहार का वर्णन नहीं करेगा) विलक्षणता की विसंगतियों का पता लगा सकता है। मैं अन्य प्रकार की विसंगतियों का पता लगाने के लिए डीडब्ल्यूटी का उपयोग कैसे किया जा सकता है, इसका एक सटीक विवरण देने की कोशिश कर रहा था।
रिच

आपके द्वारा उल्लेखित दूसरा बिंदु भी गलत होने की संभावना है: तरंगिका समर्थन (यदि यह कॉम्पैक्ट है) तरंगिका के अस्थायी स्थानीयकरण के बारे में जानकारी दे रहा है आवृत्ति आवृत्ति नहीं।
रॉबिन जिरार्ड

असतत तरंग - या कम से कम बहुसंख्यक जो कार्यान्वित और आमतौर पर उपयोग किए जाते हैं - आमतौर पर कॉम्पैक्ट समर्थन बाधा के तहत उपयोगी आवृत्ति-आधारित गुणों के लिए डिज़ाइन किए गए हैं। उदाहरण के लिए, ड्यूबची की लुप्त होती स्थिति, पास-बैंड में कमोबेश समतलता के बराबर है। तरंगिकाओं की आवृत्ति स्थानीयकरण गुण आमतौर पर होते हैं जो गुणांक को विरल प्रतिनिधित्व करते हैं और "सिग्नल + एडिटिव शून्य-मीन शोर" धारणा के तहत शोर विचलन का अनुमान लगाने की अनुमति देते हैं।
रिच
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.