बहुभिन्नरूपी डेटा में आउटलेयर की पहचान करने का सबसे अच्छा तरीका क्या है?


94

मान लें कि मेरे पास कम से कम तीन चर के साथ बहुभिन्नरूपी डेटा का एक बड़ा सेट है। मैं आउटलेयर को कैसे खोज सकता हूं? पेयरवाइज स्कैप्लेट्स काम नहीं करेंगे क्योंकि 3 आयामों में अस्तित्व के लिए यह संभव है कि 2 आयामी उप-स्थानों में से किसी में भी बाहर का न हो।

मैं एक प्रतिगमन समस्या के बारे में नहीं सोच रहा हूं, लेकिन सच्चे बहुभिन्नरूपी आंकड़ों के बारे में। इसलिए मजबूत प्रतिगमन या कंप्यूटिंग उत्तोलन से जुड़े उत्तर मददगार नहीं हैं।

एक संभावना मुख्य घटक स्कोर की गणना करना और पहले दो स्कोर के बिवरिएट स्कैल्पलॉट में एक बाहरी की तलाश करना होगा। क्या वह काम करने की गारंटी होगी? क्या बेहतर दृष्टिकोण हैं?


3
अगर एक स्कैल्पलॉट मैट्रिक्स इसे पकड़ नहीं पाएगा, तो आप 3D स्कैल्पलॉट आज़मा सकते हैं। वह 4D के लिए काम नहीं करेगा, ज़ाहिर है, लेकिन तब आप समय के रूप में 4 आयाम बना सकते हैं और एक फिल्म बना सकते हैं। :)
शेन

(पदानुक्रमित) क्लस्टर विश्लेषण के बारे में क्या?
Andrej

11
रंग डी में 5 डी, रंग तीव्रता में 6 डी, बिंदु आकार में 7 डी और हम जा सकते हैं ;-)

जवाबों:


26

Mvoutlier पैकेज पर एक नज़र डालें, जो @drknevus द्वारा सुझाए गए मजबूत महालनोबिस दूरी पर निर्भर करता है।


4
मैं व्यक्तिगत रूप से इस पैकेज में विश्वास नहीं करता! मुझे लगता है कि यह सिर्फ विज्ञान का शोर है। इस प्रकार के सिद्धांत सिम्युलेटेड डेटा के लिए बहुत अच्छे हैं जबकि वास्तविक डेटा के लिए बस पफ़्फ़। मैंने इस पैकेज का उपयोग उदाहरण के लिए आउटलेर्स का पता लगाने के लिए किया है: दुख की बात है कि मेरे डेटा का आधा हिस्सा आउटलेयर होने का पता चला है: -D यह मजेदार है कि कैसे लोग सिर्फ कुछ प्रकाशित करते हैं (मुझे नहीं पता कि यह क्या कॉल करना है)। यदि आपके पास कोई टिप्पणी है, तो मुझे देखकर खुशी होगी। हमारे पास कई प्रकार के आउटलेयर हैं लेकिन क्या हमें बस उन्हें अपने डेटा से हटाना चाहिए? मैं विश्वास नहीं।
शिक्षार्थी

1
क्या आप बता सकते हैं कि यह कब और क्यों काम करता है?
eric_kernfeld

19

मुझे लगता है कि रॉबिन गिरार्ड का जवाब 3 और संभवतः 4 आयामों के लिए बहुत अच्छा काम करेगा, लेकिन आयामीता का अभिशाप इससे आगे काम करने से रोकेगा। हालांकि, उनके सुझाव ने मुझे एक संबंधित दृष्टिकोण तक पहुंचा दिया, जो कि पहले तीन प्रमुख घटक स्कोर के लिए क्रॉस-वैरिफाइड कर्नेल घनत्व अनुमान लागू करना है। तब एक बहुत उच्च-आयामी डेटा सेट अभी भी ठीक किया जा सकता है।

संक्षेप में, i = 1 से n के लिए

  1. शी के बिना निर्धारित डेटा से प्राप्त पहले तीन प्रमुख घटक स्कोर के घनत्व के अनुमान की गणना करें।
  2. चरण 1 में अनुमानित घनत्व के लिए शी की संभावना की गणना करें। इसे ली कहें।

के लिए अंत

ली को सॉर्ट करें (i = 1, .., n के लिए) और आउटलेरर्स कुछ सीमा के नीचे संभावना वाले हैं। मुझे यकीन नहीं है कि एक अच्छी सीमा क्या होगी - मैं इसे छोड़ दूंगा जो कोई भी इस पर पेपर लिखता है! एक संभावना यह है कि लॉग (ली) मानों का एक बॉक्सप्लॉट करें और देखें कि नकारात्मक अंत में आउटलेयर का क्या पता चलता है।


इस उत्तर के लिए धन्यवाद (एक टिप्पणी होनी चाहिए?) जैसा कि मैंने पहले ही उल्लेख किया है, रिच उत्तर के उच्च आयाम के लिए एक टिप्पणी के रूप में एक समस्या नहीं है (यहां तक ​​कि 1000 काम कर सकता है) यदि आप पैरामीट्रिक संरचनात्मक धारणा बनाते हैं।
रॉबिन जिरार्ड 23'10

@rob "मुझे यकीन नहीं है कि एक अच्छी सीमा क्या होगी" यह मेरे द्वारा बताई गई कई परीक्षण प्रक्रिया का उद्देश्य होगा .... लेकिन मैं पूरी तरह से सहमत हूं कि चीजों को भरना होगा और मुझे वास्तव में बाहरी पहचान पसंद है बाहरी पता लगाने! जो एक कागज लिखना चाहता है :)?
रोबिन जिरार्ड

4
(-1) यह थोड़ा परेशान करने वाला है कि इस प्रश्न का स्वीकृत उत्तर न तो उपयोगी है (जैसे बहुत अस्पष्ट और लागू नहीं) और न ही वैज्ञानिक रूप से सही है (जैसा कि गलत भी नहीं है: जहाँ तक मुझे पता है, इसका उल्लेख भी नहीं है। उपयुक्त साहित्य)।
user603

6
(-1) यह एक गलत उत्तर के रूप में लगता है - इस पद्धति से आउटलेर्स का पता नहीं चलेगा! पीसीए द्वारा 2 डी-प्लेन और 1 बाहरी बिंदु पर एक 3 डी पैनकेक जैसे क्लाउड की कल्पना करना आसान है, जो प्लेन से बहुत दूर है, लेकिन प्रोजेक्शन क्लाउड के बीच में इसका प्रक्षेपण सही है, इसलिए "कर्नेल घनत्व" 2 डी-प्लेन में बिंदु अधिक होगा, हालांकि यह एक बाहरी है।
कोच्चि

1
मुझे लगता है कि पीसीए यहां समस्याग्रस्त होगा। पीसीए एक सन्निकटन है जो विचरण में मुख्य योगदान मानता है। लेकिन यहाँ बहुत ही उद्देश्य आउटलेर्स को खोजना है - क्या वे "दरारों के बीच नहीं गिरेंगे"?
ओमरी आतिया

18

आप (1) में उपलब्ध विभिन्न विधियों का एक शैक्षणिक सारांश पा सकते हैं।

कुछ --recent-- वहाँ सूचीबद्ध विभिन्न तरीकों की संख्यात्मक तुलना के लिए, आप (2) और (3) की जांच कर सकते हैं ।

आम तौर पर पुस्तकों में पाए जाने वाले कई पुराने (और कम संपूर्ण) संख्यात्मक तुलनाएं हैं। आप उदाहरण के लिए (4) के 142-143 पृष्ठों पर एक पाएंगे।

ध्यान दें कि यहां चर्चा की गई सभी विधियों में एक खुला स्रोत आर कार्यान्वयन है, मुख्य रूप से आरकोव पैकेज के माध्यम से ।

  • (1) पी। रौसीउव और एम। ह्युबर्ट (2013) मल्टीवीरेट लोकेशन और स्कैटर के हाई-ब्रेकडाउन एस्टिमेटर्स।
  • (२) एम। ह्यूबर्ट, पी। राउसीवु, के। वैकिली (२०१३)। मजबूत सहसंयोजक आकलनकर्ताओं का आकार पूर्वाग्रह: एक अनुभवजन्य अध्ययन। सांख्यिकीय कागज।
  • (3) के। वैकिली और ई। श्मित (2014)। FastPCS के साथ बहुभिन्नरूपी खोजकर्ता। कम्प्यूटेशनल सांख्यिकी और डेटा विश्लेषण।
  • (4) मैरोना आरए, मार्टिन आरडी और योहाई वीजे (2006)। मजबूत सांख्यिकी: सिद्धांत और तरीके। विली, न्यूयॉर्क।

मैं उन कागजों की सिफारिश नहीं करूंगा जो नकली डेटा पर आधारित हैं, मेरा मानना ​​है कि पहले दो पेपर नकली डेटा पर आधारित हैं। मैं वास्तविक डेटा पर काम कर रहा हूं और RARELY I उन नकली मजबूत आउटलेरों को एक डेटा में पाया जा सकता है। मुझे व्यक्तिगत रूप से बहुत मजबूत आउटलेर्स के साथ डेटा सेट नहीं मिला। यदि आप कोई वास्तविक डेटा जानते हैं, तो कृपया साझा करने में संकोच न करें
लर्नर

हाय निमो: आपकी टिप्पणी के लिए धन्यवाद। वास्तव में, यह पता चलता है कि उन मॉडलों में से कई के लिए (दुख की बात है कि सभी) आउटलेयर के सबसे खराब संभव कॉन्फ़िगरेशन को वास्तव में नहीं जाना जाता है और ये विन्यास हैं जो आमतौर पर उन मॉडलों से अनुकरण और मूल्यांकन करेंगे। शायद आप इसे एक प्रश्न के रूप में तैयार कर सकते हैं? मुझे कुछ संदर्भों को इंगित करने में खुशी होगी!
user603

1
मैंने पहले ही एक सामान्य प्रश्न पूछा। आप यहाँ मेरी पोस्ट देख सकते हैं। आँकड़े ।stackexchange.com
शिक्षार्थी

13

मैं "किसी एक परीक्षण एल्गोरिथम को छोड़ दूंगा" (n डेटा की संख्या है):

i = 1 से n के लिए

  1. फेंकने के द्वारा प्राप्त डेटा सेट की एक घनत्व आकलन गणना दूरXi । (यह घनत्व अनुमान कुछ अनुमान के साथ किया जाना चाहिए यदि आयाम अधिक है, उदाहरण के लिए, एक गॉसियन धारणा जिसके लिए घनत्व का अनुमान आसान है: माध्य और सहसंयोजक)
  2. XiLi

के लिए अंत

Li

यह काम करेगा यदि n पर्याप्त रूप से बड़ा है ... आप "लीव आउट स्ट्रेटेजी" का भी उपयोग कर सकते हैं, जो तब अधिक हो सकता है जब आपके पास आउटलेर्स के "समूह" हों ...


यह उन मामलों से कैसे निपटेगा जहां आपको पता नहीं है कि आपके पास कितने आउटलेर हैं, यानी जब एन -1 अंक अभी भी एक पूर्वाग्रह है क्योंकि वे आउटलेर शामिल हैं?
बेंजामिन बैनियर

1
यदि n पर्याप्त रूप से बड़ा है और बाहर की संख्या छोटी है तो यह पूर्वाग्रह नगण्य है। यदि बड़ी संख्या में आउटलेर हैं, तो मैब आउट नहीं है और वैसे भी, जैसा कि मैंने उल्लेख किया है कि आप छुट्टी की रणनीति का उपयोग कर सकते हैं ... (इस मामले में, आपको सभी कॉन्फ़िगरेशनों को ट्रैक करने से बचने के लिए एक रणनीति का पता लगाना होगा जो हो सकता है NP सख्त हो ...) और यदि आप k को नहीं जानते हैं, तो आप k के लिए कई मान आज़मा सकते हैं और सबसे अधिक पुन: रख सकते हैं।
रॉबिन जिरार्ड 12

1
यह एक अच्छा विचार है, लेकिन अगर मैंने इसे सही ढंग से समझ लिया है, तो यह किसी बाहरी मूल्य में किसी अन्य मूल्य को शामिल करने के लिए "बाहरी" के विचार को बढ़ाना प्रतीत होता है जो दूसरों से दूर है। उदाहरण के लिए, बैच में {-110 [1] -90, 0, 90 [1] 110} 43 पूर्णांकों का, अपने प्रक्रिया 0 (जो की पहचान नहीं होता मंझला इन नंबरों की!) अद्वितीय के रूप में "बाहरी "?
whuber

@ अच्छा सवाल! संरचनात्मक धारणा के बिना शून्य को हटाया जा सकता है। हालाँकि आप यह मान सकते हैं कि वितरण एकरूप है और तदनुसार घनत्व की गणना करें। इस मामले में संरचनात्मक धारणा (असमानता) शून्य को "सामान्य" मान के रूप में देखने में मदद करेगी। अंत में आपको लगता है कि यह सामान्य है क्योंकि आपके पास उस प्रकार की "संरचनात्मक धारणा" आपके सिर में है :)?
रोबिन जिरार्ड

3
LiLi

12

आप न्यूनतम वॉल्यूम बाउंडिंग दीर्घवृत्त के समर्थन बिंदुओं के बीच "आउटलेयर" के लिए उम्मीदवार पा सकते हैं। ( कुशल एल्गोरिदम इन बिंदुओं को काफी उच्च आयामों में खोजने के लिए, बिल्कुल और लगभग दोनों, 1970 के दशक में कागजात के एक स्पेट में आविष्कार किए गए थे क्योंकि यह समस्या प्रयोगात्मक डिजाइन में एक प्रश्न के साथ अंतरंग रूप से जुड़ी हुई है।)


12

मैंने जो नॉवेल अप्रोच देखा, वह आईटी जॉलीफ प्रिंसिपल कंपोनेंट्स एनालिसिस द्वारा था । आप अपने डेटा पर एक पीसीए चलाते हैं (नोट: पीसीए अपने आप में एक उपयोगी डेटा अन्वेषण उपकरण हो सकता है), लेकिन पहले कुछ प्रमुख घटकों (पीसी) को देखने के बजाय, आप पिछले कुछ पीसी की साजिश रचते हैं। ये पीसी आपके वैरिएबल के बीच सबसे छोटे विचरण के साथ रैखिक संबंध हैं। इस प्रकार वे आपके डेटा में "सटीक" या सटीक बहुभिन्नरूपी संबंधों का पता लगाते हैं।

अंतिम पीसी के लिए पीसी स्कोर का एक प्लॉट प्रत्येक वेरिएबल पर व्यक्तिगत रूप से देखकर आसानी से पता लगाने योग्य नहीं दिखाएगा। एक उदाहरण ऊंचाई और वजन के लिए है - कुछ जिनके पास "औसत से अधिक" ऊंचाई है और "औसत से नीचे" वजन का पता ऊंचाई और वजन के अंतिम पीसी द्वारा लगाया जाएगा (यह मानते हुए कि ये सकारात्मक रूप से सहसंबद्ध हैं), भले ही उनकी ऊंचाई और वजन "नहीं थे" चरम "व्यक्तिगत रूप से (जैसे कोई व्यक्ति जो 180cm और 60kg था)।


11

मैंने किसी को भी प्रभाव कार्यों का उल्लेख नहीं देखा । मैंने इस विचार को पहली बार ज्ञानदेसिकान की बहुभिन्नरूपी पुस्तक में देखा ।

एक आयाम में एक बाहरी या तो एक बहुत बड़ा या एक बहुत छोटा मूल्य है। बहुभिन्नरूपी विश्लेषण में यह डेटा के थोक से हटाया गया अवलोकन है। लेकिन बाहरी के लिए चरम को परिभाषित करने के लिए हमें किस मीट्रिक का उपयोग करना चाहिए? कई विकल्प हैं। महालनोबिस की दूरी सिर्फ एक है। मुझे लगता है कि हर प्रकार की बाहरी चीजों की तलाश निरर्थक और उल्टा है। मैं पूछता हूं कि आप बाहरी लोगों की परवाह क्यों करते हैं? एक मतलब का अनुमान लगाने में वे उस अनुमान पर काफी प्रभाव डाल सकते हैं। मजबूत अनुमान लगाने वाले वजन घटाते हैं और बाहरी लोगों को समायोजित करते हैं लेकिन वे औपचारिक रूप से उनके लिए परीक्षण नहीं करते हैं। अब प्रतिगमन में, आउटलेयर - जैसे लीवरेज अंक - मॉडल में ढलान मापदंडों पर बड़े प्रभाव हो सकते हैं। Bivariate डेटा के साथ वे अनुमानित सहसंबंध गुणांक को प्रभावित कर सकते हैं और तीन या अधिक आयामों में एकाधिक सहसंबंध गुणांक को प्रभावित कर सकते हैं।

हैम्पल द्वारा प्रभाव कार्यों को मजबूत अनुमान में एक उपकरण के रूप में पेश किया गया था और मैलोव ने एक अच्छा अप्रकाशित पत्र लिखा था जो उनके उपयोग की वकालत करता था। प्रभाव फ़ंक्शन उस बिंदु का एक फ़ंक्शन है जो आप एन-डायमेंशनल स्पेस और पैरामीटर में हैं। यह अनिवार्य रूप से गणना में बिंदु के साथ पैरामीटर अनुमान के बीच के अंतर को मापता है और बिंदु के बाहर छोड़ दिया है। दो अनुमानों की गणना करने और अंतर लेने की परेशानी के बजाय, अक्सर आप इसके लिए एक सूत्र प्राप्त कर सकते हैं। फिर निरंतर प्रभाव के संदर्भ आपको उस दिशा को बताते हैं जो इस पैरामीटर के अनुमान के संबंध में चरम है और इसलिए आपको बताता है कि बाहरी क्षेत्र की तलाश करने के लिए एन-डायमेंशनल स्पेस में कहां है।

अधिक के लिए आप अमेरिकन जर्नल ऑफ मैथमैटिकल एंड मैनेजमेंट साइंसेज में 1983 के मेरे पत्र को देख सकते हैं जिसका शीर्षक है "डेटा सत्यापन के लिए प्रभाव समारोह और इसके अनुप्रयोग।" डेटा सत्यापन में हम आउटलेर्स की तलाश करना चाहते थे जो डेटा के इच्छित उपयोग को प्रभावित करते थे। मेरी भावना यह है कि आपको अपना ध्यान बाहरी लोगों पर केंद्रित करना चाहिए जो उन मापदंडों को बहुत प्रभावित करते हैं जिन्हें आप अनुमान लगाने में रुचि रखते हैं और दूसरों की परवाह न करें।


1
+1 बहुत अच्छा विचार, विशेष रूप से विश्लेषण के उद्देश्य पर लगातार ध्यान केंद्रित करने के लिए।
whuber

इसी तरह का विचार रैंडम सैंपल कंसेशन ( RANSAC ) है।
जियोमैट

8

यह एक ओवरशूट हो सकता है, लेकिन आप डेटा पर एक असुरक्षित रैंडम फ़ॉरेस्ट को प्रशिक्षित कर सकते हैं और आउटलेर का पता लगाने के लिए ऑब्जेक्ट निकटता उपाय का उपयोग कर सकते हैं। अधिक जानकारी यहाँ



7

मध्यम आयामों के लिए, 3 की तरह, फिर कुछ प्रकार के कर्नेल क्रॉस-सत्यापन तकनीक के रूप में सुझाव दिया गया है कि कहीं और उचित लगता है और सबसे अच्छा है कि मैं इसके साथ आ सकता हूं।

उच्च आयामों के लिए, मुझे यकीन नहीं है कि समस्या हल हो सकती है; यह सुंदर रूप से 'शाप-की-आयामीता' क्षेत्र में है। मुद्दा यह है कि डिस्टेंस फ़ंक्शंस बहुत तेज़ी से बहुत बड़े मूल्यों में परिवर्तित होते हैं, जैसे कि आप आयाम बढ़ाते हैं, जिसमें वितरण से प्राप्त दूरी भी शामिल है। यदि आप एक बाहरी रूप को "दूसरों के सापेक्ष तुलनात्मक रूप से बड़ी दूरी के कार्य के साथ एक बिंदु" के रूप में परिभाषित कर रहे हैं, और आपके सभी दूरस्थ कार्य अभिसरण करने लगे हैं क्योंकि आप एक उच्च-आयामी स्थान में हैं, ठीक है, आप मुसीबत में हैं ।

कुछ प्रकार की वितरण संबंधी धारणा के बिना जो आपको इसे एक संभाव्य वर्गीकरण समस्या में बदल देगा, या कम से कम कुछ रोटेशन जो आपको "शोर आयाम" और "सूचनात्मक आयाम" में अपना स्थान अलग करने की अनुमति देते हैं, मुझे लगता है कि उच्च-आयामी रिक्त स्थान की ज्यामिति किसी भी आसान या कम से कम मजबूत - बाहरी लोगों की पहचान पर रोक लगाने जा रहा है।


मैंने पहले से ही जो प्रक्रिया दी है उसे बड़े आयाम में लागू किया जा सकता है, जैसा कि मैंने कहा, एक गाऊसी धारणा का उपयोग करके। यदि आयाम वास्तव में नमूना आकार (यानी p >> n) के संबंध में बड़ा है, तो आप कुछ विरल धारणा बना सकते हैं (मान लें कि आपके गाऊसी वितरण के पैरामीटर उदाहरण के लिए कम आयामी स्थान में हैं) और थ्रेसहोल्ड अनुमान प्रक्रिया का उपयोग करें मापदंडों के अनुमान के लिए ...
रॉबिन जिरार्ड

1
बहुत ही व्यावहारिक है कि आयामीता का अभिशाप वितरण मान्यताओं के बिना एक समाधान को रोकता है (जब तक कि आपके पास केवल डेटा की मात्रा नहीं है या आयाम छोटा है)
जॉन रॉबर्टसन

6

मुझे यकीन नहीं है कि जब आप कहते हैं कि आप का मतलब है कि आप एक प्रतिगमन समस्या के बारे में नहीं सोच रहे हैं, लेकिन "सच बहुभिन्नरूपी डेटा"। मेरी प्रारंभिक प्रतिक्रिया महालनोबिस दूरी की गणना करने के लिए होगी क्योंकि इसके लिए आपको किसी विशेष IV या DV को निर्दिष्ट करने की आवश्यकता नहीं है, लेकिन इसके मूल (जहां तक ​​मैं इसे समझता हूं) यह एक लीवरेज स्टैटिस्टिक से संबंधित है।


हां, मैं डेटा के माध्य से प्रत्येक अवलोकन की महालनोबिस दूरी की गणना कर सकता हूं। लेकिन औसत से सबसे बड़ी दूरी के साथ टिप्पणियों को आवश्यक रूप से बहुभिन्नरूपी आउटलेयर नहीं है। उच्च सहसंबंध के साथ एक द्विभाजित प्रकीर्णन के बारे में सोचो। एक मुखर बिंदु के मुख्य बादल के बाहर हो सकता है, लेकिन इस मतलब से दूर नहीं।
रोब हंडमैन

5

मुझे पता नहीं है कि कोई भी ऐसा कर रहा है, लेकिन मैं आम तौर पर इस तरह की समस्या होने पर आयामी कमी की कोशिश करना पसंद करता हूं। आप कई गुना सीखने या गैर-रैखिक आयामीता कमी से एक विधि में देख सकते हैं ।

एक उदाहरण एक कोहेनन मानचित्र होगा । R का एक अच्छा संदर्भ है "R: द कोहेन पैकेज में सेल्फ- और सुपर-ऑर्गनाइजिंग मैप्स"


4

मेरी पहली प्रतिक्रिया यह होगी कि यदि आप डेटा पर बहुभिन्नरूपी प्रतिगमन कर सकते हैं, तो उस प्रतिगमन से अवशिष्टों का उपयोग करके आउटलेयर को स्पॉट कर सकते हैं। (मुझे पता है कि आपने कहा था कि यह एक प्रतिगमन समस्या नहीं है, इसलिए यह आपकी मदद नहीं कर सकता, क्षमा करें!)

मैं इनमें से कुछ को एक Stackoverflow प्रश्न से कॉपी कर रहा हूँ जिसका मैंने पहले उत्तर दिया है जिसमें कुछ उदाहरण R कोड है

सबसे पहले, हम कुछ डेटा बनाएंगे, और फिर उसे एक स्पष्ट रूप से बताएंगे;

> testout<-data.frame(X1=rnorm(50,mean=50,sd=10),X2=rnorm(50,mean=5,sd=1.5),Y=rnorm(50,mean=200,sd=25)) 
> #Taint the Data 
> testout$X1[10]<-5 
> testout$X2[10]<-5 
> testout$Y[10]<-530 

> testout 
         X1         X2        Y 
1  44.20043  1.5259458 169.3296 
2  40.46721  5.8437076 200.9038 
3  48.20571  3.8243373 189.4652 
4  60.09808  4.6609190 177.5159 
5  50.23627  2.6193455 210.4360 
6  43.50972  5.8212863 203.8361 
7  44.95626  7.8368405 236.5821 
8  66.14391  3.6828843 171.9624 
9  45.53040  4.8311616 187.0553 
10  5.00000  5.0000000 530.0000 
11 64.71719  6.4007245 164.8052 
12 54.43665  7.8695891 192.8824 
13 45.78278  4.9921489 182.2957 
14 49.59998  4.7716099 146.3090 
<snip> 
48 26.55487  5.8082497 189.7901 
49 45.28317  5.0219647 208.1318 
50 44.84145  3.6252663 251.5620 

यह अक्सर डेटा को रेखांकन की जांच करने के लिए सबसे उपयोगी होता है (आप मस्तिष्क गणित की तुलना में आउटलेयर को पहचानने में बहुत बेहतर है)

> #Use Boxplot to Review the Data 
> boxplot(testout$X1, ylab="X1") 
> boxplot(testout$X2, ylab="X2") 
> boxplot(testout$Y, ylab="Y") 

फिर आप लंड टेस्ट (देखें लुंड, आरई 1975, "लीनियर मॉडल्स में आउटलेर्स के लिए एक अनुमानित टेस्ट के लिए टेबल्स", टेक्नोमेट्रिक्स, वॉल्यूम 17, नंबर 4, पीपी। 473 का उपयोग करके महत्वपूर्ण कट ऑफ वैल्यू की गणना करने के लिए आंकड़ों का उपयोग कर सकते हैं। -476। और प्रेस्कॉट, पी। 1975, "लीनियर मॉडल्स में आउटलेर्स के लिए एक अनुमानित टेस्ट", टेक्नोमेट्रिक्स, वॉल्यूम 17, नंबर 1, पीपी। 129-132।)

> #Alternative approach using Lund Test 
> lundcrit<-function(a, n, q) { 
+ # Calculates a Critical value for Outlier Test according to Lund 
+ # See Lund, R. E. 1975, "Tables for An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 4, pp. 473-476. 
+ # and Prescott, P. 1975, "An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 1, pp. 129-132. 
+ # a = alpha 
+ # n = Number of data elements 
+ # q = Number of independent Variables (including intercept) 
+ F<-qf(c(1-(a/n)),df1=1,df2=n-q-1,lower.tail=TRUE) 
+ crit<-((n-q)*F/(n-q-1+F))^0.5 
+ crit 
+ } 

> testoutlm<-lm(Y~X1+X2,data=testout) 

> testout$fitted<-fitted(testoutlm) 

> testout$residual<-residuals(testoutlm) 

> testout$standardresid<-rstandard(testoutlm) 

> n<-nrow(testout) 

> q<-length(testoutlm$coefficients) 

> crit<-lundcrit(0.1,n,q) 

> testout$Ynew<-ifelse(testout$standardresid>crit,NA,testout$Y) 

> testout 
         X1         X2        Y    newX1   fitted    residual standardresid 
1  44.20043  1.5259458 169.3296 44.20043 209.8467 -40.5171222  -1.009507695 
2  40.46721  5.8437076 200.9038 40.46721 231.9221 -31.0183107  -0.747624895 
3  48.20571  3.8243373 189.4652 48.20571 203.4786 -14.0134646  -0.335955648 
4  60.09808  4.6609190 177.5159 60.09808 169.6108   7.9050960   0.190908291 
5  50.23627  2.6193455 210.4360 50.23627 194.3285  16.1075799   0.391537883 
6  43.50972  5.8212863 203.8361 43.50972 222.6667 -18.8306252  -0.452070155 
7  44.95626  7.8368405 236.5821 44.95626 223.3287  13.2534226   0.326339981 
8  66.14391  3.6828843 171.9624 66.14391 148.8870  23.0754677   0.568829360 
9  45.53040  4.8311616 187.0553 45.53040 214.0832 -27.0279262  -0.646090667 
10  5.00000  5.0000000 530.0000       NA 337.0535 192.9465135   5.714275585 
11 64.71719  6.4007245 164.8052 64.71719 159.9911   4.8141018   0.118618011 
12 54.43665  7.8695891 192.8824 54.43665 194.7454  -1.8630426  -0.046004311 
13 45.78278  4.9921489 182.2957 45.78278 213.7223 -31.4266180  -0.751115595 
14 49.59998  4.7716099 146.3090 49.59998 201.6296 -55.3205552  -1.321042392 
15 45.07720  4.2355525 192.9041 45.07720 213.9655 -21.0613819  -0.504406009 
16 62.27717  7.1518606 186.6482 62.27717 169.2455  17.4027250   0.430262983 
17 48.50446  3.0712422 228.3253 48.50446 200.6938  27.6314695   0.667366651 
18 65.49983  5.4609713 184.8983 65.49983 155.2768  29.6214506   0.726319931 
19 44.38387  4.9305222 213.9378 44.38387 217.7981  -3.8603382  -0.092354925 
20 43.52883  8.3777627 203.5657 43.52883 228.9961 -25.4303732  -0.634725264 
<snip> 
49 45.28317  5.0219647 208.1318 45.28317 215.3075  -7.1756966  -0.171560291 
50 44.84145  3.6252663 251.5620 44.84145 213.1535  38.4084869   0.923804784 
       Ynew 
1  169.3296 
2  200.9038 
3  189.4652 
4  177.5159 
5  210.4360 
6  203.8361 
7  236.5821 
8  171.9624 
9  187.0553 
10       NA 
11 164.8052 
12 192.8824 
13 182.2957 
14 146.3090 
15 192.9041 
16 186.6482 
17 228.3253 
18 184.8983 
19 213.9378 
20 203.5657 
<snip> 
49 208.1318 
50 251.5620 

Obviosuly में लंड टेस्ट (मन की बात) की तुलना में अन्य बाहरी परीक्षण हैं, लेकिन मुझे यकीन नहीं है कि जो मल्टीवेरिएट डेटा के लिए बेहतर हैं।


1
Univariate बॉक्सप्लेट्स univariate आउटलेर्स को स्पॉट करने के लिए उपयोगी होते हैं। लेकिन वे पूरी तरह से बहुभिन्नरूपी आउटलेयर को याद कर सकते हैं। प्रतिगमन विचार ठीक है अगर मेरे पास वाई और एक्स चर का एक गुच्छा था। लेकिन जैसा कि मैंने सवाल में कहा, कोई वाई नहीं है इसलिए प्रतिगमन अनुचित है।
रोब हंडमैन

@ रोबहंडमैन - एक वाई को ठीक कर सकता है (इसे स्थिर बना सकता है) और एक अवरोधन के बिना एक बहु-प्रतिगमन को मॉडल करने का प्रयास कर सकता है । यह अभ्यास में खूबसूरती से काम करता है। संक्षेप में, यह एक मूलभूत रूप से अनसुलझी समस्या को बदल देता है, जो कि एक विशिष्ट विसंगति का पता लगाने वाली एक निगरानी में है।
अरीफ

@ हरिफल दिलचस्प। क्या आपके पास इसके लिए कोई संदर्भ है?
रोब ह्यंडमैन

@RobHyndman एक अकादमिक पेपर नहीं, लेकिन शायद बेहतर है, आप इसे स्वयं आज़मा सकते हैं। मेरा github पृष्ठ vw-top-errors@ goo.gl/l7SLlB पर देखें (ध्यान दें कि वहां के उदाहरणों में Y है, लेकिन मैंने एक ही तकनीक का उपयोग किया है, बहुत ही सफलतापूर्वक
अनचाही

1

उपरोक्त जवाबों में से एक महालनोबिस दूरियों में छुआ .... शायद आगे कदम और एक साथ विश्वास अंतराल की गणना आउटलेर्स का पता लगाने में मदद करेगी!

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.