किसी को लॉग फ़ाइल में पैटर्न दोहराने पर पता लगाने और रिपोर्ट करने के लिए किसी उपकरण का पता है? [बन्द है]

Question

मुझे जावा एप्लिकेशन (log4j) से कुछ बड़े शोर लॉग फ़ाइलों (500 मी / दिन) की निगरानी करने की आवश्यकता है। अभी मैं मैन्युअल रूप से फाइलों को देखता हूं, "ERROR" और इतने पर। हालाँकि यह एक उपकरण के लिए फ़ाइल में दोहराए जाने वाले पैटर्न को स्पॉट करने, उन्हें गिनने और व्यक्तिगत प्रविष्टियों के विवरण के लिए ड्रिल प्रदान करने के लिए संभव होना चाहिए। किसी को भी इस तरह के एक उपकरण का पता है? एक पाठ या वेब आधारित यूआई अच्छा होगा।

Comments

मेरे लिए यह सवाल बिल्कुल चिल्लाता है perl।

— जॉन गार्डनियर्स

हम्म इसकी शुरुआत मुझे ऐसी लग रही है जैसे मुझे बहुत सारे ग्रेस के साथ बैश स्क्रिप्ट लिखनी होगी। मैं अपने आप पैटर्न के बारे में कुछ जानने की उम्मीद कर रहा था।

— डेविड टिंकर

गंभीरता से, यह वही है जो पर्ल के लिए बनाया गया था। आप उन पैटर्न के लिए एक स्व-शिक्षण स्क्रिप्ट लिख सकते हैं, हालांकि यह स्पष्ट रूप से यहां से बाहर है।

— जॉन गार्डनियर्स

stackoverflow.com/questions/2590251/… का चैन्सॉ नामक एक समाधान है।

— जॉन उर्फ ​​हॉट

datadoghq.com/blog/log-patterns <- अत्यधिक अनुशंसा करते हैं, लेकिन पागल महंगा नहीं है, लेकिन यह सुपर सस्ता भी नहीं है।

— नियोकैल जूल 28'19

Answer 1

मैंने लोगों के बारे में सुना है कि वे लॉग फाइल पर बायेसियन फ़िल्टरिंग को दिलचस्प सामान बनाम रूटीन लॉग प्रविष्टियों के लिए स्थान देते हैं। उन्होंने स्पैम फिल्टर का उपयोग किया, जहां नियमित रूप से निर्बाध प्रविष्टियों को "अच्छा" माना जाता था, जबकि असामान्य लोगों को "स्पैम" के रूप में माना जाता था और उस रंग का उपयोग करके वे शिफ्ट करने में सक्षम थे।

यह मुझे मशीन सीखने के सामान की तरह लगता है, लेकिन फिर मैंने इसे कार्रवाई में नहीं देखा है, केवल बियर के बारे में सुना है।

Comments

यह मेरे लिए पूरी तरह से उचित लगता है, और आपके पास कुछ मजबूत पूर्व धारणाएं भी हो सकती हैं (बायेसियन अर्थ में) कुछ शब्दों के बारे में जो हमेशा सर्वर लॉग में दिखाई देते हैं ।

— DrewConway

हां, यह काम करेगा। किसी को एक कार्यान्वयन पता है कि मैं प्रशिक्षित कर सकता हूं?

— डेविड टिंकर

एक CRM114 के साथ शुरू हो सकता है मुझे लगता है। या रुको जब तक ड्रू कॉनवे हैकर्स के लिए अपनी मशीन लर्निंग प्रकाशित नहीं करता । मैं अभी भी मूल प्रस्ताव को खोजने के लिए काम कर रहा हूं जो मैंने प्रस्तावित किया था।

— अडामो

हां! मैंने इसे 2005 में इस ऋषि-सदस्यों के धागे में पढ़ा । ईमेल के लेखक ने स्पैमरोब का उल्लेख किया है ।

— adamo

Answer 2

स्पंक इस तरह के सामान के लिए अद्भुत काम करता है। मैं इसका उपयोग आंतरिक रूप से सभी लॉग को इकट्ठा करने और अपने उत्कृष्ट ब्राउज़र-आधारित इंटरफ़ेस के माध्यम से त्वरित खोज करने के लिए करता हूं।

Comments

दुर्भाग्य से हमें संभवतः गैर-मुक्त संस्करण और इसके थोड़े महंगे होने की आवश्यकता होगी

— डेविड टिंकर

Answer 3

syslog- एनजी में एक संरक्षक नाम की सुविधा है। आप पैटर्न बना सकते हैं और लॉग एंट्री को वास्तविक समय में उनसे मिलान कर सकते हैं और फिर उन प्रविष्टियों को अलग लॉगफाइल्स में भेज सकते हैं।

Answer 4

Syslog-ng और patterndb (+1 से उस उत्तर के ऊपर) में देखने के दौरान, मुझे ELSA नामक एक वेब-आधारित टूल का सामना करना पड़ा: http://code.google.com/p/enterprise-log-search-and-archive/ । यह वेब इंटरफ़ेस के साथ पर्ल में एफ / ओएसएस है, और वास्तव में तेज़ होना चाहिए।

मैंने इसे अभी तक आज़माया नहीं है, लेकिन एक बार जब मैंने patterndb का उपयोग करके फ़िल्टर किया है, तो मैं ELSA की कोशिश करूँगा।

Answer 5

पेटिट की कोशिश करो ।
मुझे यकीन नहीं है कि यह log4j प्रारूप के साथ काम करेगा, लेकिन आप इसके लिए एक कस्टम फ़िल्टर लिखने में सक्षम हो सकते हैं।
पेटिट का कोई वेब इंटरफ़ेस नहीं है, यह आपके शेल (ASCII कला ftw!) में ग्राफ़ प्रदर्शित करता है।
संदेशों को जल्दी से देखना और जब वे हुए या अधिक बार होना शुरू हुआ तो यह देखना बहुत उपयोगी है।

Answer 6

यदि आप अपने सर्वर पर डेबियन / निचोड़ का उपयोग कर रहे हैं, तो log2mail पर एक नज़र डालें: http://packages.debian.org/squeeze/log2mail

Answer 7

Glogg एक बहुत अच्छा लॉग एक्सप्लोरर है क्योंकि आपके पास स्ट्रिंग और कलर लाइन पर फ़िल्टर बेस बनाने या किसी स्ट्रिंग में सभी घटना को पुनः प्राप्त करने की संभावना है।

http://glogg.bonnefon.org/

Answer 8

स्प्लंक आमतौर पर इसके लिए एक अच्छा समाधान है। लेकिन आपने उल्लेख किया कि यह आपके लिए बहुत महंगा है। तो मैं आपको Logstash या GreyLog देखने की सलाह देता हूं ।

Answer 9

आप SEQREL के लॉगएक्सटेंडर की कोशिश कर सकते हैं, जो स्वचालित रूप से पैटर्न का पता लगाता है और समान लॉग को एकत्र करता है। जिस तरह से यह मक्खी पर नियमित अभिव्यक्ति बनाने और कैश्ड रेगेक्स का उपयोग करके अन्य लॉग से मिलान करने के लिए है। अतिरिक्त टैक्सोनॉमी डिटेक्शन के साथ अधिक ग्रैन्युलैरिटी को जोड़ा जा सकता है। एक मुफ्त संस्करण https://try.logxtender.net के तहत डाउनलोड किया जा सकता है ।