स्प्लंक के विकल्प?


76

मैं स्प्लंक से बहुत प्रभावित हूं , विशेष रूप से संस्करण 4. सुंदर रेखांकन, सतर्क (केवल एंटरप्राइज), और तेज, सटीक, खोज। यह एक महान उत्पाद है।

हालांकि, हमारी कंपनी के लिए पूर्ण उत्पादन उपयोग के लिए लागत पर विचार करने का तरीका बहुत अधिक है। हम सभी को वास्तव में एक केंद्रीय स्थान में विभिन्न लॉग्स को अनुक्रमित करने में सक्षम होना चाहिए, और उस पर उचित खोज करना होगा। सहेजे गए खोज के आधार पर अलर्ट होना वास्तव में अच्छा है। हम वास्तव में उससे आगे नहीं जाते हैं।

वास्तव में, हमारा सबसे बड़ा उपयोग नए अनुप्रयोगों को तैनात करने में किया गया है। सब कुछ लॉग 4नेट के माध्यम से लॉग ऑन हो जाता है या तो विंडोज पर इवेंट लॉग या लिनक्स पर एक पाठ फ़ाइल। स्प्लंक यह बहुत आसान बनाता है कि उन सभी को जल्दी से खोज सकें ताकि यह सुनिश्चित हो सके कि ऐप के सभी हिस्से ठीक काम कर रहे हैं - जो हमें व्यक्तिगत लॉगिंग स्रोतों के शिकार बनाम समय के टन की बचत होती है।

इस बाजार में क्या विकल्प मौजूद हैं? मेरे पास एक डूबने वाला एहसास है स्प्लंक की कीमत इतनी अधिक है क्योंकि उनके पास अब तक का सबसे अच्छा उत्पाद है, और वे इसे जानते हैं। हम चाहते हैं कि सर्वर विंडोज पर चले।

मैं सामान्य विभाजन के लिए एक उत्पाद (syslog / Snare के माध्यम से इकट्ठा), और हमारे कस्टम ऐप्स (जैसे Log4Net डैशबोर्ड ) के लिए एक समर्पित उत्पाद का उपयोग करके एक विभाजित मॉडल के लिए खुला रहूंगा

एक सरल syslog सर्वर का उपयोग करेगा जैसे कि कीवी, SQL सर्वर (शायद फुलटेक्स सक्षम) के साथ काम करने के लिए भेजा?

मुझे उम्मीद है कि लागत 5 आंकड़ों के तहत अच्छी होनी चाहिए, USD। (और हां, मुझे पता है, हम सस्ते हैं। हम कम पैसे वाले स्टार्टअप हैं, और बिज़स्पार्क हमारे सभी एमएस लाइसेंसिंग का ख्याल रखता है।)

संपादित करें: मुझे जोड़ना चाहिए, हमारे पास लगभग 10 भौतिक सर्वर, 20 वीएम और एक जोड़ी फायरवॉल और स्विच हैं। 90% विंडोज है।


यह एसओ पोस्ट भी देखें: stackoverflow.com/questions/183977/…
वॉरेन

बिज़स्पार्क क्या कवर करता है? सिस्टम केंद्र श्रृंखला सामान्य विंडोज निगरानी मार्ग की तरह लगता है, विशेष रूप से संचालन प्रबंधक ...
ओस्कर डुवॉर्न

स्प्लंक मूल्य निर्धारण, वैसे भी क्या है ? मैंने इसे अपनी वेबसाइट पर नहीं देखा ...?
पीटर मिज

9
स्पंक प्राइसिंग खतरनाक है! अनुक्रमणिका के लिए 5gb / दिन का डेटा $ 30K से अधिक है। (किसी भी कंपनी से सावधान रहें जो अपनी वेब साइट पर मूल्य निर्धारण पोस्ट नहीं करता है!)
samsmith

जवाबों:


30

नोट: यह सब लिनक्स और मुफ्त सॉफ्टवेयर के बारे में है , जैसा कि मैं ज्यादातर उपयोग करता हूं, लेकिन आपको लिनक्स syslog सर्वर पर लॉग भेजने के लिए विंडोज पर एक syslog क्लाइंट के साथ ठीक होना चाहिए।

SQL सर्वर में लॉगिंग: केवल ~ 30 मशीनों के साथ, आपको किसी भी केंद्रीकृत syslog- एक जैसे और SQL बैकएंड के साथ ठीक होना चाहिए। मैं इस बहुत बात के लिए लिनक्स पर syslog- एनजी और MySQL का उपयोग करता हूं ।

रेखांकन के लिए सुंदर दृश्य मुख्य समस्या है - ऐसा लगता है कि बहुत सारे हैक-अप फ्रंट-एंड हैं जो लॉग से आइटम को पकड़ लेंगे और दिखा देंगे कि कितने हिट, अलर्ट आदि हैं, लेकिन मैंने कुछ भी एकीकृत और साफ नहीं पाया है। मुख्य रूप से यह मुख्य चीज है जिसे आप ढूंढ रहे हैं ... (यदि मुझे कुछ भी अच्छा लगता है तो मैं इस अनुभाग को अपडेट करूंगा!)

चेतावनी : मैं एक Linux सर्वर पर SEC का उपयोग लॉग में हो रही बुरी चीजों को खोजने और विभिन्न तरीकों से मुझे सचेत करने के लिए करता हूं। यह अविश्वसनीय रूप से लचीला है और स्प्लंक के रूप में clicky नहीं है। यहाँ एक अच्छा ट्यूटोरियल है जो बहुत सारी संभावित सुविधाओं के माध्यम से मार्गदर्शन करता है।

मैं विभिन्न आँकड़ों के ग्राफ़ के लिए Nagios का उपयोग करता हूं और कुछ अलर्ट करता हूं जो मुझे लॉग से नहीं मिलता है (जैसे कि सेवाओं के डाउन होने पर आदि)। यह आसानी से आप की तरह कुछ के रेखांकन जोड़ने के लिए अनुकूलित किया जा सकता है। मैंने आइटमों के ग्राफ़ को एक http सर्वर पर किए गए हिट्स की संख्या जैसे जोड़ दिए हैं, एजेंट ने लॉग में हिट की संख्या की गणना करने के लिए check_logfiles प्लगइन का उपयोग करके (यह प्रत्येक चेक अवधि के लिए उठने वाली स्थिति को बचाता है)।

कुल मिलाकर, यह इस बात पर निर्भर करता है कि इसे सेट करने में आपका कितना समय लगेगा , क्योंकि ऐसे कई विकल्प हैं, जिनका आप उपयोग कर सकते हैं, लेकिन वे स्प्लंक के रूप में एकीकृत नहीं हैं और संभवतः आपको जो भी चाहिए उसे प्राप्त करने के लिए अधिक प्रयास की आवश्यकता होगी। Nagios रेखांकन सेट अप करने के लिए सीधे हैं, लेकिन आप ग्राफ जोड़ने से पहले आपको ऐतिहासिक डेटा नहीं देते हैं, जबकि Splunk (और संभवतः अन्य फ्रंट-एंड्स) के साथ आप पिछले लॉग और ग्राफ़ चीजों पर वापस देख सकते हैं, जो आपने अभी-अभी उन पर गौर करने की सोची।

यह भी ध्यान दें कि SQL डेटाबेस प्रारूप और अनुक्रमण का प्रश्नों की गति पर बहुत अधिक प्रभाव पड़ेगा, इसलिए आपके पूर्ण अनुक्रमणिका के विचार से खोजों की गति में जबरदस्त वृद्धि होगी। मुझे यकीन नहीं है कि MySQL या PostgreSQL कुछ ऐसा ही करेगा।

संपादित करें : MySQL फुलटेक्स इंडेक्सिंग करेगा, लेकिन केवल MySQL 5.6 से पहले MyISAM तालिकाओं पर5.6 में InnoDB के लिए समर्थन जोड़ा गया था

संपादित करें : Postgresql पाठ्यक्रम की पूरी पाठ खोज कर सकता है: http://www.postgresql.org/docs/9.0/static/textsearch.html


7

खिड़कियों की तुलना में अधिक * निक्स का लक्ष्य है, लेकिन ऑक्टोपसी खिड़कियों का समर्थन करता है, और स्पंक के रूप में एक ही तरह का लक्ष्य बनाता है।


लिंक टूट गया है। क्या आप कृपया इसे ठीक कर सकते हैं?
मार्टिज़न हेमेल्स

लिंक यहाँ काम कर रहा है।
15in पर 3dinfluence

मैंने इसे संपादित किया। हालांकि, सही लिंक का पता लगाना बिल्कुल मुश्किल नहीं था।
सियान

9
हाँ ... मैं एक वेबसाइट के साथ दौरा नहीं कर रहा हूँ 8pussyडोमेन नाम में काम पर
मार्क हेंडरसन

6

मैं कई निगरानी समाधानों की कोशिश कर रहा हूं - लेकिन मैं मुख्य रूप से खिड़कियों की निगरानी करना चाहता हूं। अधिकांश सिस्टम एसएनएमपी निगरानी के लिए तैयार किए जाते हैं जो एजेंटों के बिना जानकारी की एक उल्लेखनीय राशि को बाहर निकालने का प्रबंधन करते हैं।

ये कुछ सिस्टम हैं जिन्हें मैंने अब तक आज़माया है:

नागिओस - खुला स्रोत। कॉन्फ़िगर करने के लिए एक सूअर लेकिन अत्यधिक रेटेड और बहुत लचीला लगता है। यह अनिवार्य रूप से एक काउंटर रिकॉर्डर लगता है और दूरस्थ स्क्रिप्ट निष्पादन की अनुमति नहीं देता है और इसलिए इसे कॉन्फ़िगरेशन समस्याओं, अला एमएस सिस्टम सेंटर या कसीया पर लेने के लिए उपयोग नहीं किया जा सकता है। एजेंट रहित लेकिन अनिवार्य रूप से प्रत्येक क्लाइंट पर स्थापित NSclient टूल के बिना बेकार है।

Cacti - सुंदर और सरल रेखांकन उपकरण खींचने के आंकड़े पर आधारित है। Agentless।

OpsView - नागियोस पर आधारित लेकिन कॉन्फ़िगर करने में आसान और बेहतर फ्रंट एंड है।

HypericHQ - विंडोज के तहत उठना और चलाना आसान। आधार संस्करण मुफ़्त है और बहुत कुछ करता है। एक वाणिज्यिक HypericHQ उद्यम है। एजेंट को प्रत्येक क्लाइंट पर स्थापित करना होगा।

Zabbix - एक और अच्छा निगरानी उपकरण। नगिओस की तुलना में इसका उपयोग आसान है। एक एजेंट है जिसे आप विंडोज़ और क्लाइंट मशीनों पर स्थापित कर सकते हैं। मैंने केवल इस एक को थोड़ा सा खोजा है।

ज़ेनॉस - ओपन सोर्स। मैं बहुत प्रभावित हुआ हूं कि ज़ेनॉस कितना पेशेवर है। यह एक एसएनएमपी आधारित मॉनीटर है और इसमें एचपी प्रोलिएंट्स, विंडोज सर्विसेज, एमएस एसक्यूएल सर्वर, मयंकल की निगरानी की अनुमति के लिए एक्सटेंशन का भार है। सभी एक्सटेंशन एसएनएमपी के माध्यम से काम करते हैं इसलिए क्लाइंट मशीनों पर कुछ भी स्थापित करने की आवश्यकता नहीं है। मैंने यह सब अभी तक नहीं पता लगाया है और बहुत अधिक कार्यक्षमता प्रतीत होती है जिसका मुझे अभी तक फायदा उठाना है। यह Zope पर आधारित है, जब तक कि आप Zope installs पर गति करने के लिए तैयार नहीं हैं, मैं पहले से तैयार VM को डाउनलोड करने की सलाह दूंगा - यह बॉक्स से सीधे सपने की तरह काम करता है।

वाणिज्यिक मोर्चे पर आप कुछ उपकरणों पर एक नज़र डाल सकते हैं:

Kaseya - 250 नोड्स के लिए प्रति वर्ष लगभग 6k खर्च होता है, अगर मुझे सही ढंग से याद है, लेकिन एक शानदार उपकरण है और इसमें एक बहुत ही सक्रिय समुदाय है। इसके msp बाजार के उद्देश्य से और कई कंपनियों के सिस्टम की निगरानी की अनुमति देता है। इसका उपयोग बिना किसी समस्या के आंतरिक रूप से किया जा सकता है।

GFI हाउंडडॉग - Kaseya की तुलना में सरल लेकिन इस समय बहुत सस्ता है। निश्चित रूप से देखने लायक।

वहाँ कई समाधान हैं जो MSP सिस्टम के रूप में बेचे जाते हैं लेकिन जो अनिवार्य रूप से मॉनिटर किए जाते हैं + रिमोट एडमिन संयुक्त।

इयान


6

बहुत सारी महान विशेषताओं के साथ केंद्रीकृत syslog के लिए मैं मदद नहीं कर सकता, लेकिन rsyslog को पर्याप्त रूप से सुझा सकता हूं । इसका एक ओपन सोर्स syslog सर्वर है जो नियमित रूप से नियमित syslogd जिसे आप जानते हैं और प्यार करते हैं के लिए ड्रॉप-इन के रूप में काम कर सकते हैं। इसकी अब उबंटू के लिए पसंद का सिसलॉग डेमॉन है और मुझे लगता है कि रेड हैट और फेडोरा उस रास्ते से भी नीचे जा सकते हैं। मैंने इसके आलॉट को उठना और चलाना आसान कर दिया है और जो आप चाहते हैं कि वह syslog- एनजी है।

वर्तमान में हमारी दुकान में हमें दो केंद्रीय rsyslog सर्वर (प्रत्येक साइट में एक) मिला है जो सैकड़ों सर्वरों के लिए लॉग प्राप्त करता है। जब भी syslog ट्रिगर्स अलर्ट या हाई (कुछ ट्विकिंग के साथ, कुछ ऐप्स थोड़े सतर्क होते हैं) में मुझे स्वचालित ईमेल अलर्ट मिला है। मैं शायद कुछ और स्मार्ट कर सकता था जैसे कि नागों को सामान भेजना या ऐसा होना लेकिन यह हमें अभी के लिए हमारी जरूरतों के लिए पर्याप्त रूप से कवर करता है।

यह सब एक mysql डेटाबेस के रूप में अच्छी तरह से चला जाता है (यदि यह है कि आप कैसे रोल करते हैं तो Oracle या postgresql के लिए समर्थन भी है)।

साथ ही rsyslog सर्वर पर Eventlog लॉग भेजने के लिए एक वेब फ्रंटएंड और एक विंडोज़ एजेंट भी है। जाहिर है कि वेब फ्रंट स्प्लंक जितना धीमा नहीं है, लेकिन यह $ 0 के लिए काम करता है।



2

मैं मानता हूं कि स्प्लंक कमाल का है। छोटे, प्रमुख रूप से लिनक्स वातावरण के लिए, हालांकि, आप एपिग्लॉग जैसी किसी चीज़ को देखने की इच्छा कर सकते हैं ।

हमने इसका उपयोग उन स्थानों में से एक पर किया था जहां मैं काम करता था, और यह उस चीज के लिए बहुत अच्छा था जो हम चाहते थे।

यह सुनिश्चित नहीं है कि यह विंडोज syslog संदेशों को कितनी अच्छी तरह से हैंडल करेगा जो कि लिनक्स syslog कलेक्टर को भेजे जाते हैं, लेकिन शॉट के लायक हो सकते हैं।


2

सिर्फ मेरे जवाब से लिंक करना है जहाँ:

स्पंक काल्पनिक रूप से महंगा है: विकल्प क्या हैं?

संपादित करें (नई परियोजनाएं):

LogStash और Graylog2 परियोजनाओं बहुत ही दिलचस्प लग रही

यहाँ वीडियो के एक जोड़े हैं: एक दो


दूसरे प्रश्न से अपने उत्तर को यहाँ रखने के लिए बेहतर है क्योंकि एक यह एक स्पष्ट डुप्लिकेट है और इसे विलय / बंद किया जाना चाहिए :)
वॉरेन

1

GFI EventManager की तरह कुछ $ 4k के लिए चाल हो सकती है।

  • SNMP ट्रैप, विंडोज इवेंट लॉग, W3C लॉग और Syslog सहित इवेंट लॉग का विश्लेषण
  • रीयल-टाइम अलर्ट, SNMPv2 ट्रैप्स अलर्ट
  • अब होने वाली प्रमुख सुरक्षा जानकारी पर रिपोर्ट देखें
  • केंद्रीकृत घटना लॉगिंग
  • "शोर" या तुच्छ घटनाओं को हटा दें जो सभी सुरक्षा घटनाओं का एक बड़ा हिस्सा बनाती हैं
  • वास्तविक समय 24 x 7 x 365 दिन की निगरानी और चेतावनी
  • अंतर्निहित स्थिति मॉनिटर के माध्यम से GFI EventManager और अपने नेटवर्क की स्थिति की रेखांकन करें
  • आभासी वातावरण के लिए समर्थन

1

यदि आप SysLog प्रतिस्थापन की तलाश कर रहे हैं, तो आप LogLogic, http://loglogic.com जैसे वाणिज्यिक syslog / rsyslog प्रतिस्थापन पर भी विचार करना चाह सकते हैं । हम (जहां मैं काम करता हूं) के पास उपकरण की पूरी लॉगिंग, भंडारण और रिपोर्टिंग सेट है। अनिवार्य रूप से, प्रति सेकंड 100,000 संदेशों को इकट्ठा करने और उन्हें अनुक्रमित करने की क्षमता है ताकि खोज की जा सके।


मैंने हाल ही में एक LogLogic डेमो देखा। बहुत प्रभावशाली सामान।
टॉम ओ'कॉनर

आपको LogLogic 5 के डेमो के लिए पूछना चाहिए, जो और भी बेहतर है।
बिलरोथ 20

0

आप लिक्विडलैब्स से लॉगस्केप की कोशिश कर सकते हैं - बहुत ही समान है लेकिन इसमें कुछ अलग विशेषताएं भी हैं। http://www.liquidlabs-cloud.com/products/logscape.html


0

मैंने पिछले काम में SQL बैकएंड की बात की थी (यह MySQL इस तरह से था), स्क्रिप्ट के साथ पूरा, कस्टम PHP स्क्रिप्ट के साथ Drupal इंटरफ़ेस, काम करता है।

ईमानदारी से, यह बहुत अधिक मानव-घंटे ले गया और अभी भी स्प्लंक नहीं था।

वर्तमान में, मैं इसके बजाय स्प्लंक का परीक्षण कर रहा हूं। हाँ, यह मुफ़्त नहीं है, लेकिन बड़ी तस्वीर को देखकर यह वास्तव में सस्ता हो सकता है।



0

मैंने दुपट्टे के धागे को पोस्ट किया: स्प्लंक काल्पनिक रूप से महंगा है: विकल्प क्या हैं?

xpolog और सभी गंभीर वाणिज्यिक समाधान BIG $ हैं (भले ही स्पंक से कम हो, सबसे आसानी से 5 अंक हैं)!

Sooooo, हमने आखिरकार क्या किया (कारण स्पंक बहुत अधिक $ था):

1) हम sql db पाइपलाइन के लिए एक सरल syslog चाहते थे

2) हम कीवी syslog की कोशिश की। इसने एक हफ्ते तक शानदार काम किया, काम करना बंद कर दिया और कीवी समर्थन इसे ठीक नहीं कर सका। तो हमने कीवी उतार दी

3) हमने विनीलॉग की कोशिश की। एक ऐप का एक पुराना कुत्ता, हम इसे सीखना नहीं चाहते थे।

4) हमने इस मुफ्त .net ऐप का इस्तेमाल किया: http://www.aonaware.com/syslog.htm

देखा। हमारे db में syslog संदेश हैं।

हम बहुत खुश है। $ 0 खर्च किए, कुछ घंटे, लेकिन बहुत ज्यादा नहीं।


0

हम यहां स्प्लंक का उपयोग कर रहे हैं, और मैं आपके द्वारा बताए गए मूल्य निर्धारण से हैरान हूं। हमें जो बेसिक ब्रेकडाउन दिया गया था, वह लगभग $ 1k यूएस प्रति 1GB डेटा था। महंगा, लेकिन सुपर शक्तिशाली और वास्तव में तेजी से विकसित करने के लिए। आपके डेटा स्रोतों पर निर्भर करता है और आप उनके साथ क्या करना चाहते हैं, कुछ अजगर और पर्ल स्क्रिप्ट आपको समान डेटा दे सकते हैं। बड़ा अंतर समय होगा, और पाठ प्रसंस्करण के लिए वास्तव में भाषा को सीखना होगा। आप रीयल टाइम आईपी जानकारी (syslog जैसी सामग्री) प्राप्त करने में सक्षम नहीं होंगे, हालाँकि आप इसे एक syslogger द्वारा प्राप्त कर सकते हैं और सूचना को टेक्स्ट फ़ाइल में आउटपुट कर सकते हैं। क्षमा करें, मैं आपको किसी विशिष्ट समाधान की ओर इशारा नहीं कर सकता; हम जिस चीज का उपयोग नहीं कर सकते उसके लिए हम अजगर, पर्ल और बैश स्क्रिप्ट का उपयोग करते हैं।


0

ELSA - एंटरप्राइज लॉग सर्च और आर्काइव

मुख्य विशेषताएं:


  • संदेश या पार्स फ़ील्ड में किसी भी शब्द पर पूर्ण-पाठ खोज।
  • किसी भी क्षेत्र द्वारा समूह और परिणामों के आधार पर रिपोर्ट तैयार करें।
  • अनुसूची खोजें।
  • नए लॉग पर खोज हिट पर चेतावनी।
  • खोज सहेजें, ईमेल सहेजे गए खोज परिणाम।
  • खोज परिणामों (प्लगइन के साथ) के आधार पर घटना टिकट बनाएं।
  • परिणामों के लिए पूरा प्लगइन सिस्टम।
  • पर्मलिंक या एक्सेल, पीडीएफ, सीएसवी और एचटीएमएल के रूप में निर्यात परिणाम।
  • अनुमतियों के लिए पूर्ण LDAP एकीकरण।
  • उपयोगकर्ता और लॉग आकार और गिनती द्वारा प्रश्नों के लिए आँकड़े।
  • पूरी तरह से वितरित वास्तुकला, समानांतर में निष्पादित सभी प्रश्नों के साथ n नोड्स को संभाल सकता है।
  • 10: 1 अनुपात से बेहतर के साथ संपीड़ित संग्रह।

प्रदर्शन विवरण:


महत्व के क्रम में एक सिस्टम को निर्दिष्ट करने के लिए: डिस्क का आकार, रैम, डिस्क की गति, संख्या CPU का। ओवरराइडिंग प्रदर्शन कारक स्फिंक्स इंडेक्सर और खोज डेमॉन है, इसलिए डॉक्स के लिए sphinxsearch.com देखें। मेरे दिए गए आँकड़े बड़े सिस्टम (16 सीपीयू, 144 जीबी रैम, 12 टीबी एचडी) से लिए गए हैं, लेकिन आपको 4 सीपीयू, 8 जीबी रैम और किसी भी आकार के एचडी सिस्टम पर समान प्रदर्शन मिलेगा, जैसे चीजें रैखिक रूप से होती हैं। सिस्टम पहले 4 जीबी रैम के साथ आईबीएम ब्लेड पर चलता था और सैन ड्राइव को धीमा करता था और लगभग उसी दर पर प्रदर्शन करता था, लेकिन 4 जीबी इसे थोड़ा बंद कर रहा है।


प्रदर्शन विवरण और मुख्य विशेषताएं सूची, साथ ही वास्तुकला का विवरण: http://ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

कोड: https://code.google.com/p/enterprise-log-search-and-archive/

VM: http://ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

परियोजना से संबंधित विवरण: http://ossectools.blogspot.com/2011/03/comprehensive-log-collection.html


0

यदि आप स्प्लंक के लिए अधिक किफायती विकल्प की तलाश कर रहे हैं - LogZilla ( http://www.logzilla.pro ) का प्रयास करें । यह स्प्लंक की तुलना में अधिक या बेहतर है (आप लगभग 1-2 सेकंड में 300 मीटर से अधिक लॉग खोज सकते हैं) और आसानी से लागत का 1/10 है। उनके पास http://demo.logzilla.pro पर एक डेमो चल रहा है

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.