बैकअप, आदि की निगरानी और उस डेटा से स्टैटिस्टिक को ट्रेंड करने के लिए सबसे अच्छा साधन [बंद]

Question

मैंने नगियोस, ओपननम्स और जेनोस पर कुछ शोध किए हैं लेकिन मुझे विश्वास नहीं है कि मुझे वह मिल गया है जिसकी मुझे तलाश है।

अभी मेरे लिए मुख्य ड्राइविंग फोर्स बैकअप की निगरानी करने में सक्षम है। इसमें mysql, mssql और अंततः कुछ फ़ाइल सिस्टम बैकअप शामिल हैं।

हमारे पास एक उपकरण है जो इन विभिन्न प्रणालियों के लिए बैकअप प्रक्रिया को लपेटता है और आंकड़े एकत्र करता है। तो, जैसे आइटम:

• समर्थित डेटाबेस की संख्या
• db बैकअप फ़ाइल का आकार
• DB बैकअप फ़ाइल का आकार संकुचित
• बैकअप बनाने का समय
• ज़िप फ़ाइल के लिए समय

मैं ए) के लिए सक्षम होना चाहता हूं, अगर अधिसूचना बी अनुसूची के अनुसार नहीं चल रही है, तो उन आंकड़ों पर थ्रेसहोल्ड सेट कर सकते हैं जो सूचनाओं को ट्रिगर करेंगे सी) मैं आंकड़ों को ट्रेंड और ग्राफ़ करने में सक्षम होना चाहता हूं।

मैं HTTP POST के माध्यम से इस जानकारी को निगरानी अनुप्रयोग को भेजने की योजना बना रहा हूं। या, निगरानी अनुप्रयोग इसे लॉग फ़ाइल से भी खींच सकता है।

हालांकि, हमारे पास अन्य "मनमाना" (मॉनिटरिंग सिस्टम के दृष्टिकोण से) स्टैटिक्स के साथ अन्य प्रक्रियाएं होंगी जो मॉनिटर और ट्रेंड करना चाहेंगी, इसलिए लचीलापन बहुत महत्वपूर्ण है।

उपकरण या उपकरण नेटवर्क इंटरफेस, सर्वर लोड आदि की सामान्य निगरानी और ट्रेंडिंग करने में भी सक्षम होना चाहिए। एक बार जब हमें बैकअप मॉनिटरिंग मिल जाती है, तो हम उन वस्तुओं को भी शामिल करना चाहेंगे।

धन्यवाद।

अनुवर्ती :

मैंने दिए गए क्रम में निम्नलिखित प्रयास करने का निर्णय लिया है:

• ज़ैबिक्स: दूसरों की तुलना में "वन स्टॉप शॉप" के रूप में अधिक प्रतीत होता था और उबंटू ल्यूसिड आरसी में स्थापित करना आसान था
• opsview
• नागिओस डब्ल्यू / नागविस, पीएनपी 4 एनएगिओस, नगिओसोग्राफ
• cacti w / npc plugin
• मुनिन: सादगी का थोड़ा डर, लेकिन यह लंबे समय में एक आशीर्वाद साबित हो सकता है

एक बार निर्णय लेने के बाद वापस करूंगा, ऐसा होने तक कुछ समय लग सकता है।

Answer 1

अपने स्वयं के निगरानी समाधान लिखने के बजाय, मैं दृढ़ता से अनुशंसा करता हूं कि आप एक मौजूदा उपकरण का उपयोग करें ताकि सभी बुनियादी निगरानी और चेतावनी कार्यक्षमता पहले से ही लागू हो। यदि आप नागियोस को चुनते हैं, तो आपको सर्वर और नेटवर्क संसाधनों की बुनियादी निगरानी मुफ्त में मिल जाएगी, और निम्नलिखित प्लगइन्स को आपको बाकी की अधिकांश चीजें देनी चाहिए:

check_file_ages_in_dirs आपको बताएगा कि बैकअप फ़ाइलें मौजूद हैं या नहीं; यहाँ एक ब्लॉग पोस्ट मैंने कुछ बुनियादी उदाहरणों के साथ लिखा है।

check_file फ़ाइल आकार और सामग्री (regexes का उपयोग करके) की निगरानी कर सकता है, इसलिए आप अपने बैकअप आँकड़ों को एक फ़ाइल में आउटपुट कर सकते हैं और उनकी निगरानी कर सकते हैं।

एक बात जो आपको नागियोस से नहीं मिलेगी वह है ट्रेंडिंग और ग्राफिंग; मैं इसके लिए मुनिन को देखने की सलाह देता हूं , क्योंकि इसे स्थापित करना आसान है और, नागियोस की तरह, योगदान वाले प्लगइन्स के ढेर हैं।

Comments

स्पष्टीकरण के लिए, मैं अपना स्वयं का निगरानी उपकरण नहीं लिखूंगा। सवाल निगरानी / ट्रेंडिंग टूल के लिए सिफारिश प्राप्त करने का है जो मेरे द्वारा बनाए गए बैकअप / स्क्रिप्ट-रनिंग फ्रेमवर्क के साथ एकीकृत होगा।

— रैंडी सीरिंग

Answer 2

यह zabbix के साथ स्थापित करने के लिए बहुत आसान होना चाहिए।

कस्टम (और बहुत शक्तिशाली) थ्रेसहोल्ड सेट करना आसान है - आप अपनी पसंद की कोई भी अभिव्यक्ति लिख सकते हैं, इसलिए "मुझे सूचित करें यदि इन 5 सर्वरों में से 3 से अधिक सफल बैकअप नहीं है" संभव है। आप लचीला अधिसूचना और सतर्कता प्राप्त करने के लिए 6 अलग-अलग गंभीरता स्तरों और वृद्धि का उपयोग कर सकते हैं।

zabbix में डेटा संग्रहण और विज़ुअलाइज़ेशन क्षमताएं हैं - सभी डेटा एक डेटाबेस में संग्रहीत होते हैं, और एक एकल मीट्रिक को ग्राफ़ करने के लिए आपको किसी भी कॉन्फ़िगरेशन की आवश्यकता नहीं होती है - आपको बस इसके लिए एक ग्राफ़ मिलता है "मुफ्त में"। दीर्घकालिक भंडारण और ट्रेंडिंग के लिए एक घंटे की औसत गणना की जाती है।

अपने डेटा को ज़ैबिक्स में बैकअप के लिए प्राप्त करने के लिए, कई संभावनाएं हैं। आप इसे फ़ाइलों से पढ़ सकते हैं, आप कस्टम कमांड लॉन्च कर सकते हैं, आप इसे कमांडलाइन उपयोगिता zabbix_sender का उपयोग करके मॉनिटर किए गए मशीन से धक्का दे सकते हैं ... और कुछ और संभावित दृष्टिकोण हो सकते हैं।

विस्तार करना आसान है - कोई भी कस्टम कमांड जो डेटा लौटाता है, उस डेटा को इकट्ठा करने, स्टोर करने और कल्पना करने के लिए उपयोग किया जा सकता है।

बेशक, ऑपरेटिंग सिस्टम, एप्लिकेशन, स्नैम्प और आईपमी उपकरणों की सामान्य निगरानी और इतने पर संभव है।

Answer 3

क्रियान्वयन

बैकअप से ऑर्केस्ट्रेटेड हो backupninja । मैं इसे अपने बैश लिपियों के लिए सिर्फ एक आवरण का उपयोग करता हूं - सिंगल बैकअप लॉग करने के लिए। प्रत्येक स्क्रिप्ट के साथ शुरू होता है

 function handle {
         echo Error
         error problem occured
 }
 set -e
 trap handle ERR

इसलिए जब भी कोई भी कमांड [जैसे mysqldump या rsync] विफल रहता है, तो मुझे लॉग में त्रुटि मिलती है।

सभी बैकअप rdiff रिपॉजिटरी में समाप्त होते हैं इसलिए मेरे पास वेतन वृद्धि के दिन होते हैं।

सभी बैकअप केंद्रीय भंडारण सर्वर के लिए rsync का उपयोग करके प्रेषित किए जाते हैं।

स्टोरेज सर्वर पर सभी बैकअप दैनिक रूप से सत्यापित किए जाते हैं और स्थानीय डिस्क पर डेटा के सफल सत्यापन के बाद उन्हें बाहरी यूएसबी ड्राइव में कॉपी किया जाता है।

सत्यापन

सभी सर्वरों पर backupninja.log की निगरानी नागों द्वारा की जाती है। अगर वे केवल DEBUG और जानकारी संदेश शामिल मैं जाँच करें। और कुछ भी ट्रिगर चेतावनी।

प्रत्येक बैकअप एक परीक्षण फ़ाइल, 'उपस्थिति' को छूता है, जिसकी उपस्थिति और ताजगी की निगरानी केंद्रीय बैकअप रिपॉजिटरी सर्वर पर nagios के साथ की जाती है।

इसके अतिरिक्त अधिक महत्वपूर्ण एसक्यूएल डंप अपने आकार के लिए जाँच करवाते हैं [न सिर्फ ताजगी] और पूर्णता [जैसे mysql डंप के अंत में मैं ताजा टाइमस्टैम्प की उम्मीद करता हूं

- 2010-04-22 23:21:02 को डंप पूरा हुआ

डेटा को USB ड्राइव में सिंक करने से पहले और उसके बाद फिर से सिंक होने के बाद सभी rdiff अभिलेखागार को दैनिक रूप से सत्यापित किया जाता है। यहां तक ​​कि अगर रात में स्थानांतरण बाधित होता है तो मेरे पास USB डिस्क पर लगातार रिपॉजिटरी होगी। जाँचने का परिणाम यह दर्ज करने के लिए लॉग होता है कि कौन सी सामग्री और ताजगी नागों द्वारा जाँची गई है।

यूएसबी डिस्क साप्ताहिक घुमाया जाता है और केवल मामले में ऑफ़लाइन संग्रहीत किया जाता है। यह बड़ी मात्रा में डेटा के लिए ओवरकिल हो सकता है, लेकिन धीरे-धीरे बदलती फ़ाइलों / डंप के ~ 300GB के लिए ठीक काम करता है।

प्रवृत्तियों

मैं प्रत्येक कस्टम रिपॉजिटरी के लिए अलग-अलग / डेटा के आकार के लिए सरल कस्टम मुनिन प्लगइन का उपयोग करता हूं ।

इसे निष्पादित करने में लगने वाले समय का बैकअप बैकअप लॉग में जांचा जा सकता है, लेकिन अभी मुझे इसकी चिंता नहीं है।

Comments

जवाब के लिए धन्यवाद। मेरे पास पहले से ही एक ढांचा है जो बैकअप (और अन्य कार्यों) को चलाने के लिए संभालता है, जो आंकड़े एकत्र करता है, इसलिए बैकअपिनजा ओवरकिल हो जाएगा। नागियोस को सर्वसम्मति लगती है और फिर प्रवृत्ति के लिए मुनिन या कैक्टि।

— रैंडी सीरिंग

Answer 4

nagios ट्रेंडिंग कर सकते हैं, लेकिन आपको अपने प्लगइन में perfdata ( http://nagios.sourceforge.net/docs/1_0/perfdata.html ) को आउटपुट करने की आवश्यकता है । यदि आप एक pnp4nagios http://docs.pnp4nagios.org/pnp-0.4/start का उपयोग करते हैं तो आपके लिए सब कुछ रेखांकन होगा।

मैंने पाया है कि opsview http://www.opsview.org/ का उपयोग करना nagios और pnp4nagios को कॉन्फ़िगर करने की तुलना में आसान है। विशेष रूप से यदि आप काम पर केवल एक सामान्य प्रेमी व्यवस्थापक हैं। ऑप्सव्यू एक महान webui के साथ nagios है जो वेब ब्राउज़र से लगभग सभी कार्यों की अनुमति देता है। क्योंकि यह nagios है, आप अतीत में उपयोग किए जा रहे सभी nagios प्लगइन्स का उपयोग कर सकते हैं। महान उपकरण।

Comments

टिप्पणी के लिए धन्यवाद, मुझे लगता है कि मैंने किसी कारण से opsview को खारिज कर दिया था, लेकिन आपकी सिफारिश के आधार पर, मैं उचित रूप से नागों में कूदने से पहले कोशिश कर सकता हूं।

— रैंडी सीरिंग

Answer 5

नागर को सतर्क करने के लिए, और कैक्टि को रेखांकन के लिए और साथ ही कुछ शेल या पर्ल स्क्रिप्ट्स में वही किया जाएगा जो आप चाहते हैं। एक साथ उनके संयोजन के साथ, आप बहुत अधिक कुछ भी कर सकते हैं, प्रयास की मात्रा पर निर्भर करता है।

Comments

क्या आपको लगता है कि HTTP पर नागों को "पुश" करना बेहतर होगा या लॉग फाइल से आंकड़े खींचने दें?

— रैंडी सीरिंग

Answer 6

मैं OpenNMS की सलाह देता हूं । पैकेज पूरी तरह से खुला स्रोत है, सक्रिय रूप से समर्थित और नियमित रूप से बढ़ाया गया है। संदर्भ के लिए, मुझे सिमेंटेक बैकअप परीक्षा की निगरानी के लिए उनकी विकि कॉन्फ़िगरेशन जानकारी मिली ।

उनकी वेबसाइट से ..

ओपनएनएमएस ओपन सोर्स मॉडल के तहत विकसित दुनिया का पहला एंटरप्राइज ग्रेड नेटवर्क मैनेजमेंट प्लेटफॉर्म है। इसमें एक समुदाय समर्थित ओपन-सोर्स प्रोजेक्ट के साथ-साथ एक वाणिज्यिक सेवाएं, प्रशिक्षण और सहायता संगठन शामिल हैं।

प्रकटीकरण: यहां मेरा कोई व्यावसायिक हित नहीं है, लेकिन ऊपर उल्लिखित "वाणिज्यिक सेवाओं, प्रशिक्षण और सहायता संगठन" के मालिक , ओपनएनएमएस ग्रुप के मालिक हैं ।

Answer 7

यह Circonus ( http://circonus.com/ ) के साथ आसानी से किया जा सकता है । हम नियमित रूप से इस तरह के मैट्रिक्स को Resmon XML DTD के साथ आयात करते हैं।