vm की कुशल ऑफसाइट रिमोट बैकअप समाधान के लिए सिफारिशें

Question

मैं अपने वर्तमान 6 vm (और जल्द ही 20 तक बढ़ने के लिए) का समर्थन करने के लिए सिफारिशों की तलाश कर रहा हूं। वर्तमान में मैं एक दो नोड प्रोक्समॉक्स क्लस्टर चला रहा हूं (जो कि कस्टम करने के लिए कस्टम वेब फ्रंट एंड के साथ वर्चुअलाइजेशन के लिए kvm का उपयोग करने वाला एक डेबियन बेस है)। मेरे पास amd phenom II x4's और asus मदरबोर्ड के साथ दो लगभग समान बक्से हैं। प्रत्येक में 4 500 GB sata2 hdd का है, ओएस के लिए 1 और प्रॉक्समॉक्स इंस्टॉल करने के लिए अन्य डेटा, और 3 का उपयोग करते हुए mdadm + drbd + lvm का उपयोग करके दोनों मशीनों के बीच 1.5 टीबी का स्टोरेज साझा करें। मैं सभी वर्चुअल मशीन के लिए kvm में lvm इमेज माउंट करता हूं। वर्तमान में मेरे पास एक मशीन से दूसरी मशीन में लाइव ट्रांसफ़र करने की क्षमता है, आमतौर पर सेकंड के भीतर (यह $ $ सबसे बड़ा vm रनिंग win2008 पर m $ sql सर्वर के साथ होता है)। मैं vm का स्नैपशॉट लेने के लिए प्रॉक्सॉक्स की अंतर्निहित vddump उपयोगिता का उपयोग कर रहा हूं ' नेटवर्क पर बाहरी हार्डड्राइव पर s और स्टोर करें। मैं तो दूरदराज के offsite बैकअप के लिए vzdump फ़ोल्डर सिंक करने के लिए (रैकस्पेस का उपयोग करके) jungledisk सेवा है।

यह सब ठीक है और बांका है, लेकिन यह बहुत स्केलेबल नहीं है। एक के लिए, बैकअप स्वयं हर रात कुछ घंटों तक ले सकता है। जंग्लिस्किड के ब्लॉक स्तर के वृद्धिशील हस्तांतरण के साथ, सिंक केवल डेटा ऑफ़साइट के एक छोटे हिस्से को स्थानांतरित करता है, लेकिन फिर भी कम से कम आधे घंटे लगते हैं।

बहुत बेहतर समाधान निश्चित रूप से कुछ ऐसा होगा जो मुझे तुरंत दो समय बिंदुओं का अंतर लेने की अनुमति देता है (जैसे कि सुबह 6 बजे से 7 बजे तक लिखा गया था), इसे ज़िप करें, फिर उस अंतर फ़ाइल को बैकअप सर्वर पर भेजें जो तुरंत स्थानांतरित हो जाएगा। रैकस्पेस पर दूरस्थ भंडारण। मैंने zfs में थोड़ा देखा है और यह भेजने / प्राप्त करने की क्षमता है। कि bzip या कुछ में डेटा के एक पाइप के साथ युग्मित सही लगता है। हालांकि, ऐसा लगता है कि zx के साथ एक नेक्स्टा सर्वर को लागू करना अनिवार्य रूप से कम से कम एक या दो और अधिक समर्पित स्टोरेज सर्वर की आवश्यकता होगी जो कि ISCSI ब्लॉक वॉल्यूम (zvol के ??? के माध्यम से) से प्रॉक्समॉक्स सर्वरों को सेवा देने के लिए आवश्यक है। यदि संभव हो तो मैं सेटअप को कम से कम रखना चाहता हूं (यानी अलग भंडारण सर्वर नहीं है)।

मैंने जुमास्टर के बारे में भी संक्षेप में पढ़ा है। ऐसा लग रहा है कि यह भी वह कर सकता है जो मैं चाहता हूं, लेकिन ऐसा लगता है कि 2008 में विकास रुका हुआ था।

तो, zfs, zumastor या अन्य?

Answer 1

यह आपकी स्थिति में संभव नहीं हो सकता है, इसलिए मुझे आशा है कि मैं उस मामले में मत-मतान्तरित नहीं हो सकता, लेकिन आपकी बैकअप रणनीति को बदलने के लिए यह अधिक कुशल हो सकता है। यदि आप VM स्नैपशॉट के बजाय विशिष्ट डेटा का बैकअप लेते हैं, तो आपका बैकअप बहुत तेज़ी से चलेगा, और परिवर्तनों को कैप्चर करना आसान होगा।

आपके वीएम और आपके द्वारा उपयोग किए जा रहे कार्यों के आधार पर, आप उन्हें केवल उन डेटा को वापस भेज सकते हैं, जहाँ आप स्नैपशॉट को अब दैनिक रूप से स्टोर करते हैं (या जो भी शेड्यूल उपयुक्त है), और फिर जंगलडिस्क सिर्फ डेटा का बैकअप ले सकता है। यह अधिक कुशलता से परिवर्तित फ़ाइलों को स्थानांतरित कर देगा, और बैकअप के लिए आवश्यक स्थान के साथ-साथ समय की आवश्यकता कम हो जाएगी। इसके अलावा, आप अभी भी बनाए रखने के लिए स्नैपशॉट ले सकते हैं, और बस इतना कम अक्सर करें (साप्ताहिक, उदाहरण के लिए)।

इस स्थिति में, आप हमेशा एक नया VM ला सकते हैं और डेटा को पुनर्स्थापित कर सकते हैं, या VM को पुनर्स्थापित करने के लिए पुराने स्नैपशॉट का उपयोग कर सकते हैं, और फिर सबसे हाल के बिंदु को पुनर्स्थापित करने के लिए डेटा बैकअप का उपयोग कर सकते हैं।

Comments

मैंने पहले से ही ऐसा कुछ माना था। समस्या यह है कि प्राथमिक vm का कम से कम एक कस्टम डेटाबेस सॉफ़्टवेयर चल रहा है जो विशेष रूप से HVAC उद्योग के अनुरूप है और इसमें डंप सुविधा नहीं है जैसे आप एक sql डेटाबेस में देखेंगे। हम इस डेटा को M $ SQL में से कुछ को निर्यात कर रहे हैं, लेकिन यह सब नहीं है, और दिन में केवल एक बार। दुर्भाग्य से, सिर्फ नेटवर्क एडमिन होने के नाते मुझे इस तरह के डिज़ाइन निर्णय लेने की अनुमति नहीं है कि vm में क्या चल रहा है ... केवल vm को कैसे चलाना है और उन्हें वापस कैसे करना है।

— 4:00 बजे से

Answer 2

अगर मैं ऑफसाइट बैकअप कर रहा था तो मैं निम्नलिखित विकल्प चुनूंगा:

(ए) शेल स्क्रिप्ट जो एससीपी को दूरस्थ सर्वर पर कॉपी करती है, इस तरह आप एक क्रॉन जॉब जोड़ सकते हैं जो बैकअप बनाने वाली स्क्रिप्ट को स्वचालित रूप से चलाता है। इसके अतिरिक्त, आप इसे बना सकते हैं ताकि यह वास्तव में फ़ाइलों को स्थानांतरित करने से पहले एक अस्थायी संग्रह फ़ाइल बनाता है जिससे गिल को छलनी करते समय स्थानांतरित न करके बैंडविड्थ की बचत हो।

या

(बी) वेबमिन की तरह एक सर्वर प्रबंधन उपकरण स्थापित करें और इसे स्वचालित बैकअप करने के लिए प्राप्त करें। मैं इस समय अपने प्रोडक्शन सर्वर पर बिना किसी समस्या के गाने गा रहा हूं, यह सिर्फ त्रुटिपूर्ण काम करता है। मैं कई vm को प्रबंधित करने के लिए क्लाउडमिन (भुगतान) की भी सिफारिश करूंगा क्योंकि यह एक समाधान में सभी प्रदान करता है।

कुछ अतिरिक्त लिंक:

http://www.debianhelp.co.uk/backup.htm

http://ubuntuforums.org/showthread.php?t=35087

उम्मीद है कि मदद करता है, RayQuang

Comments

धन्यवाद! उन लिंक्स में बहुत सारी अच्छी जानकारी है। बात यह है कि मुझे कुछ ऐसा चाहिए जो लाइव रनिंग वर्चुअल मशीनों पर काम कर सके, और मतभेदों की गणना करने के लिए घंटों तक नहीं चलना पड़े। अंतिम एकल मशीन एक नेक्सेंटा स्थापित होगी जो एक्सएन, केवीएम (स्पष्ट रूप से लिनक्स कर्नेल में) या कुछ समान चला सकती है। इस तरह से मेरे पास विंडोज़ और लाइनक्स सर्वर के लिए उच्च प्रदर्शन वर्चुअलाइजेशन समाधान है जो छवि फ़ाइलों या lvm (या zvol) पर स्थापित है, और असीमित स्नैपशॉट लेने का एक तरीका है और केवल अंतिम बैकअप से मतभेदों को जल्दी से स्थानांतरित कर रहा है!

— सीनोरस्माइल

Answer 3

आप backuppc पर एक नज़र रखना चाहते हैं।

backuppc rsync के ऊपर काम कर सकता है जो वृद्धिशील कॉपी करता है।

इसके अलावा, आप आसानी से फ़ोल्डर की एक काली सूची लिख सकते हैं जिसे बैकअप करने की आवश्यकता नहीं है। उदाहरण के लिए: temp / / tmp .garbages / ...

http://backuppc.sourceforge.net/

बैकपेक में एक साफ वेब इंटरफ़ेस है जो आपको बैकअप फ़ाइल के कुछ हिस्सों को सीधे ज़िप फ़ाइल के रूप में डाउनलोड करने की अनुमति देता है। इसे nagios द्वारा check_backuppc का उपयोग करके मॉनिटर किया जा सकता है।

Comments

मुझे लगता है कि बैकपेक पूरी तरह से अलग परियोजना के लिए एकदम सही होगा! बहुत बहुत धन्यवाद। यह एक अलग साइट पर रिमोट बैकअप चलाने के लिए, ऑफसाइट बैकअप के लिए जिंगलडिस्क को जोड़ने या बदलने के लिए एक अच्छा प्रतिस्थापन हो सकता है।

— सेन्सरमाइल

Answer 4

मुझे यकीन नहीं है, कि आप अपने स्केलेबिलिटी को बढ़ाने के लिए कितना वास्तु परिवर्तन कर रहे हैं। हालाँकि, यदि आप VM प्लेटफार्मों को खोलने के लिए खुले होंगे, तो आप VMWare को देख सकते हैं।

बहुत सारे अच्छे VMWare बैकअप समाधान हैं, मैंने व्यक्तिगत रूप से VzionCore का उपयोग किया है। फिर आप स्नैपशॉट के साथ कुछ स्लीक सामान कर सकते हैं और समय पर रिकवरी कर सकते हैं। एक दूरस्थ साइट पर विफल होने की क्षमता भी है।

Comments

दुर्भाग्य से मैं कुछ वैसा ही देख रहा हूँ जैसा मैं अभी चला रहा हूँ; यह विशेष रूप से खुला स्रोत और स्केलेबल होने की आवश्यकता है। मैंने VMWare समाधानों की समीक्षा की है, और CDP बैकअप समाधान के पास एक अच्छी 3rd पार्टी के साथ एक दो नोड पुण्य क्लस्टर की कीमत भी बहुत कीमत है।

— सीनोरस्माइल

मुझे लगता है कि आप का मतलब विज़िओनकोर है, न कि वीज़ियनकोर।

— सीन रिफ़्शिनडर

Answer 5

zfs यह बहुत अच्छा करता है, आपने पहले ही यह जान लिया था कि हालांकि और 2 सर्वर स्केल पर बढ़िया काम न करने का नकारात्मक पक्ष। यह आपको DRDB फेलओवर देने वाला नहीं है, अर्थात नेक्सेंटा विफलता का एक बिंदु होगा।

आप OpenSolaris या NexentaCore पर वर्चुअलबॉक्स प्राप्त करने की कोशिश करने पर विचार कर सकते हैं लेकिन ProxMox + DRDB के रूप में सरल नहीं है ताकि आप अपनी मौजूदा मशीनों का फिर से उपयोग कर सकें।

यदि आप अपने परिवर्तनों को मापते हैं और उन्हें कम पाते हैं, तो आप एक 3 डी दर्पण के साथ DRDB की कोशिश कर सकते हैं - यह केवल तभी काम करने वाला है जब आपके वीएम पर लिखने की संख्या बेहद कम हो।

स्टीव रेडिच - 1995 से विंडोज होस्टिंग और एसक्यूएल प्रदर्शन - http://www.BitShop.com/Blogs.aspx

Answer 6

मैं एक बड़ा समीपस्थ कलस्टर चलाता हूं और आपको सुझाव दिया जाता है कि आप अपनी बैकअप रणनीति को बिल्ट-इन vzdump स्नैपशॉट स्टाइल बैकअप से बदलें, जो युगों तक चलती हैं, इसलिए हमेशा पूर्ण आकार में बड़ी होती हैं और व्यक्तिगत फ़ाइलों को पुनर्स्थापित करती हैं जो बहुत लंबी घुमावदार होती हैं।

एक 'इन-गेस्ट' फ़ाइल बैकअप समाधान पर विचार करें जिसमें कई हैं। Backuppc, Urbackup, bacula, amanda आदि ...

यह बहुत तेज़ होगा, कम जगह का उपभोग करेगा और विशिष्ट फ़ाइलों को पुनर्स्थापित करने के लिए बहुत आसान होगा।

Answer 7

मुझे लगता है कि मुझे अपने प्रश्न का अंतिम उत्तर मिल गया होगा:

BUP https://github.com/bup/bup

विशेषताएं:

• यह बड़ी फ़ाइलों को विखंडू में विभाजित करने के लिए एक रोलिंग चेकसम एल्गोरिथ्म (rsync के समान) का उपयोग करता है। इसका सबसे उपयोगी परिणाम यह है कि आप बड़ी संख्या में वर्चुअल मशीन (VM) डिस्क चित्र, डेटाबेस और XML फ़ाइलों का बैकअप ले सकते हैं, भले ही वे आमतौर पर सभी एक विशाल फ़ाइल में हों, और कई संस्करणों के लिए डिस्क स्थान का उपयोग न करें।

  यह git (ओपन सोर्स वर्जन कंट्रोल सिस्टम) से packfile फॉर्मेट का उपयोग करता है, इसलिए यदि आप bup के यूजर इंटरफेस को पसंद नहीं करते हैं तो भी आप स्टोर किए गए डेटा को एक्सेस कर सकते हैं।

  गिट के विपरीत, यह सीधे पैकफाइल्स लिखता है (एक अलग कचरा संग्रह / रिपैकिंग चरण होने के बजाय) इसलिए यह डेटा की भारी मात्रा में भी तेज है। bup के सुधरे हुए इंडेक्स फॉरमेट आपको git (लाखों) की तुलना में कहीं अधिक फ़ाइलनामों को ट्रैक करने और अधिक ऑब्जेक्ट्स (सैकड़ों या हजारों गीगाबाइट्स) का ट्रैक रखने की अनुमति देते हैं।

  डेटा "स्वचालित रूप से" वृद्धिशील बैकअप के बीच साझा किया जाता है, यह जानने के बिना कि कौन सा बैकअप किस पर आधारित है - भले ही बैकअप दो अलग-अलग कंप्यूटरों से बना हो, जो एक-दूसरे के बारे में भी नहीं जानते हैं। आप बस सामान को बैक अप करने के लिए कहते हैं, और यह केवल आवश्यक न्यूनतम डेटा बचाता है।

  आप बैकअप कंप्यूटर पर अस्थायी डिस्क स्थान के टन की आवश्यकता के बिना, एक दूरस्थ bup सर्वर पर सीधे बैकअप ले सकते हैं। और अगर आपका बैकअप आधे रास्ते में बाधित हो जाता है, तो अगला रन आपको वहीं छोड़ देगा जहां आपने छोड़ा था। और एक बूप सर्वर सेट करना आसान है: बस किसी भी मशीन पर बूप स्थापित करें जहां आपके पास ssh एक्सेस है।

  Bup "par2" अतिरेक का उपयोग भ्रष्ट बैकअप को पुनर्प्राप्त करने के लिए कर सकता है, भले ही आपकी डिस्क में खराब क्षेत्र हों।

  यहां तक ​​कि जब एक बैकअप वृद्धिशील होता है, तो आपको पूर्ण बैकअप बहाल करने के बारे में चिंता करने की ज़रूरत नहीं है, फिर बदले में प्रत्येक वृद्धि; वृद्धिशील बैकअप के रूप में अगर यह एक पूर्ण बैकअप है, यह सिर्फ कम डिस्क स्थान लेता है।

  आप अपने Bup रिपॉजिटरी को FUSE फाइलसिस्टम के रूप में माउंट कर सकते हैं और इस तरह से कंटेंट को एक्सेस कर सकते हैं और यहां तक ​​कि इसे सांबा में भी एक्सपोर्ट कर सकते हैं।

संपादित करें: (अगस्त १ ९, २०१५) और अभी तक एक और महान समाधान निकलता है जो और भी बेहतर है: https://github.com/datto//attattd

यह लाइव स्नैपशॉटिंग की अनुमति देता है, अनिवार्य रूप से लिनक्स में किसी भी नियमित पुराने फाइल सिस्टम की तरह गायों को दे रहा है।

संपादित करें: (जुलाई १५, २०१६) और यहां तक ​​कि एक और महान समाधान जो पानी से बाहर निकलता है: https://github.com/borgbackup/borg

प्रूनिंग में बूप की तुलना में इसका विशेष रूप से बेहतर है। ऐसा लगता है कि संपीड़न, एन्क्रिप्शन और कुशल समर्पण के लिए बहुत समर्थन है। dattobd + बोर्ग ftw !!!