ZFS के साथ बैकअप स्टोरेज सर्वर

Question

मैं एक छोटी सी कंपनी का सब कुछ हूँ। मैं एक नया बुनियादी ढांचा तैयार करना चाहता हूं जिसमें एक नया सर्वर और कंपनी की विस्तृत बैकअप नीति के साथ एक अलग बैकअप सर्वर शामिल है।

कंपनी में सबसे महत्वपूर्ण बात SQL सर्वर और उसके डेटाबेस हैं। 10 डेटाबेस हैं, लेकिन उनमें से केवल 2 वास्तव में महत्वपूर्ण हैं। पहले एक 8GB, ज्यादातर टेक्स्ट डेटा और नंबर। 16GB / महीने के साथ 300GB के बारे में दूसरा एक पीडीएफ और GIFs हो जाना।

भंडारण को बचाने के लिए वर्तमान बैकअप नीति में प्रति सप्ताह एक पूर्ण बैकअप और 6 अंतर होते हैं। मुझे लगता है कि इसकी प्रति सप्ताह लगभग 350GB, प्रति माह 1.4TB है।

मूक डेटा भ्रष्टाचार के बारे में इतने लेखों को पढ़ने के बाद मैंने नेक्सेंटा कम्युनिटी संस्करण के साथ ZFS की कोशिश करने का फैसला किया।

मेरा प्रश्न: विश्वसनीयता की अवधि में बैकअप फ़ाइलों को संग्रहीत करने के लिए ZFS डिडुप्लीकेशन अच्छा है या क्या मुझे कुछ टेप बैकअप या कुछ और के बारे में सोचना चाहिए?

संपादित करें: मुझे पता है कि अभी हम प्रदर्शन, कटौती अनुपात आदि की भविष्यवाणी नहीं कर सकते हैं, लेकिन मैं जानना चाहता हूं कि क्या यह एक अच्छा विचार है।

Comments

डिडुप्लीकेशन डिस्क आधारित बैकअप के लिए महान है .. आप मूल रूप से वृद्धिशील कर सकते हैं यदि आप ध्यान दे रहे हैं और वर्षों के अनुसार डिस्क जोड़ रहे हैं।

— पौस्का

क्या आप अपने डेटाबेस में बड़े ब्लॉब्स जैसे कि pdf और gif को स्टोर कर रहे हैं? उन्हें संग्रहीत करने का सबसे अच्छा तरीका नहीं है, हम डेटाबेस के भीतर फ़ाइल लिंक का उपयोग करते हैं, जो db को छोटा रखता है, और हम फ़ाइलों के बाद फाइल सिस्टम (xfs) को देखने देते हैं। आसान और जल्दी बैकअप और बहाल करने के लिए।

— यूनिक्स जनेटर

Answer 1

निश्चित रूप से जेडएफएस इस तरह का काम करने के लिए काफी स्थिर है, पूरी तरह से जेडएफएस और नेक्सेंटा पर आधारित कई बड़े हाई-प्रोफाइल और विश्वसनीय उत्पादन प्लेटफॉर्म हैं।

कहा कि हमेशा ऑन-साइट डिस्क-आधारित बैकअप रखना पसंद करते हैं जैसे कि आप जो सुझाव दे रहे हैं और हटाने योग्य-डिस्क या टेप आधारित बैकअप हैं जो आग / भूकंप / Cthulhu आदि से बचाने के लिए दैनिक रूप से साइट पर जाते हैं।

तो मेरा जवाब है हां, यह ठीक है लेकिन अगर आप कर सकते हैं तो मैं दोनों विकल्पों के लिए जाऊंगा।

Comments

Cthulhu की रोकथाम के लिए +1

— यूनिक्स

+1 कुथुलु कर्म चुंबक!

— जने पिक्कारेंन

Answer 2

(यह मानकर कि आप ZFS बनाम अपने बैकअप सॉफ़्टवेयर के भीतर कटौती का उपयोग करने की बात कर रहे हैं)

जब तक आप विशेष रूप से इसके लिए अपने स्टोरेज सिस्टम को डिज़ाइन नहीं करते, मैं आपके बैकअप सिस्टम के लिए ZFS के मूल समर्पण का उपयोग करने की अनुशंसा नहीं करूँगा ।

ZFS में डिडुप का उपयोग करना अत्यंत रैम गहन है। चूंकि डिडुप्लीकेशन वास्तविक समय में होता है, क्योंकि डेटा को स्टोर किया जाता है / स्टोरेज पूल को लिखा जाता है, मेमोरी में एक टेबल बनी रहती है जो डेटा ब्लॉक का ट्रैक रखती है। यह डीडीटी तालिका है । यदि आपके ZFS स्टोरेज सर्वर में इस तालिका को समायोजित करने के लिए पर्याप्त रैम नहीं है, तो प्रदर्शन को जबरदस्त रूप से नुकसान होगा। नेक्सेंटा आपको चेतावनी देगा क्योंकि तालिका एक निश्चित सीमा से आगे बढ़ती है, लेकिन तब तक बहुत देर हो चुकी होती है। इसे L2ARC डिवाइस (कैश पढ़ें) के उपयोग द्वारा संवर्धित किया जा सकता है , लेकिन ZFS के कई शुरुआती अपनाने वाले इस जाल में गिर गए।

देख:

ZFS - डेडिकेटेड zvol या डेटा सेट को नष्ट करने से सर्वर स्टॉल हो जाता है। कैसे उबरें?

ZFS - L2ARC कैश डिवाइस विफलता (नेक्सेंटा) का प्रभाव

जब मैं कहता हूं कि डेडअप का उपयोग करने के लिए रैम की आवश्यकता अधिक है, तो मैं अनुमान लगाता हूं कि आप जिस डेटा सेट के लिए 64GB + RAM और 200GB + L2ARC का उपयोग कर रहे हैं, उसके लिए RAM और L2ARC की आवश्यकता होगी। यह मामूली निवेश नहीं है। बहुत सारे विंडोज सिस्टम फाइल्स और इमेज डॉक्यूमेंट्स जो रीरेड नहीं होंगे, उस डीडीटी को बहुत जल्दी भर देंगे। अदायगी इंजीनियरिंग कार्य के लायक नहीं हो सकती है जिसे अपफ्रंट में जाने की जरूरत है।

एक बेहतर विचार यह है कि जूल पर संपीड़न का उपयोग करना, संभवतः अधिक संकुचित डेटा प्रकारों के लिए गज़िप क्षमताओं का लाभ उठाना। Deduplication इसके लायक नहीं होगा क्योंकि वहाँ एक हिट है जब आपको डुप्लिकेट किए गए डेटा को हटाने की आवश्यकता होती है (DDT को संदर्भित करने की आवश्यकता होती है)।

इसके अलावा, आप अपने बैकअप सॉफ़्टवेयर में संग्रहण कैसे प्रस्तुत करेंगे? आप किस बैकअप सॉफ्टवेयर सूट का उपयोग कर रहे हैं? विंडोज वातावरण में, मैं ZFS को iSCSI पर बैकअप Exec में ब्लॉक स्टोरेज के रूप में प्रस्तुत करता हूं। मैंने कभी भी ZFS CIFS सुविधाओं को पर्याप्त मजबूत नहीं पाया और देशी-स्वरूपित डिवाइस के फायदों को प्राथमिकता दी।

इसके अलावा, यहाँ डिजाइन विचारों के लिए एक उत्कृष्ट ZFS संसाधन है। ZFS के बारे में बातें जो आपको किसी ने नहीं बताई

Comments

मैं उनमें से एक था जो जेडएफएस कटौती के आकर्षण से थोड़ा सा मिला। हमारे परीक्षण वातावरण में सब कुछ बहुत अच्छा काम कर रहा था। हमने इसे उत्पादन में बदल दिया। सब कुछ ठीक और सुचारू था, 2+ बार की कटौती अनुपात। सुंदर। हमने उपयोगकर्ताओं को नई प्रणाली पर ले जाना शुरू किया। कोई समस्या नहीं है, एक दिन, हम एक उपयोगकर्ता और फ़ाइल सर्वर के प्रदर्शन को स्थानांतरित कर दिया। अचानक मशीन घुटनों पर थी। मशीन के वापस आने से पहले एक दुर्घटना और बाद में रिबूट में 90 मिनट से अधिक समय लग गया क्योंकि यह डेडअप टेबल को संसाधित करता था। भयानक। हमने डिडअप से छुटकारा पा लिया। मैं इससे दूर रहने की सलाह देता हूं।

— jlp

Answer 3

एक वैकल्पिक OS OpenIndiana है, जो कि अच्छा है और कुछ समय के लिए अधिक लगातार अपडेट प्राप्त करता है।

एक अन्य विकल्प दूसरे ZFS सर्वर को कम्प्रेशन सक्षम करने के साथ एक छोटा (संभावित) स्टोरेज पूल स्थापित करना है। आप स्थैतिक बैकअप के लिए इस दूसरे डिवाइस का उपयोग कर सकते हैं। इस प्रकार आप पढ़े हुए कैश से निपट सकते हैं और इसे संभालने के लिए सीपीयू / रैम की मूर्खतापूर्ण मात्रा की आवश्यकता नहीं है।

हम इस तरह से एक सेटअप चलाते हैं जहाँ मैं काम करता हूँ:

• OpenIndiana मुख्य भंडारण सर्वर [ मुख्य ] छह सेट 2TB डिस्क के साथ तीन सेट के एक RaidZ1 पूल में दर्पण जोड़े। यह आपके उपलब्ध संग्रहण स्थान में कटौती करते समय, एक तेज़ और बहु-निरर्थक भंडारण पूल के लिए बनाता है।
• एक सेकेंडरी स्टोरेज सर्वर [ बैकअप ] भी डिस्क के समान कॉन्फ़िगरेशन के साथ ओपनइंडियाना चल रहा है जो पूरी तरह से बैकअप डिवाइस के रूप में कार्य करता है।
• मुख्य में एक स्क्रिप्ट है जो एक क्रॉन जॉब से चलाया जाता है जो दिन के पाठ्यक्रम पर नियमित रूप से स्नैपशॉट / टैंक / [डेटासेट] करता है
• हर शाम, एक और क्रॉन जॉब चलाया जाता है जो दिन के स्नैपशॉट को नेटवर्क पर बैकअप के लिए धकेलता है । एक बार आपके सभी स्नैपशॉट का प्रारंभिक सिंक (एक बार-केवल प्रक्रिया) हो जाने के बाद, स्नैपशॉट की वृद्धिशील प्रकृति का अर्थ है कि परिवर्तन आपके बैकअप डिवाइस पर बहुत तेज़ी से धकेल दिए जाते हैं।

मैं ZFS भेजने / प्राप्त करने के तरीके में हेराफेरी करने का एक त्वरित तरीका है: http://kyrill-poole.co.uk/blog/tech/zfs-send-and-receive/

Comments

ओह, हाँ, आप शायद इसे रिग कर सकते हैं ताकि आपको अपने लिए भारी उठाने के लिए एनसी / एसएच सेट न करना पड़े।

— पूलस्की जुएल