20 + टीबी डेटा का बैकअप कैसे लें?

Question

हम जिस कंपनी में काम करते हैं, उसके लिए हमारे पास NAS सर्वर है, जिसका उपयोग फोटोग्राफी सत्रों के भंडारण के लिए किया जा रहा है। प्रत्येक सत्र लगभग 100gb है। पिछले कुछ वर्षों में इस सर्वर ने 10+ टीबी डेटा जमा किया है, और हम फोटोशूट की मात्रा में तेजी से वृद्धि कर रहे हैं। मेरा अनुमान है कि अगले साल के अंत तक हमारे पास इस एनएएस पर 20+ टीबी जमा हो जाएगा। वर्तमान में हम इस सर्वर को Symantec BackupExec के साथ LTO-5 टेप का उपयोग करके टेप करने के लिए समर्थन कर रहे हैं। जब से इस सर्वर का आकार बड़ा हुआ है, इस सर्वर का पूर्ण बैकअप रातोंरात पूरा नहीं हो रहा है। क्या किसी के पास डेटा की इस राशि का बैकअप लेने के बारे में कोई सुझाव है? क्या हमें इसे टेप करने के लिए समर्थन करना चाहिए? क्या कोई अन्य विकल्प हैं जो बेहतर हो सकते हैं?

Comments

आप हर रात पूर्ण बैकअप क्यों कर रहे हैं? हफ्ते में एक बार फुल बैकअप क्यों न लें और सप्ताह में शेष 6 दिन इंक्रीमेंटल बैकअप चलाएं?

— joeqwerty

यही तो हम कर रहे हैं, क्षमा करें मैंने इस बात का उल्लेख नहीं किया है ... साप्ताहिक पूर्ण एक पूर्ण नहीं है।

— यीशु फिडाल्गो

क्या एक साप्ताहिक पूर्ण रात को पूरा करने की आवश्यकता है? हफ़्ते भर के लिए यह असामान्य नहीं है कि एक पर्याप्त बड़े डेटासेट के लिए 24 घंटे अधिक लें।

— स्टीफन लासवर्स्की

आप किस प्रकार का NAS उपयोग कर रहे हैं?

— ewwhite

क्या आप सुनिश्चित हैं कि फोटोशूट में वृद्धि घातीय है ?

— गुरित

Answer 1

आपको एक कदम वापस लेने की जरूरत है और यह सोचना बंद कर दिया है "मुझे अपने NAS पर 20TB मिला है जिसे मुझे वापस करने की आवश्यकता है!" और आपके डेटा की प्रकृति को ध्यान में रखते हुए एक भंडारण रणनीति विकसित करें:

• यह कहां से आ रहा है और आपको कितना नया डेटा मिल रहा है? (आप अपने सवाल में यह मिल गया है)
• आपके पास एक बार डेटा का उपयोग कैसे किया जाता है? क्या लोग चित्रों को संपादित कर रहे हैं? क्या आप मूल रखते हैं और संपादित संस्करण उत्पन्न करते हैं?
• आपको कब तक सभी डेटा रखने की आवश्यकता है? क्या लोग अभी भी 2 साल पहले से चित्रों में बदलाव कर रहे हैं?

पिछले दो सवालों के जवाबों के आधार पर, आपको शायद मौलिक रूप से अलग बैकअप सिस्टम की तुलना में आर्काइविंग सिस्टम की अधिक आवश्यकता है।

डेटा जो स्थिर है (उदाहरण के लिए 2 साल पुरानी तस्वीरें जो आप "बस के मामले में" बनाए रखते हैं) को हर रात या हर हफ्ते बैकअप लेने की आवश्यकता नहीं है, इसे संग्रहीत करने की आवश्यकता है। जो आप वास्तव में करते हैं वह अधिक जटिल हो सकता है, लेकिन वैचारिक रूप से, सभी पुरानी तस्वीरों को टेप (एकाधिक प्रतियां!) के लिए लिखा जा सकता है और किसी भी अधिक का बैकअप नहीं लिया जा सकता है।

आपकी टिप्पणियों के आधार पर, कुछ अतिरिक्त विचार:

• चूंकि आप प्रत्येक शूट के मूल को अछूते रखते हैं और एक कॉपी पर काम करते हैं, और यह मानते हुए कि कम से कम कुछ मूल चित्र युगल हैं, आप डेटा की मात्रा में कटौती करने में सक्षम हो सकते हैं जिन्हें आधे में बैकअप करने की आवश्यकता होती है।

• यदि आपके पास अभी भी जो भी खिड़की है, उसके भीतर एक पूर्ण बैकअप समाप्त नहीं कर सकता है, तो चीजों को गति देने का एक सामान्य तरीका है कि पहले डिस्क-टू-डिस्क बैकअप करें और फिर बाद में बैकअप सेट को टेप से कॉपी करें।

Comments

मूल शूट अछूता संग्रहीत है, फिर फोटोशूट की एक और प्रतिलिपि संपादन के लिए उपयोग की जाती है। डेटा को लगभग 2 साल तक रखने की आवश्यकता हो सकती है।

— यीशु फिदाल्गो

+1 खैर कहा। मुझे आश्चर्य है कि बैकअप और आर्काइव के बीच का अंतर सामान्य रूप से कैसे समझा जाता है। मैं अपने सिस्टम का पूर्ण और वृद्धिशील बैकअप और ईमेल और दस्तावेजों जैसे अल्पकालिक डेटा करता हूं, लेकिन मेरी फोटोग्राफी (1.2TB और बढ़ती :-)) को संग्रहित करता हूं। काश मैं डिस्क-टू-डिस्क सुझाव के लिए एक और +1 दे सकता था।

— Ex Umbris

+1 मैं शर्त लगाता हूं कि NAS पर डेटा का 80% कभी भी एक बार उपयोग नहीं किया जाता है।

— स्टेफन लासवर्स्की

+1 सबसे अच्छा विकल्प यह है कि परिवर्तनों को पकड़ने और फिर पूर्ण या वृद्धिशील बैकअप को एक संग्रह या ऑफ-साइट प्रदाता / स्थान पर साप्ताहिक या अर्ध-साप्ताहिक आधार पर शिप करने के लिए दैनिक और समान रूप से डिस्क डिस्क में स्थानांतरित करना है। डीआर परिदृश्य में डेटा हानि की मात्रा को कम करने के लिए हम हर 15 मिनट में अपनी एसक्यूएल फाइलों का डेल्टा बैकअप लेते थे।

— ब्रेंट पाब्स्ट

Answer 2

आपके पास दो विकल्प हैं:

विकल्प 1:

1. एक और NAS खरीदें
2. अपने उपयोगकर्ताओं को नए_NAS पर RO पहुंच प्रदान करें
3. 2 वर्ष से अधिक पुरानी सभी फ़ाइलों को नए_NAS में ले जाएं
4. हमेशा की तरह old_NAS का बैकअप लेते रहें
5. हर 6 महीने में फाइलें 2 साल से ज्यादा पुरानी हो जाती हैं

विकल्प 2:

1. एक और NAS खरीदें

2. rsyncहर घंटे चलाएं : old_NAS -> new_NAS

   या, rdiff- बैकअप की तरह बेहतर उपयोग करें जो rsync करता है + फ़ाइल परिवर्तनों के साथ डेल्टा रखता है (आप फ़ाइलों के पुराने संस्करणों को पुनर्स्थापित कर सकते हैं)

   rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
   

3. हर 6 महीने में पुरानी पुरानी फाइलों को साफ करें जैसे:

   rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
   

Answer 3

आपके बैकअप को रात भर क्यों पूरा करना है? फाइलर प्रदर्शन? आप दिन के दौरान प्रभाव को सीमित करने के लिए अपने बैकअप सॉफ़्टवेयर की बैंडविड्थ को बाधित करने में सक्षम हो सकते हैं। या अन्य यातायात पर प्रभाव को सीमित करने के लिए टेप ड्राइव पर बात करने के लिए अपने एनएएस पर एक इंटरफ़ेस समर्पित करें।

क्या आप सप्ताहांत पर पूर्ण डंप कर सकते हैं और केवल सप्ताह के दौरान वेतन वृद्धि कर सकते हैं? अगर समस्या सप्ताहांत में बदल रही है जब कोई भी आसपास नहीं है, तो टेप बदलने के लिए किसी को भुगतान करने की तुलना में एक सस्ते टेप लाइब्रेरी / ऑटोचेंजर की लागत बहुत कम है।

क्या आप अपने डेटा को उन कई समूहों में विभाजित कर सकते हैं, जो आपकी बैकअप विंडो के भीतर पर्याप्त रूप से छोटे हैं?

हमारे NAS पर लगभग 50TB डेटा है और 2 टेप ड्राइव (एक मात्रा में लगभग एक सप्ताह ही लगता है क्योंकि इसमें कई छोटी फाइलें शामिल हैं) का उपयोग करके पूरी चीज़ का एक पूरा डंप प्राप्त करने में एक सप्ताह का समय लगता है। हम जो करते हैं वह हमारे डेटा को दूसरे एनएएस में दोहराता है। हमारा द्वितीयक NAS ऑन-साइट है (लेकिन प्राथमिक से एक अलग डेटासेंटर में), इसलिए हम अभी भी ऑफ-साइट बैकअप के लिए टेप करने के लिए डेटा को स्पूल करते हैं। हम उस माध्यमिक NAS से बैकअप चलाते हैं ताकि बैकअप किसी को धीमा न करें।

यदि आप अपने माध्यमिक एनएएस को काफी दूर तक कोलॉकेट कर सकते हैं, तो यह आपका बैकअप हो सकता है, किसी टेप की आवश्यकता नहीं है।

Answer 4

मैं प्रत्येक शूटिंग सत्र के आकार के बारे में संदेह में हूं, क्या यह वास्तव में 100 जीबी / सत्र है? आपकी कंपनी हर महीने कितने सत्र करती है?

चूंकि आप ज्यादातर पुराने सत्रों का भंडारण कर रहे हैं, जिनका उपयोग अक्सर नहीं किया जाता है, आदि, और शायद उस जानकारी को पुनर्प्राप्त करने की आवश्यकता नहीं है, अक्सर, मैं आपको कुछ कंपनी की सेवाओं का उपयोग करने के लिए सुझाव दूंगा ताकि आप उस कार्य का ध्यान रख सकें। ।

उदाहरण के लिए, अमेज़ॅन ग्लेशियर जैसी ऑनलाइन सेवा का उपयोग करने वाले उन 20TB को संग्रहीत करने में $ 200 / महीने से थोड़ा अधिक खर्च होगा। यदि आपको उन अभिलेखों को बार-बार प्राप्त करने की आवश्यकता है, या फिर पूर्ण रूप से पुनर्प्राप्त करने की आवश्यकता है, तो यह कुछ समय / लागत की कमी को पूरा करेगा। यदि आप बस उन चीजों को "सुनिश्चित करने के लिए संग्रहीत करते हैं कि वे संग्रहीत हैं", तो शायद तीसरे भाग का उपयोग करना आपके जीवन को आसान बना सकता है (और एक और एनएएस, टेप, आदि खरीदने की तुलना में सस्ता है)

Comments

100 जीबी प्रति सत्र मुझे थोड़ा अधिक लगता है, लेकिन अनुचित नहीं है। हमारे पास आमतौर पर 32+ जीबी सत्र था जहां मैं काम करता था, और हमारे उपकरण मध्यम-स्तरीय थे।

— टॉम मार्थेनल

Answer 5

full backups of this server are not completing overnight
फिर वृद्धिशील बैकअप का प्रयास करें? एक पूर्ण बैकअप हर xx दिन, बाकी की वृद्धि।

हार्डडिस्क सस्ती हैं, टेप से तेज हैं और बैकअप के लिए उपयोग की जा सकती हैं।

इसके अलावा क्लाउड बैकअप के लिए अच्छे विकल्प मौजूद हैं, इसलिए इसकी अधिक और तेज टेप को जोड़ने की आवश्यकता नहीं है।
उदाहरण के लिए:

• रेड-गेट क्लाउड सर्विसेज
• अमेज़ॅन बैकअप स्टोरेज
• अमेज़न ग्लेशियर के लिए समर्थन (सस्ते दीर्घकालिक भंडारण)

Comments

टिप्पणियों को देखें - यह साप्ताहिक पूर्ण है जो पूरा नहीं कर रहे हैं। इसके अतिरिक्त, डेटा के 20TB के लिए क्लाउड बैकअप ... एक अच्छा विचार नहीं है। अमेज़न ग्लेशियर के "सस्ते" विकल्प की कीमत ~ 2500 / yr होगी, और उस सभी डेटा को पुनः प्राप्त करने में ~ $ 36,000 का खर्च आएगा।

— हॉपलेसनब बी

यह वास्तव में एक बहुत कुछ नहीं है।

— 19

मुझे लगता है कि अगर $ 2400 / yr 20TB अपेक्षाकृत सुरक्षित और पूरी तरह से रखरखाव मुक्त भंडारण के लिए बहुत कुछ है, तो मैं इसके बारे में सोचता हूं। कोई बिजली की खपत, कोई शीतलन, कोई असफल हार्डवेयर, कोई SLA, रैक स्थान नहीं लेता है। और अधिकांश प्रणालियों के साथ आपको लगभग 0 पूर्ण पुनर्प्राप्ति संचालन की अपेक्षा करनी चाहिए। और अगर आपको रिकवरी की जरूरत है तो कीमत $ 36000 की तुलना में $ 1800 से अधिक है (यह सुनिश्चित नहीं है कि आपको वह नंबर कहां से मिला है)।

— Tedd Hansen

ग्लेशियर के लिए, $ 36K बहुत करीब है। मैं मोटे तौर पर 20TB पर पुनर्प्राप्ति लागत के लिए $ 42K के रूप में गणना करता हूं। हालांकि यह अभी भी नहीं है। बैंडविड्थ एक समस्या का अधिक है।

— सेरेक्स

Answer 6

मुझे लगता है कि इसके लिए सबसे अच्छा समाधान है कि हम अपने पेरोल डेटा के साथ क्या करें, जिसे लागू करने के लिए आपको न्यूनतम प्रयास करना चाहिए।

• प्रारंभ में, इसे बाकी सर्वर डेटा के साथ रखा जाता है जो दैनिक रूप से बैकअप होता है। उन बैकअप पर हमारी अवधारण अवधि 13 महीने है।

• एक बार जब हम यह उम्मीद नहीं करते हैं कि डेटा को संशोधित करने की आवश्यकता होगी, (दो भुगतान अवधि बाद में, IIRC) डेटा एक स्क्रिप्ट वॉल्यूम से बचाया जाता है जो नियमित बैकअप से बाहर रखा गया है।

• संग्रह की मात्रा को प्रतिवर्ष टेप किया जाता है, और टेपों को अनिश्चितकालीन भंडारण के लिए Cintas में भेज दिया जाता है।

यह हमें उस अपरिवर्तनीय डेटा तक आसान, ऑनलाइन पहुंच प्रदान करने की अनुमति देता है (इसलिए हमें किसी टेप में कभी भी कॉल करने की ज़रूरत नहीं है, एक एकाउंटेंट कुछ देखना चाहता है), जबकि डेटा की अनिश्चितकालीन साइट अभिलेखागार को बनाए रखने के लिए हमें हमेशा रखने की आवश्यकता हो सकती है , और हमारे बैकअप सिस्टम को क्रश किए बिना। एक ही प्रकार का सेटअप जैसा लगता है, आपके लिए काम कर सकता है, हालाँकि आप अपने डेटा की मात्रा को ऑनलाइन समायोजित करना चाहते हैं, इस डेटा को समय पर उपयोग करने की आपकी आवश्यकताओं के आधार पर - एंटरप्राइज़-ग्रेड स्टोरेज का 20TB बहुत अधिक महंगा है LTO5 टेप के दो या तीन सेटों को संग्रहित करने की तुलना में, जिन्हें आप ऑफ-साइट वॉल्ट में संग्रहीत करते हैं।

Answer 7

शायद आप अपना खुद का Backblaze Pod बना सकते हैं : 135Tb के लिए 7384 $
अधिक जानकारी के लिए यहाँ क्लिक करें: Backblaze Pod बिल्डिंग जानकारी

आप आवश्यक टुकड़े खरीद सकते हैं और इसे अपने आप से बना सकते हैं।

हो सकता है कि आप उनमें से 3 का निर्माण कर सकते हैं, और 2 ऑनसाइट, और 1 ऑफसाइट रख सकते हैं। फिर आप एक पॉड को "ऑनलाइन डेटा" के रूप में उपयोग कर सकते हैं, पहला ऑनसाइट पॉड के बैकअप के रूप में दूसरा ऑनसाइट पॉड और तीसरा ऑफसाइट पॉड एक आपातकालीन ऑफसाइट बैकअप के रूप में।

प्रत्येक पॉड के लिए 135Tb स्टोरेज के साथ आप बदलाव के कुछ इतिहास को रखने के बारे में भी सोच सकते हैं ...
135Tb / 20Tb = 19 बैकअप बैकअप ।
वैकल्पिक रूप से आप 10 पूर्ण बैकअप और अंतर बैकअप की एक हास्यास्पद राशि रख सकते हैं।

स्वाभाविक रूप से, यदि आप एक ऑफसाइट बैकअप चाहते हैं, तो आपको किसी तरह के बड़े बैंडविड्थ की आवश्यकता होगी ... :-)

Comments

यदि आपका डेटा और आपकी नौकरी आपके लिए महत्वपूर्ण है, तो आपको स्क्रैच से अपनी खुद की बैकब्लेज पॉड बनाने की कोशिश नहीं करनी चाहिए। यह एक अच्छे विचार की तरह लगता है, जब तक आपको एहसास नहीं होता कि आप अपने सभी अंडे एक बहुत बड़ी टोकरी में रख रहे हैं। इससे भी बुरी बात यह है कि उस टोकरी को एकीकृत रूप से पूरी तरह से परीक्षण नहीं किया गया है। बैकब्लेज़ सीक्रेट सॉस कई पॉड्स में सॉफ़्टवेयर प्रतिकृति है, जो पूरे पॉड्स को मूल रूप से विफल करने की अनुमति देता है। मैं इसके बजाय सुपरमाइक्रो स्टोरेज सर्वर, सेंटो, एक्सएफ़एस और आरडीएफ-बैकअप की सिफारिश करूंगा।

— बगाबू

Answer 8

मेरे सहकर्मी ने एक Synology 8-डिस्क NAS खरीदा है। यह एक हाइब्रिड RAID चलाता है। उन्होंने कुछ सप्ताह पहले NewEgg से $ 8 प्रत्येक के लिए आठ 3TB सीगेट बाराकुडा खरीदा। आप उत्पादन NAS से GigaBit पर इस नए NAS में दर्पण कर सकते हैं। चूंकि आप केवल अंतर स्थानांतरित कर रहे हैं, इसलिए स्थानांतरण में थोड़ा समय लगेगा। फिर आप बैकअप एनएएस का उपयोग पूर्ण या वृद्धिशील प्रदर्शन करने के लिए कर सकते हैं। आपके लिए लागत एक बैकअप NAS के लिए $ 2000 से कम होगी।