मेरे पास एक EC2 उदाहरण है जो एक वेब सर्वर चला रहा है जो उपयोगकर्ताओं की अपलोड की गई फ़ाइलों को S3 में संग्रहीत करता है। फ़ाइलों को एक बार लिखा जाता है और कभी नहीं बदलता है, लेकिन उपयोगकर्ताओं द्वारा कभी-कभी पुनर्प्राप्त किया जाता है। हम संभवतः प्रति वर्ष लगभग 200-500GB डेटा जमा करेंगे। हम यह सुनिश्चित करना चाहेंगे कि यह डेटा सुरक्षित है, विशेष रूप से आकस्मिक विलोपन से और इस कारण से हटाए गए फ़ाइलों को पुनर्स्थापित करने में सक्षम होना चाहेंगे।
मैंने S3 बाल्टियों के लिए संस्करण की सुविधा के बारे में पढ़ा है, लेकिन मैं यह पता नहीं लगा सकता कि कोई संशोधन इतिहास वाली फ़ाइलों के लिए वसूली संभव है या नहीं। संस्करण पर यहाँ AWS डॉक्स देखें:
http://docs.aws.amazon.com/AmazonS3/latest/dev/ObjectVersioning.html
उन उदाहरणों में, वे उस परिदृश्य को नहीं दिखाते हैं जहाँ डेटा अपलोड किया गया है, लेकिन कभी संशोधित नहीं किया गया और फिर हटा दिया गया। क्या इस परिदृश्य में फ़ाइलें पुनर्प्राप्त करने योग्य हैं?
फिर, हमने सोचा कि हम ऑब्जेक्ट जीवनचक्र प्रबंधन का उपयोग करके ग्लेशियर के लिए S3 फ़ाइलों का बैकअप ले सकते हैं:
http://docs.aws.amazon.com/AmazonS3/latest/dev/object-lifecycle-mgmt.html
लेकिन, ऐसा लगता है कि यह हमारे लिए काम नहीं करेगा, क्योंकि फ़ाइल ऑब्जेक्ट को ग्लेशियर में कॉपी नहीं किया गया है, लेकिन ग्लेशियर में ले जाया गया है (अधिक सटीक रूप से ऐसा लगता है कि यह एक ऑब्जेक्ट विशेषता है जिसे बदल दिया गया है, लेकिन फिर भी ...)।
तो ऐसा लगता है कि S3 डेटा का बैकअप लेने का कोई सीधा तरीका नहीं है, और S3 से स्थानीय सर्वर पर डेटा स्थानांतरित करना समय लेने वाला हो सकता है और समय के साथ महत्वपूर्ण हस्तांतरण लागत को लागू कर सकता है।
अंत में, हमने सोचा कि हम हर महीने एक मासिक पूर्ण बैकअप के रूप में सेवा करने के लिए एक नई बाल्टी बनाएंगे, और मूल बाल्टी के डेटा को नए दिन 1 पर कॉपी करेंगे। फिर कुछ नकल ( http://duplicity.nongnu.org/) का उपयोग कर ) हम हर रात बैकअप बाल्टी सिंक्रनाइज़ करेंगे। महीने के अंत में हम ग्लेशियर भंडारण में बैकअप बाल्टी की सामग्री डालेंगे, और मूल बाल्टी की एक नई, वर्तमान प्रति ... और इस प्रक्रिया को दोहराते हुए एक नया बैकअप बाल्टी बनाएँ। ऐसा लगता है कि यह काम करेगा और स्टोरेज / ट्रांसफर कॉस्ट को कम करेगा, लेकिन मुझे यकीन नहीं है कि अगर डुप्लिकेट बाल्टी-टू-बकेट को सीधे कंट्रोलिंग क्लाइंट के लिए डेटा लाए बिना ट्रांसफर कर देता है।
इसलिए, मुझे लगता है कि यहां कुछ युगल प्रश्न हैं। सबसे पहले, S3 संस्करण उन फ़ाइलों की पुनर्प्राप्ति की अनुमति देता है जिन्हें कभी संशोधित नहीं किया गया था? क्या S3 से ग्लेशियर के लिए "कॉपी" फाइल करने का कोई तरीका है जिसे मैंने याद किया है? क्या ट्रांसफर कॉस्ट से बचने के लिए S3 बकेट्स के बीच डुप्लिकेट या कोई अन्य टूल ट्रांसफर फाइल कर सकता है? अंत में, क्या मैं S3 डेटा का बैकअप लेने के लिए अपने दृष्टिकोण में निशान से दूर हूं?
अग्रिम में आप प्रदान कर सकते हैं किसी भी जानकारी के लिए धन्यवाद!
अपडेट करें
अमेज़ॅन ने हाल ही में घोषणा की कि संस्करण अब जीवन चक्र नियमों के साथ काम करता है