ZFS डाटा लॉस परिदृश्य


27

मैं एक लार्जिश ZFS पूल (150TB +) के निर्माण की ओर देख रहा हूं, और मैं लोगों को असफल हार्डवेयर के कारण डेटा हानि परिदृश्यों के बारे में अनुभव सुनना चाहता हूं, विशेष रूप से, ऐसे उदाहरणों के बीच अंतर करना, जहां बस कुछ डेटा खो जाता है बनाम संपूर्ण फाइलसिस्टम ( अगर वहाँ भी ZFS में इस तरह के एक अंतर है)।

उदाहरण के लिए: मान लीजिए कि एक vdev एक विफलता के कारण खो गया है, जैसे बाहरी ड्राइव बाड़े से बिजली खोने, या नियंत्रक कार्ड में विफल होना। जो मैंने पढ़ा है कि पूल को एक दोषपूर्ण मोड में जाना चाहिए, लेकिन अगर वीवीडी लौटा दिया जाता है तो पूल को पुनर्प्राप्त करना चाहिए? या नहीं? या अगर वीवीडी आंशिक रूप से क्षतिग्रस्त है, तो क्या कोई पूरे पूल को खो देता है, कुछ फाइलें, आदि?

यदि कोई ZIL डिवाइस विफल हो जाता है तो क्या होगा? या सिर्फ कई ZIL में से एक?

सच में किसी भी और सभी उपाख्यानों या काल्पनिक परिदृश्य गहरी तकनीकी ज्ञान द्वारा समर्थित की सराहना कर रहे हैं!

धन्यवाद!

अद्यतन करें:

हम सस्ते में ऐसा कर रहे हैं क्योंकि हम एक छोटा व्यवसाय (9 लोग या तो) हैं, लेकिन हम उचित मात्रा में इमेजिंग डेटा उत्पन्न करते हैं।

डेटा ज्यादातर स्मालिश फाइल्स है, मेरी गिनती से प्रति टीबी लगभग 500k फाइल है।

डेटा महत्वपूर्ण है, लेकिन uber- क्रिटिकल नहीं है। हम जेडटीएस पूल का उपयोग 48 टीबी "लाइव" डेटा ऐरे (3 साल या इसके बाद के उपयोग के लिए) करने के लिए कर रहे हैं, और शेष संग्रहित डेटा का उपयोग करने के लिए योजना बना रहे हैं।

पूल को NFS का उपयोग करके साझा किया जाएगा।

रैक एक बिल्डिंग बैकअप जनरेटर लाइन पर माना जाता है, और हमारे पास दो एपीसी यूपीएस हैं जो रैक को 5 मिनट या तो पूरे लोड पर बिजली देने में सक्षम हैं।


2
यदि आप पहले से ही नहीं जानते हैं कि आप क्या कर रहे हैं, तो एक परामर्शदाता और / या कुछ पाठ्यक्रम प्राप्त करें। मुझे संदेह है कि सभी बारीकियों को आपको एक सरल उत्तर में कवर किया जा सकता है।
लुकास कॉफ़मैन

3
तो आप अभी भी सस्ते उपभोक्ता 7.2 SATA का उपयोग करने की योजना बना रहे हैं? sigh
चॉपर 3

@ चॉपर 3 वास्तव में, मैंने जानबूझकर ऐसा नहीं कहा था ... मैं 3TB डेटा ड्राइव के बजाय 2TB SAS ड्राइव खरीदने पर गंभीरता से विचार कर रहा हूं। हालांकि मैंने बहुत से लोगों को देखा है कि वे SATA ड्राइव का उपयोग ठीक कर रहे हैं ....
चक्रवात

1
ZFS के लिए SATA डिस्क वास्तव में एक अच्छा मिश्रण नहीं हैं। आजकल आपको उस सेटअप की सिफारिश करने वाले कई लोग नहीं मिलेंगे। जिस पैमाने पर आप (150TB) बात कर रहे हैं, यह एक महंगी और अनावश्यक गलती है। हालांकि इस पर एक नज़र डालें
इविविट जूल

जवाबों:


22

सही तरीके से डिज़ाइन करें और आप ZFS के डेटा हानि की संभावना को कम कर देंगे। आपने यह नहीं बताया कि आप पूल पर क्या स्टोर कर रहे हैं, हालांकि। मेरे अनुप्रयोगों में, यह ज्यादातर VMWare VMDK की सेवा कर रहा है और iSCSI पर zvols निर्यात कर रहा है। 150TB एक तुच्छ राशि नहीं है, इसलिए मैं सलाह देने के लिए एक पेशेवर पर झुकूंगा।

मैंने ZFS के साथ डेटा कभी नहीं खोया है।

मैं है और सब कुछ अनुभव:

  • एक दर्जन SSD विफलताएं (कुछ L2ARC ड्यूटी में )
  • कई विफल पूल डिस्क
  • अप्रत्याशित एसएएस डिस्क के पास अंतिम प्रतिस्थापन के लिए अप्रत्याशित एसएटीए ड्राइव त्रुटियों की आवश्यकता होती है
  • गलतफहमी से कटौती के प्रयासों से नतीजा
  • सुरक्षित मोड से भ्रष्ट या दोषपूर्ण ज़ूलप्स की वसूली
  • खराब 10GE NIC पोर्ट / केबल लगाना
  • लगातार OS क्रैश
  • एक बिजली की हड़ताल ...

लेकिन उस सब के माध्यम से, डेटा की एक सराहनीय हानि कभी नहीं हुई थी। बस डाउनटाइम। इस स्टोरेज के ऊपर VMWare VMDK के बैठने के लिए, एक fsck या रिबूट अक्सर एक घटना के बाद आवश्यक था, लेकिन किसी भी अन्य सर्वर क्रैश से भी बदतर नहीं है।

एक ZIL डिवाइस के नुकसान के लिए, जो डिजाइन पर निर्भर करता है, आप क्या स्टोर कर रहे हैं और आपका I / O और पैटर्न लिखते हैं। मेरे द्वारा उपयोग किए जाने वाले ZIL डिवाइस अपेक्षाकृत छोटे (4GB-8GB) हैं और एक लेखन कैश की तरह कार्य करते हैं। कुछ लोग अपने ZIL उपकरणों को मिरर करते हैं। उच्च अंत STEC SSD उपकरणों का उपयोग मिररिंग को निषेधात्मक बनाता है। मैं इसके बजाय एकल DDRDrive PCIe कार्ड का उपयोग करता हूं । बैटरी / यूपीएस सुरक्षा के लिए योजना और सुपर-कैपेसिटर बैकअप के साथ SSD या PCIe कार्ड का उपयोग करें (RAID नियंत्रक BBWC और FBWC कार्यान्वयन के समान )।

मेरा ज्यादातर अनुभव सोलारिस / ओपनसोलारिस और नेक्सेंटास्टोर चीजों की तरफ रहा है। मुझे पता है कि लोग फ्रीबीएसडी पर जेडएफएस का उपयोग करते हैं, लेकिन मुझे यकीन नहीं है कि ज़ूल के संस्करणों और अन्य विशेषताओं के पीछे कितनी दूर हैं। शुद्ध भंडारण तैनाती के लिए, मैं नेक्सेंटास्टर मार्ग (और एक अनुभवी साथी से बात करना ) पर जाने की सलाह दूंगा , क्योंकि यह एक उद्देश्य-निर्मित ओएस है और फ्रीबीएसडी की तुलना में सोलारिस डेरिवेटिव पर अधिक महत्वपूर्ण तैनाती चल रही है।


मैंने अपने प्रश्न को कुछ और जानकारी के साथ अद्यतन किया, लेकिन मैं विशेष रूप से अधिक विवरण जानने में दिलचस्पी रखता हूं: 'डेटा की कभी भी सराहना नहीं करना', और इसका क्या अर्थ है / शामिल। इसके अलावा उन खराब झूलों को ठीक करने, खराब एनआईसी को संभालने और यहां तक ​​कि एसएटीए ड्राइव के साथ समस्याओं और एसएएस पर स्विच करने के बारे में अधिक जानने के बारे में जानने में दिलचस्पी है (हालांकि आपको यह जानकर खुशी होगी, मैं संभवतः 3TB डेटा से अधिक 2TB SAS के साथ जाऊंगा आपकी सिफारिश पर)।
चक्रवात

गैर-प्रशंसनीय-हानि == कुछ सेकंड के ट्रांसेक्शनल डेटा, या क्रैश-सुसंगत स्थिति । और बुरे NIC को एक VMWare होस्ट में अलग-थलग कर दिया गया और परिणामस्वरूप VM- स्तर पर समस्याएँ उत्पन्न हुईं। अंतर्निहित ZFS भंडारण नहीं।
ewhite

design the right wayलिंक अब टूट गया है।
सौरभ नंदा

11

मैंने ओपनसिलेरोसिस के अंतिम संस्करण पर गलती से दोनों ZIL को ओवरराइड कर दिया, जिससे पूरा पूल बेकार हो गया। (मेरी ओर से वास्तव में बुरी गलती! मुझे समझ नहीं आया कि ZIL खोने का मतलब पूल को खोना होगा। सौभाग्य से डाउनटाइम के साथ बैकअप से पुनर्प्राप्त किया गया।)

संस्करण 151a के बाद से (हालांकि ZPool संस्करण का मतलब क्या है पता नहीं है), इस समस्या को ठीक किया गया है। और, मैं गवाही दे सकता हूं कि यह काम करता है।

इसके अलावा, मैंने एक 20tb सर्वर पर ZERO डेटा खो दिया है - जिसमें उपयोगकर्ता त्रुटि के कई और मामले, कई बिजली-विफलताएं, डिस्क गलत प्रबंधन, गलत कॉन्फ़िगरेशन, कई विफल डिस्क आदि शामिल हैं, भले ही प्रबंधन और सोलारिस पर कॉन्फ़िगरेशन इंटरफेस अक्सर बदलते हैं और एक संस्करण से दूसरे संस्करण तक और मज़बूती से एक महत्वपूर्ण कभी-स्थानांतरण कौशल लक्ष्य प्रस्तुत करते हैं, यह अभी भी ZFS के लिए सबसे अच्छा विकल्प है।

न केवल मैंने ZFS (मेरी भयानक गलती के बाद) पर डेटा खो दिया है, बल्कि यह लगातार मेरी रक्षा करता है। मुझे अब डेटा भ्रष्टाचार का अनुभव नहीं है - जिसने मुझे पिछले 20 वर्षों से किसी भी सर्वर और वर्कस्टेशन पर किसी भी तरह से परेशान किया है, जो मैं करता हूं। साइलेंट (या सिर्फ "बहुत शांत") डेटा भ्रष्टाचार ने मुझे कई बार मार दिया है, जब डेटा बैकअप रोटेशन को बंद कर देता है, लेकिन वास्तव में डिस्क पर भ्रष्ट हो गया है। या अन्य परिदृश्य जहां बैकअप ने भ्रष्ट संस्करणों का बैकअप लिया है। यह केवल एक ही समय में बड़े पैमाने पर डेटा खोने से कहीं अधिक बड़ी समस्या है, जो लगभग हमेशा वैसे भी समर्थित है। इस कारण से, मैं सिर्फ ZFS से प्यार करता हूं और समझ नहीं पाता कि एक दशक तक फाइल सिस्टम में चेकसमिंग और ऑटोमैटिक हीलिंग मानक फीचर्स क्यों नहीं रहे। (दी गई, सही मायने में जीवन-या-मृत्यु प्रणाली में आमतौर पर अखंडता का बीमा करने के अन्य तरीके हैं,)

बुद्धिमान के लिए शब्द, यदि आप ACL- नर्क में नहीं उतरना चाहते हैं, तो CIFS सर्वर में निर्मित ZFS का उपयोग न करें। सांभर का प्रयोग करें। (आपने कहा कि आप NFS का उपयोग करते हैं।)

मैं एसएएस बनाम एसएटीए तर्क से असहमत हूं, कम से कम यह सुझाव कि एसएएस हमेशा जेडएएफ के लिए एसएटीए पर पसंद किया जाता है। मुझे नहीं पता कि क्या टिप्पणी [s] संदर्भित कर रहा था थाली रोटेशन की गति, प्रकल्पित विश्वसनीयता, इंटरफ़ेस गति, या कुछ अन्य विशेषता [s]। (या शायद सिर्फ "वे अधिक खर्च करते हैं और आमतौर पर उपभोक्ताओं द्वारा उपयोग नहीं किए जाते हैं, इसलिए वे श्रेष्ठ हैं।" हाल ही में जारी उद्योग सर्वेक्षण (अभी भी मुझे यकीन है कि खबर में), से पता चला है कि एसएटीए वास्तव में एसएएस को कम से कम के साथ रेखांकित करता है। सर्वेक्षण का महत्वपूर्ण नमूना आकार। (मुझे यकीन है कि हैरान कर दिया।) मुझे याद नहीं आ रहा है कि अगर SATA, या उपभोक्ता के "उद्यम" संस्करण, या क्या गति थी - लेकिन मेरे काफी अनुभव में, उद्यम और उपभोक्ता मॉडल उसी पर विफल सांख्यिकीय रूप से महत्वपूर्ण दरें। (उपभोक्ता ड्राइव की समस्या है, हालांकि असफलता पर समय-समय पर बहुत अधिक समय लगता है, जो निश्चित रूप से उद्यम में महत्वपूर्ण है - लेकिन मुझे काट नहीं लिया गया है, और मुझे लगता है कि यह हार्डवेयर नियंत्रकों के लिए अधिक प्रासंगिक है जो पूरे ले सकते हैं ऐसे मामलों में वॉल्यूम ऑफ-लाइन। लेकिन यह एक एसएएस बनाम एसएटीए मुद्दा नहीं है, और जेडएफएस ने मुझे कभी भी इस पर विफल नहीं किया है। उस अनुभव के परिणामस्वरूप, मैं अब 1/3 उद्यम और 2/3 उपभोक्ता एसएटीए ड्राइव का मिश्रण का उपयोग करता हूं। ।) इसके अलावा मैंने SATA के इस मिश्रण के साथ कोई महत्वपूर्ण प्रदर्शन नहीं देखा है, जब ठीक से कॉन्फ़िगर किया गया हो (जैसे कि तीन-तरफा दर्पणों की एक पट्टी), लेकिन फिर मेरे पास एक कम IOPS की मांग है, इसलिए यह निर्भर करता है कि आपकी दुकान कितनी बड़ी है और मैं विशिष्ट उपयोग के मामले, YMMV। मैंने निश्चित रूप से देखा है कि मेरे उपयोग के मामलों में प्रति-डिस्क कैश-इन कैश आकार, प्लैटर घूर्णी गति की तुलना में विलंबता के मुद्दों के लिए अधिक मायने रखता है।

दूसरे शब्दों में, यह कई मापदंडों के साथ एक लिफाफा है: लागत, थ्रूपुट, आईओपीएस, डेटा का प्रकार, उपयोगकर्ताओं की संख्या, प्रशासनिक बैंडविड्थ और सामान्य उपयोग के मामले। यह कहना कि एसएएस हमेशा सही समाधान होता है, उन कारकों के क्रमबद्धता के एक बड़े ब्रह्मांड की अवहेलना करना।

लेकिन किसी भी तरह से, ZFS बिल्कुल चट्टानों।


3
प्रतिउत्तर हेतु समय लेने के लिए धन्यवाद। ZFS के साथ आपका अनुभव मेरे अनुरूप है। ड्राइव चयन पर मेरी टिप्पणी विशेष रूप से एसएएस बनाम एसएटीए डिस्क के पास थी। मुख्य अंतर इंटरफ़ेस है। वे यंत्रवत समकक्ष हैं। जेडएएफएस-भूमि में अब सबसे अच्छा अभ्यास एसएएए द्वारा पेश किए गए दोहरे पोर्ट इंटरफेस, बेहतर त्रुटि-सुधार और प्रबंधनीय समयबाह्य की आवश्यकता के कारण एसएटीए से बचने के लिए है।
21

मैंने 3TB SAS डिस्क के साथ जाना समाप्त कर दिया है, लेकिन .... ऐसा करने से पहले मैंने 30 या इतने मिश्रित डिस्क (5 400GB SATA, 12 750GB SATS, 14 1TB SAS) को एक साथ सिल दिया जो कि मैंने उसी SAS विस्तारित बाड़े में डाल दिया। वास्तव में एक बुरी स्थिति के अनुसार। इन ड्राइवों में भी ~ 2-3 वर्ष का रनटाइम पहले से था। मैंने तब एक प्रोग्राम लिखा, जिसमें 8 थ्रेड्स को बेतरतीब ढंग से पढ़ना और पूल को फाइल डिलीट करना था। मैं एक सप्ताह से अधिक समय तक चला। पढ़ें और लिखा> 100 टीबी पूल के लिए ... कोई समस्या नहीं। एवीजी आर / डब्ल्यू 100-400 एमबी / सेकंड। मुझे संदेह है कि एसएएस चेतावनियों पर एसएटीए अब पुरानी खबर हो सकती है।
चक्रवात
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.