बड़े NAS के लिए RAID विन्यास

Question

मैं एक 24 1TB डिस्क NAS बॉक्स बनाने की सोच रहा हूं, लेकिन मुझे यकीन नहीं है कि सबसे अच्छा ड्राइव कॉन्फ़िगरेशन क्या है। मैं अरेरा ARC-1280ML-2G नियंत्रक का उपयोग कर रहा हूं, और इसके सभी 24 ड्राइव बंद कर रहा हूं।

मुझे लगता है कि यह सब एक वॉल्यूम के रूप में आरोहित किया जाना है, जिस प्रकार के डेटा के कारण हम इसे स्टोर कर रहे हैं। एक पागल विचार हमें 6 6-डिस्क RAID 5 संस्करणों को कॉन्फ़िगर करने के लिए था, फिर उन 6 संस्करणों पर सॉफ्टवेयर RAID 5 करें। इसका मतलब है कि कोई भी एक वॉल्यूम हम पर मर सकता है और हम अभी भी डेटा नहीं खोएंगे।

मुझे ध्यान देना चाहिए कि यह एक आरएंडडी परियोजना है, हमें एक आगामी आवेदन मिला है जहां हमें तेज और अत्यधिक उपलब्ध होने के लिए दसियों टेराबाइट्स की आवश्यकता होगी। लेकिन प्रारंभिक आर एंड डी चरण के लिए हम कुछ जोखिम स्वीकार कर सकते हैं।

इस प्रकार के विन्यास का सबसे अच्छा समाधान क्या है? 24 1 टीबी डिस्क के साथ, यह संभावना है कि एक ही समय में एक से अधिक विफल हो जाएगा (या समय के भीतर पहली विफलता के बाद वॉल्यूम के पुनर्निर्माण में लग जाता है), इसलिए मुझे एक अच्छा समाधान खोजने में परेशानी हो रही है।

Answer 1

आप जो चाहते हैं उसके लिए पहले से ही एक RAID स्तर है; इसे RAID 10 कहा जाता है।

पेशेवर और उपभोक्ता स्तर की ड्राइव के लिए MTBF ने हाल के वर्षों में परिमाण के क्रम में वृद्धि की है, अचूक त्रुटि दर अपेक्षाकृत स्थिर बनी हुई है। यह दर 10 ^ 14 बिट्स का अनुमान है, इसलिए प्रति 12 टेराबाइट्स में से एक बिट, उपभोक्ता एसएटीए ड्राइव, स्रोत के लिए पढ़ा जाता है ।

तो, आपके 24Tb ड्राइव के आपके पास के हर स्कैन के लिए, सांख्यिकीय रूप से आप कम से कम 2 सिंगल बिट त्रुटियों का सामना करेंगे। उन त्रुटियों में से प्रत्येक एक RAID5 पुनर्निर्माण को ट्रिगर करेगा, और इससे भी बदतर, एक दूसरी त्रुटि के पुनर्निर्माण के दौरान एक दोहरे दोष का कारण होगा।

Comments

अचूक त्रुटि दर पर उत्कृष्ट अंक, लेकिन तीसरे पैराग्राफ में, आपको यह जोड़ना चाहिए कि "सांख्यिकीय रूप से, आपका सामना होगा ...", क्योंकि हम सभी जानते हैं कि त्रुटियों को पढ़ना (या उनकी कमी) निश्चित नहीं हैं

— मैट सीमन्स

क्या यह पुनर्निर्माण से पहले फिर से पढ़ने की कोशिश नहीं करेगा?

— एंटोनी बेनकेमॉन

एंटोनी: यकीन है, लेकिन अगर यह वास्तव में पढ़ा नहीं जा सकता है, यह समानता, IIRC से डेटा प्राप्त करने के लिए पुनर्निर्माण करने जा रहा है।

— मैट सिमंस

@ एटन, ये अचूक पठन त्रुटियां हैं, यह त्रुटियां हैं जो ड्राइव ईसीसी लॉजिक द्वारा सही नहीं हैं (जो कि 1: 10 ^ 14 से काफी अधिक दर पर त्रुटियों को सही कर रहा है)

— डेव चेनी

तो ये त्रुटियां हैं जो लिखने की त्रुटियों के कारण होती हैं? क्या सफल होने से एक दूसरे को पढ़ता है?

— एंटोनी बेनकेमॉन

Answer 2

यह ठीक मेरा रोजमर्रा का काम है ... लिनक्स स्टोरेज सर्वर का निर्माण।

• अरेका कार्ड ठीक है। आप इसे RAID-6 में उपयोग कर सकते हैं, यह उचित सुरक्षा प्रदान करेगा। वैकल्पिक बैटरी बैकअप यूनिट भी खरीदें ।
• डेस्कटॉप ग्रेड नहीं, एंटरप्राइज़ ग्रेड डिस्क का उपयोग करें । आप अपने सर्वर पर 400 और रुपये खर्च करेंगे, लेकिन यह इसके लायक है। दो स्पेयर ड्राइव खरीदें। इसके साथ गड़बड़ न करें, एक ही मॉडल के डिस्क का उपयोग करें।
• फाइलसिस्टम के लिए, XFS का उपयोग करें । मजाक नहीं कर रहे हैं, ext3 और दोस्तों बस 16TB + filesystems के लिए काम नहीं किया जाएगा। गंभीर दुर्घटना की स्थिति में भी, Xfs_repair 20TB वॉल्यूम (15 मिनट, इससे अधिक नहीं) पर काफी तेज़ होगा।
• अधिमानतः, LVM2 का उपयोग करें , यह संग्रहण प्रबंधन को आसान बना देगा, भले ही आप इसे संशोधित करने की योजना न करें।
• एरेका प्रबंधन उपकरण स्थापित करें और स्वास्थ्य जांच के साथ आपको दैनिक ईमेल भेजने के लिए क्रॉन जॉब लिखें।
• बैकअप मत भूलना । RAID बैकअप नहीं है; यदि कोई व्यक्ति किसी महत्वपूर्ण फ़ाइल को हटा देता है, तो आप एक उचित बैकअप के बिना पुनर्प्राप्त नहीं कर पाएंगे। मैं एक महीने के इतिहास के साथ समर्पित सर्वर पर सभी महत्वपूर्ण डेटा को बचाने के लिए व्यक्तिगत रूप से rdiff- बैकअप का उपयोग करता हूं ; आप अपने फ़ाइल सर्वर पर दो RAID वॉल्यूम भी बना सकते हैं और दूसरे पर बैकअप ले सकते हैं।

Answer 3

वाह, RAID5 ओवर RAID5? प्रदर्शन समस्याओं पर चर्चा करना चाहते हैं? आपके पास टन होगा । जिस होस्ट को आप लटकाते हैं, उसके पास बिल्ली के बच्चे की कंप्यूटिंग समानता होगी, जो उस समानता को 3 ड्राइव तक लिखता है और फिर उस समानता की समानता को कंप्यूटिंग करके उस सेट के 4 वें ड्राइव पर लिखता है। वाह!

RAID10 के बारे में बात करते हैं। यह अनिवार्य रूप से RAID 1 है, लेकिन आप अपने ड्राइव को आधा और दर्पण में विभाजित करते हैं। यह दोषपूर्ण है कि आप 2 ड्राइव खो सकते हैं और फिर भी ठीक रह सकते हैं, साथ ही प्रदर्शन उत्कृष्ट है।

यदि आपको अंतरिक्ष की एक पागल राशि की आवश्यकता नहीं है, लेकिन आपको एक 24TB सरणी मिल गई है जो कुछ भी नहीं करने के लिए बेहतर है, लेकिन यह पूरी तरह से सकारात्मक होना चाहिए, तो आप RAID60 पर विचार कर सकते हैं। यह अनिवार्य रूप से ड्राइव के मिरर सेट का उपयोग करके RAID6 है। आप अपने आधे ड्राइव को खो देंगे, और प्रदर्शन खराब होगा, लेकिन आपको लगभग गारंटी होगी कि डेटा वहां होगा।

वास्तव में, मैं RAID10 के साथ जाऊंगा। यह अच्छा प्रदर्शन करता है और ठीक काम करता है। मैं दूसरी इवान की राय है कि शायद आप को बहुत सारे डिस्क से विशालकाय RAID सेट नहीं करना चाहिए, क्योंकि जैसा कि वह कहता है, fsck और chkdsk जैसी चीजें हमेशा के लिए ले जाएंगी, और इससे भी महत्वपूर्ण बात मेरे दिमाग में, क्योंकि एक रीड एरर की सांख्यिकीय संभावना व्यक्तिगत डिस्क आकार के रूप में ऊपर जाता है। मैं प्रति सेट 7-10 डिस्क की सिफारिश करूंगा। आप 3 बहुत ही शालीनता से आकार बना सकते हैं, जिसमें स्पिंडल की संख्या के साथ RAID वॉल्यूम होता है।

जो भी आप चुनते हैं, गर्म पुर्जों पर एक-दो डिस्क को छोड़ना याद रखें, ताकि आप उन्हें फिर से बनाना शुरू कर सकें, बजाय उन्हें बदलने के लिए आपको इंतजार करने के। जैसे ही एक डिस्क मर जाती है, एक और जाने के लिए घड़ी टिक करना शुरू कर देती है।

Comments

@ मैट: मैं RAID सेट के आकार के बारे में बात नहीं कर रहा हूँ - मैं फाइल सिस्टम के आकार के बारे में बात कर रहा हूँ। एक एकल फाइलसिस्टम का उपयोग करना, जो कि बड़े फाइल सिस्टम के प्रकार की परवाह किए बिना, विशाल डाउनटाइम के लिए पूछ रहा है, जब आपको एक फाइलसिस्टम चेक चलाना होगा क्योंकि होस्ट ओएस फाइल सिस्टम को "दूषित" करता है,

— इवान एंडरसन

@ इवान - सॉरी, मेरा बुरा। लेकिन इसके खिलाफ एक और तर्क है, साथ ही साथ।

— मैट सिमन्स

@Matt: क्या के खिलाफ एक तर्क? RAID कंटेनरों का लेआउट और उन RAID कंटेनरों पर फाइल सिस्टम की संख्या orthagonal चिंताएं हैं। आपके पास एक एकल RAID कंटेनर में एक भी फाइल सिस्टम नहीं है , और एक फाइल सिस्टम अधिकांश ऑपरेटिंग सिस्टम में कई RAID कंटेनरों को फैला सकता है।

— इवान एंडरसन

आप दोनों पर सही हैं। हम सहमत हैं। आपको बहुत बड़े फाइल सिस्टम नहीं बनाने चाहिए क्योंकि चेक टाइम खराब है। तुम भी बहुत बड़ी छापे मात्रा नहीं करना चाहिए क्योंकि एक पढ़ने में त्रुटि की सांख्यिकीय संभावना बढ़ जाती है।

— मैट सिमन्स

Answer 4

RAID 1 + 0 क्यों नहीं? यह सभी नियंत्रक स्तर पर नियंत्रित किया जाता है ...

Answer 5

मुझे पता है कि आपने "R & D" कहा था, लेकिन आपने "अत्यधिक उपलब्ध" भी कहा। मैं एक DIY समाधान की "बचत" पर सवाल उठाऊंगा, ऐसा करने के लिए ऑफ-द-शेल्फ SAN गियर खरीदना। जब चीजें आपके DIY समाधान के साथ गलत हो जाती हैं, तो आप मदद के लिए संपर्क करने के लिए कोई नहीं होने की असंभव स्थिति में होने जा रहे हैं। डाउनटाइम आपको प्रति घंटे क्या खर्च करता है? आप डेटा के सही नुकसान से जुड़े खर्च को अनदेखा करते हुए डाउनटाइम खर्च में कुछ मध्यम-स्तरीय सैन गियर की लागत को जल्दी से खा सकते हैं।

भले ही आप अंतर्निहित डिस्क के बारे में क्या करते हैं, मैं एक बड़ी फ़ाइल सिस्टम नहीं बनाऊंगा।

फाइलसिस्टम भ्रष्टाचार एक वास्तविक संभावना है (RAID नियंत्रक मुद्दा, ओएस बग आदि)। एक बड़ी मात्रा में, एक फाइलसिस्टम चेक हमेशा के लिए लेने वाला है। मैं अत्यधिक मात्रा में ऐसे कई संस्करणों का उपयोग करने की सलाह देता हूँ, जिन्हें एक ही फाइलसिस्टम के रूप में प्रदर्शित करने के लिए तार्किक रूप से संयोजित किया जा सकता है (विभिन्न माध्यमों से- आपने ओएस का उल्लेख नहीं किया है, इसलिए मैं आपको विशिष्ट विचार नहीं दे सकता)। यदि आपके पास कुछ फाइल सिस्टम भ्रष्टाचार है तो आप लॉजिकल वॉल्यूम का हिस्सा खो देंगे, लेकिन फिर भी आप "अप" होंगे।

एक उदाहरण के रूप में: एक विंडोज दुनिया में, 20TB NTFS वॉल्यूम पर फाइलों से भरा CHKDSK चलाना SLOW होने जा रहा है । उस तरह के माहौल में, मैं कई छोटे NTFS वॉल्यूम बनाऊंगा और उन्हें तार्किक रूप से DFS के साथ एक ही नामस्थान में जोड़ दूंगा।

Answer 6

वज़ोक्स, उत्तर अच्छे हैं मेरे पास उसे और अधिक अंक देने के लिए प्रतिनिधि नहीं है, लेकिन मैं निम्नलिखित जोड़ूंगा।

RAID 6 या कम से कम 2 लाइव समता डिस्क प्रति 10 डिस्क, 16 सबसे अधिक है कि अगर आप एक दिन के आसपास ले जा सकते हैं जब प्रदर्शन आपके छापे पुनर्निर्माण से प्रभावित होगा। यदि आप गिरावट के साथ नहीं रह सकते हैं तो इसके लिए धारियों को प्रतिबिंबित करना होगा।

यदि आप लिनक्स रूट पर जा रहे हैं, तो मैं या तो हार्डवेयर रेड कार्ड (बैटरी बैकअप के साथ) का उपयोग करूंगा या डिस्क संलग्नक में एक रेड कंट्रोलर रखूंगा। मैं मानता हूं कि xfs लिनक्स पर पसंद की फाइलसिस्टम है, हालाँकि इस बात से अवगत रहें कि यदि आप xfs_check को चलाने की आवश्यकता है, तो xfs पर लगभग 50TB की फाइल सिस्टम 16GB से अधिक रैम लेती है।

मैं गंभीरता से एक अच्छा NAS बॉक्स जैसे कि एक NetApp के रूप में विचार करूँगा क्योंकि वे बहुत कम काम करने वाले दीर्घकालिक हैं, यह निर्भर करता है कि आपका / कंपनी के लिए भंडारण का समय कितना है।

अच्छा प्रदर्शन करने के लिए एनएफएस / सांबा प्राप्त करना एक अंधेरे कला का एक सा है, क्या आप 10 जीबी ईथर या 1 जीबी / सेकंड के एकत्रीकरण का उपयोग करने जा रहे हैं? (विशेषकर 10GB वाले ब्रॉडकॉम कार्ड न प्राप्त करें)।

LVM2 एक ब्रेनर है लेकिन स्नैप शॉट का उपयोग न करें क्योंकि यह तेज़ नहीं है।

याद रखें इसका बैकअप लेने में कुछ समय लगेगा।

जिस तरह से उत्पादन में जाने से पहले सिस्टम विफल हो सकता है, उसका परीक्षण करें और यह लिखा है कि जब आप और आपके सहकर्मी सभी गलत हो जाते हैं तो डॉक्स पा सकते हैं।

Answer 7

यह आपके पढ़ने / लिखने के अनुपात पर निर्भर करता है। हम बहुत सारे HP MSA70 एक्सटर्नल 25-डिस्क एसएएस ड्राइव एनक्लोजर का उपयोग करते हैं और हमेशा उन्हें एक एकल RAID6 एरे के रूप में बनाते हैं क्योंकि हमारा पढ़ा हुआ अनुपात 99% है: 1% इसलिए हमें ध्यान नहीं है कि R6 लिखने में सबसे धीमा है ( अभी भी बहुत जल्दी, बस दूसरों की तुलना में अच्छा नहीं है)। इस तरह हमारे पास 23 डिस्क्स डेटा उपलब्ध हैं, जो बहुत अच्छे हैं, जैसे कि बहुत अच्छा, रैंडम रीड और ओवरऑल रीड बैंडविड्थ फायदे हैं और दो डिस्क फेल्योर से बच सकते हैं।

एक मोटे गाइड के रूप में एक RAID5 सरणी में एक सरणी में लगभग 14 से अधिक डिस्क नहीं होनी चाहिए, जबकि एक RAID6 54 डिस्क या उसके साथ ठीक होना चाहिए - जाहिर है जितना बड़ा सरणी पढ़ने और लिखने और प्रदर्शन के बीच की खाई उतना बड़ा होगा धीमी गति से पुनर्निर्माण होगा, लेकिन यह एक अच्छा व्यापार बंद हो सकता है।

Answer 8

मैं एक शुरुआत के लिए दो स्टैंडबाय डिस्क जोड़ूंगा।

RAID 5 या 6 यादृच्छिक रीड या बड़े अनुक्रमिक रीड और लिखने के लिए ठीक है। यदि आप बहुत छोटे लेखन प्राप्त करने जा रहे हैं तो RAID 10 के साथ जाएं क्योंकि RAID 5+ छोटे लेखन पर 4 x हिट लेता है।

यदि आप लिखने को चालू करने जा रहे हैं तो याद रखें कि इसे बैटरी से वापस करें।