एक SLES 10 सर्वर में 60TB स्टोरेज जोड़ना

Question

मुझे SLES 10 सर्वर में कुछ संग्रह \ स्टेजिंग स्टोरेज जोड़ना होगा। आवश्यकता काफी बड़ी मात्रा में प्रस्तुत करने की है (9-20TB प्रत्येक लगभग, 60TB या तो कुल मिलाकर) जिसका उपयोग संग्रह डेटा संग्रहीत करने के लिए किया जाएगा (शाब्दिक रूप से, यह एक पुस्तकालय के लिए है) जिसमें बड़ी छवि फाइलें (150Meg टिफ़ सबसे भाग के लिए) हैं और बड़े तारकोल। IO को पढ़ने के लिए डेटा काफी हद तक पक्षपाती होगा, निश्चित रूप से> 95% और शायद 99% से अधिक।

भंडारण पहले ही खरीदा जा चुका है - एक Dell MD3000 SAS सरणी daisy 2 MD1000 के साथ पूरी तरह से आबाद 2TB 7200 RPM SATA ड्राइव, कुल 45 ड्राइव के साथ। सरणियों का ढेर दो दोहरे पोर्ट वाले बाहरी एसएएस एडेप्टर का उपयोग करके जुड़ा हुआ है यानी स्टैक के 4 मार्ग हैं।

मेरा इरादा 4 RAID समूहों पर बैठे 4 संस्करणों के एक सेट के रूप में एक गर्म स्पेयर प्रति सरणी के साथ कॉन्फ़िगर करना है। सभी समूह 7 या 14 ड्राइव के साथ RAID 6 होंगे, और प्रत्येक RAID समूह को उस समूह में सभी क्षमता का उपयोग करके एक एकल LUN के रूप में प्रस्तुत किया जाएगा। SLES के पक्ष में इन्हें XFS वॉल्यूम के रूप में स्वरूपित करने की आवश्यकता होती है।

मुझे SLES (और सामान्य रूप से लिनक्स) के साथ सीमित अनुभव है और मैं इस बारे में कुछ सिफारिशों की तलाश कर रहा हूं, विशेष रूप से:

1. क्या एसएलईएस 10 के तहत इस आकार के एक्सएफएस वॉल्यूम को कॉन्फ़िगर करते समय सावधान रहने के लिए कोई विशेष चीजें हैं, यानी डिफ़ॉल्ट सेटिंग्स ठीक होने जा रही हैं IO प्रोफ़ाइल?
2. इन तरीकों को शुरू करने के लिए सबसे अच्छा तरीका क्या है? मैंने अपने प्रारंभिक परीक्षण के लिए XFS वॉल्यूम बनाने और प्रारूपित करने के लिए एक डिस्क लेबल और YAST विभाजन प्रबंधक (सभी डिफ़ॉल्ट को स्वीकार करते हुए) सेट करने के लिए Parted का उपयोग किया।
3. मैं मल्टीपथिंग कैसे सेट करूं? जब मैं एक प्रारंभिक परीक्षण की मात्रा प्रस्तुत करता हूं तो यह चार अलग-अलग उपकरणों (/ देव / एसडीएल, / देव / एसडीएम, / देव / एसडीएन और / देव / एसडीएन) के रूप में प्रकट होता है। मैं एकल वॉल्यूम के रूप में इसके साथ काम करने के लिए क्या करूं?
4. अपने शुरुआती परीक्षण में मैं एक मौजूदा EMC क्लैरियन SAN वॉल्यूम के हस्तांतरण की दर लगभग 30Meg / sec देख रहा हूं। यह मेरी अपेक्षा से बहुत कम है, यहां तक ​​कि RAID 6 के लिए लेखांकन भी लिखता है मैं 70-100Meg / सेकंड के बॉलपार्क में कुछ देखने की उम्मीद करता हूं।
5. अगर सब कुछ ठीक है तो मैं कैसे बता सकता हूं - मुझे त्रुटियों / चेतावनियों आदि के लिए कहां देखना चाहिए? YAST विभाजन संपादक को उदाहरण के लिए लॉन्च करने में बहुत लंबा समय लगता है और मैं समझना चाहता हूं कि क्यों।
6. क्या आप इसे अलग तरह से विभाजित करेंगे और \ या एक अलग फाइल सिस्टम का उपयोग करेंगे और यदि ऐसा है तो क्यों?

सर्वर एक डेल 2950 है - मैंने विस्तृत स्पेक्स की जाँच नहीं की है, लेकिन सबसे कम एकल अंकों में मँडराते हुए उपयोग दिखाता है।

Answer 1

मेरी पिछली नौकरी में हमें इसी तरह की समस्या थी। हम तारामंडल के लिए उत्पादन कर रहे थे और प्रत्येक फ्रेम 64 मेगापिक्सल था। बड़ी छवियों के बहुत सारे। इन्हें प्रत्येक थिएटर के लिए कंप्यूटर के एक क्लस्टर पर बहुत आक्रामक रीड ऑपरेशन में संसाधित किया जाएगा।

इस मामले में सर्वर के पास एक समान स्टोरेज सेटअप था। एकाधिक बाहरी प्रत्यक्ष संलग्न RAID सरणियाँ। इनमें से प्रत्येक होस्ट के सामने RAID6 वॉल्यूम में थे और LVM (लॉजिकल वॉल्यूम मैनेजर) के तहत एक VG (वॉल्यूम ग्रुप) में जोड़े गए। प्रत्येक शो / प्रोडक्शन को तब अपना स्वयं का LV (लॉजिकल वॉल्यूम) मिलेगा, फॉर्मेट किया हुआ XFS, जिसे हम आवश्यकतानुसार प्रोजेक्ट के साथ विकसित करेंगे।

यदि आपके डेटासेट बहुत स्थिर हैं या इस तरह से अनुमानित रूप से बढ़ते हैं तो यह दृष्टिकोण आपके लिए अच्छी तरह से काम करना चाहिए। लेकिन सावधान रहें यह दृष्टिकोण एक नकारात्मक पहलू है। आप अपने स्टोरेज पर LV के माइक्रो-मैनेजमेंट को समाप्त करते हैं। कुछ प्रशंसक इसे इस तरह से पसंद करते हैं लेकिन अन्य इससे बचने की कोशिश करेंगे। लेकिन इससे आपको प्रत्येक LV और XFS फ़ाइल सिस्टम को बढ़ने की अनुमति मिलती है क्योंकि डेटासेट बढ़ता है। अपने XFS वॉल्यूम को जितना संभव हो उतना छोटा रखें ताकि आपको एक फस्क के साथ अटक न जाए जो पूरा होने में वर्षों लगते हैं। और क्षति नियंत्रण के रूप में कार्य कर सकता है एक फाइल सिस्टम को दक्षिण में जाना चाहिए।

डिस्क्लेमर: अगर मैं इसे आज सेट करता तो मैं OpenSolaris और ZFS का उपयोग करता। मुख्य रूप से b / c यह माइक्रो प्रबंधन समस्याओं से बचा जाता है और एक बेहतर फ़ाइल सिस्टम / वॉल्यूम प्रबंधक है। तो आप उस पर भी एक नज़र रखना चाहते हो सकता है।

Answer 2

मैं इतना अधिक डिस्क खरीदने के लिए और अधिक शामिल होगा RAID 10 उन्हें।

मैं 1TB FATA (फाइबर-संलग्न SATA) सैकड़ों के साथ भयावह समस्याएँ रखता हूं, हमने कुछ समय पहले खरीदा था, ये £ 1k प्रत्येक हैं और मैं प्रति माह 5% खो रहा हूं! मूल रूप से वे सिर्फ एक 24x7 कर्तव्य चक्र के लिए डिज़ाइन नहीं किए गए हैं और आपके पास समान मुद्दे हो सकते हैं यही कारण है कि मैं आर 10 की सिफारिश करूंगा।

RAID6 सही दिशा में एक कदम है, लेकिन अगर आपके पास क्षमता है तो मैं कम से कम एक डिस्क को गर्म-स्पेयर के रूप में छोड़ दूंगा - अगर कोई डिस्क आपके सरणी पर कहीं भी मर जाती है, तो यह आपके लिए इंतजार करते समय कूद जाएगा और पट्टी कर देगा। असफल डिस्क को बदलें। उस विषय पर सुनिश्चित करें कि आपके पास प्रतिस्थापन के लिए कम से कम 2 या 3 अतिरिक्त डिस्क-साइट तैयार हैं और यह भी सुनिश्चित करें कि 24x7 की समस्या होने पर आपको यह बताने के लिए सभी अलर्ट सेटअप होने चाहिए।

प्रदर्शन के लिए, अच्छी तरह से उन 2GB डिस्क एक 7.2k डिस्क के लिए slouchy नहीं हैं और एसएएस बहुत जल्दी हो सकता है इसलिए मुझे उम्मीद है कि आपके द्वारा उल्लिखित क्रमिक रीड्स के लिए 70 एमबीपीएस - जाहिर है रैंडम और राइट बहुत कम होंगे।

क्षमा करें यदि मुझे नकारात्मक लगता है, तो मैंने अभी वर्षों तक भंडारण के साथ कुश्ती की है और केवल एंटरप्राइज़ डिस्क सिस्टम के साथ आसानी से सो सकता हूं - मैंने निचले-छोर गियर को ठीक करने के लिए बहुत अधिक 48/72-घंटे की शिफ्ट खींची है।

Comments

उत्कृष्ट बिंदु - मैंने प्रश्न में निर्दिष्ट नहीं किया है, लेकिन मैंने 3 गर्म पुर्जों को आरक्षित किया है, 1 प्रति सरणी। दुर्भाग्य से मेरे पास जल्द ही किसी भी समय और अधिक डिस्क प्राप्त करने का विकल्प नहीं है, लेकिन मैं ग्राहक को कुछ संस्करणों में क्षमता को छोड़ने के लिए सहमत होने में सक्षम हो सकता हूं।

— हेल्विक