40TB सर्वर कॉन्फ़िगरेशन पर स्वच्छता की जाँच


21

मुझे कंप्यूटिंग में 40 साल हो गए हैं, लेकिन मुझे कभी भी इस तरह से एक सर्वर का निर्माण नहीं करना पड़ा, इसलिए यह एक n00b प्रश्न हो सकता है।

मेरे पास एक क्लाइंट है जो डाउनलोड के लिए अल्ट्रा-हाई डेफ म्यूजिक फाइल्स देने जा रहा है। इस मामले में इसका मतलब है कि FLAC- संपीड़ित 24 / 192Khz = ~ 10GB / एल्बम। (नहीं, मैं उत्पाद की वांछनीयता को डिस्कस नहीं करना चाहता, बस सर्वर कॉन्फ़िगरेशन।) कैटलॉग लगभग 3,000 एल्बम होंगे, दोनों अल्ट्रा-हाई और लो डिफ संस्करण (उनके आईपॉड के लिए, मुझे लगता है), के बारे में दे रहे हैं। 35-40TB या प्राथमिक डेटा का।

चूंकि यह एक बहुत ही विशिष्ट उत्पाद है, बाजार का आकार सापेक्ष छोटा होता है (सोचिए: जो लोग अपने ऑडियो सिस्टम पर $ 20,000 + खर्च करते हैं), जिसका अर्थ है कि अधिकांश समय सर्वर 100% निष्क्रिय (या इसके करीब) होने वाला है। मेरे पास 1 जीबीपीएस कनेक्शन और बैंडविड्थ के बारे में $ 20 / टीबी के साथ कोलोकास्टअमेरिका से एक अच्छा कॉलोलेशन ऑफर जैसा दिखता है, इसलिए अब मुझे सामान देने के लिए एक बॉक्स बनाना होगा।

डेटा-एक्सेस उपयोग का मामला राइट-वन / रीड-कई है, इसलिए मैं ड्राइव के जोड़े के लिए सॉफ़्टवेयर RAID 1 का उपयोग करने के बारे में सोच रहा हूं। यह मुझे (मुझे लगता है ) फेल-ऑन-फ्लाई के लिए स्पेयर ड्राइव को फिर से कॉन्फ़िगर करने की अनुमति देगा , जिससे सिस्टम पर लाल बत्ती को नोटिस करने से पहले दूसरी ड्राइव का पुनर्निर्माण शुरू हो सकेगा (वे फ्री स्वैप आउट करते हैं)। यह बहुत अच्छा होगा अगर मुझे अधिकांश ड्राइव सोने / स्पिन-डाउन करने के लिए मिल सकते हैं यदि उन्हें ज़रूरत नहीं है, जो कि अधिकांश ड्राइव के लिए सबसे अधिक समय होगा।

मुझे गणना शक्ति के रास्ते में ज्यादा जरूरत नहीं है - यह बात सिर्फ पाइप के नीचे वसा-वस्तुओं को हिलाती है - और इसलिए सीपीयू / मदरबोर्ड बहुत मामूली हो सकता है जब तक कि यह ड्राइव की संख्या का समर्थन कर सकता है।

मैं वर्तमान में निम्नलिखित कॉन्फ़िगरेशन पर विचार कर रहा हूं:

Chasis: Supermicro CSE-847E26-RJBOD1
Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?)
MB: SUPERMICRO MBD-X10SAE-O w/ 8GB
CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server

तो, क्या मैं सही दिशा में जा रहा हूं, या समस्या के करीब आने का यह पूरी तरह से n00b / डायनासोर तरीका है?

कुछ बिंदुओं को स्पष्ट करने के लिए अपडेट करें:

  1. मुझे ZFS के साथ कोई अनुभव नहीं है, क्योंकि मेरे पास आखिरी सूर्य उत्पाद 80 के दशक के अंत में था। मैं यह देखने के लिए थोड़ा RTFMing करूंगा कि क्या यह सही लगता है।
  2. मुझे वास्तव में फाइल सिस्टम के लिए कुछ भी शानदार करने की आवश्यकता नहीं है क्योंकि फाइल के नाम सरल यूयूआईडी होने वाले हैं, और ऑब्जेक्ट ड्राइव पर संतुलित होने जा रहे हैं (एक बड़े कैशिंग सिस्टम की तरह)। तो मैं वास्तव में 40 अलग फाइल सिस्टम के रूप में इन के बारे में सोच रहा था, और यह सही के बारे में RAID 1 ध्वनि (लेकिन मैं यहां अज्ञानता स्वीकार करता हूं)।
  3. क्योंकि हमारी वर्तमान अपेक्षाएँ यह हैं कि हम किसी भी समय एक दो दर्जन से अधिक फ़ाइलों को डाउनलोड करने की संभावना नहीं रखेंगे, और ज्यादातर मामलों में किसी भी दिए गए फ़ाइल को डाउनलोड करने वाला एक व्यक्ति होगा, मुझे नहीं पता कि हमें मेमोरी की आवश्यकता है या नहीं बफ़र्स के लिए। हो सकता है कि 8GB थोड़ा हल्का हो, लेकिन मुझे नहीं लगता कि 128GB ऊर्जा की खपत से ज्यादा कुछ करेगा।
  4. वहाँ 2 अलग मशीनों यहाँ उल्लेख नहीं कर रहे हैं: अपने वर्तमान वेब स्टोर, और एक लगभग पूरी तरह से decoupled डाउनलोड मास्टर कि हैंडल सभी प्रमाणीकरण, प्रबंधन निगलना नए उत्पाद, नीति प्रवर्तन (सभी के बाद, यह है RIAA खेल का मैदान), अल्पकालिक यूआरएल सृजन (और संभवतः इनमें से एक से अधिक जानवरों को डाउनलोडिंग सौंपना यदि ट्रैफ़िक हमारी अपेक्षाओं से अधिक हो), उपयोग ट्रैकिंग और रिपोर्ट जनरेशन। इसका मतलब यह है कि इस मशीन को क्वॉलेड्स पर गेरबिल्स का उपयोग करके लगभग बनाया जा सकता है।

ZFS? लाभ कहाँ है?

ठीक है, मैं कई जेडएफएस गाइड, एफएक्यू, आदि के माध्यम से अपना रास्ता बदल रहा हूं। मुझे बेवकूफ लगने के लिए माफ कर दो, लेकिन मैं वास्तव में एन RAID1 जोड़े की मेरी एंटीडिल्वियन धारणा पर जेडएफएस का उपयोग करने के लाभ को समझने की कोशिश कर रहा हूं । इस बेस्ट प्रैक्टिसेज पेज (2006 से) पर, वे 48 डिवाइस ZFS नहीं करने का सुझाव भी देते हैं , लेकिन 24 2-डिवाइस-मिरर - लगता है कि मैं क्या करने के बारे में बात कर रहा था। अन्य पृष्ठों में उन उपकरणों की संख्या का उल्लेख है जिन्हें 1 (एक) जेडएफएस ब्लॉक देने के लिए एक्सेस किया जाना है। इसके अलावा, कृपया याद रखें, प्रति वस्तु 10GB, और 80% डिस्क उपयोग पर, मैं प्रति 4BB ड्राइव में कुल 320 फाइलें संग्रहीत कर रहा हूं । किसी भी ड्राइव की विफलता के लिए N RAID 1s के साथ मेरा पुनर्निर्माण समय, एक डिवाइस से दूसरे डिवाइस पर 4TB लिखना है।ZFS इसे बेहतर कैसे बनाता है?

मैं एक डायनासोर होने का स्वीकार करता हूं, लेकिन डिस्क सस्ती है, RAID 1 मैं समझता हूं, मेरी फ़ाइल प्रबंधन की जरूरतें तुच्छ हैं, और लिनक्स पर जेडएफएस (मेरा पसंदीदा ओएस) अभी भी युवा है। शायद मैं बहुत रूढ़िवादी हूं, लेकिन जब मैं एक उत्पादन प्रणाली को देख रहा हूं, तो यह है कि मैं कैसे रोल करता हूं।

मैं आप सभी को आपकी टिप्पणियों के लिए धन्यवाद देता हूं जिन्होंने मुझे इस बारे में सोचने पर मजबूर किया। मैं अभी भी पूरी तरह से तय नहीं हुआ हूं और मुझे वापस आकर कुछ और n00b प्रश्न पूछने पड़ सकते हैं।


6
भंडारण की इस राशि के लिए, मैं भी कम से कम 128 gb का उपयोग करने पर विचार नहीं करेंगे RAM। इसके अलावा, जोर से फाइल सिस्टम का उपयोग करने पर विचार करें।
ईईएए

3
RAID1 ध्वनियों में डिस्क के जोड़े ... भयानक। व्यक्तिगत रूप से, मैं एक स्टोरेज सर्वर / शेल्फ को निर्दिष्ट करूंगा, इसे पास-लाइन एसएएस ड्राइव से भरा हुआ रटना, पूरी चीज़ को RAID 10 या 6 में डालकर, एक गर्म स्पेयर या दो जोड़कर एक दिन में कॉल करूँगा।
होपलेसनब बी

3
@ कैटफ़िश - कम्प्यूटेशनल उद्देश्यों के लिए रैम की आवश्यकता नहीं है, लेकिन यह फाइल सिस्टम कैश के लिए निश्चित रूप से आवश्यक है। केवल 8GB के साथ प्रदर्शन भयावह होगा। इससे भी ज्यादा अगर ZFS का उपयोग कर रहा है, जो वास्तव में केवल एफएस है तो मैं इस आकार पर गंभीर विचार करूंगा। ZFS को अच्छी तरह से कार्य करने के लिए बहुत अधिक रैम की आवश्यकता होती है । सौभाग्य से रैम अपेक्षाकृत सस्ती है।
ईईएए

1
प्रदर्शन 1Gbps संतृप्त करने के लिए पर्याप्त रूप से पर्याप्त होगा। प्रदर्शन केवल फ़ाइल सिस्टम में बिगड़ा होगा, डिस्क से ब्लॉक को फिर से जोड़ना था जो बफर-कैश से निष्कासित कर दिया गया था और अस्थायी स्थानीयता की बहुत कम या कोई उम्मीद नहीं दी गई थी, अतिरिक्त रैम के लिए कम रिटर्न का बिंदु अच्छी तरह से पहुंच गया है, 128 जीबी से पहले। कुछ हद तक फाइलसिस्टम और बड़ी फाइलों को देखते हुए, यहां तक ​​कि फाइल सिस्टम मेटाडेटा रैम की एक महत्वहीन राशि पर कब्जा कर लेगा। उन्होंने यह भी अपेक्षा की कि स्पार्स के उपयोग में पर्याप्त वृद्धि होगी, जिससे ड्राइव स्पिन्डाउन कर सकेंगे। '73s।
इथरफिश

5
बस डिस्क नीचे कताई पर एक नोट - यह मत करो! (मुझे पता लगाने के लिए क्यों क्लिक करें) स्पिन-अप / स्पिन-डाउन एक पारंपरिक हार्ड ड्राइव के चलती भागों पर बहुत अधिक पहनने वाला है, और समय से पहले विफलता का कारण होगा। सत्ता पर आपके द्वारा बचाए गए पैसे विफल डिस्क की जगह खो देंगे।
voretaq7

जवाबों:


12

आपकी समस्या के वर्णन के आधार पर आपकी समस्या स्टोरेज के रूप में इतनी अधिक नहीं है।
आप ZFS जैसी विश्वसनीय, मजबूत फाइल सिस्टम चाहते हैं, जिसे बड़ी भंडारण क्षमता को अच्छी तरह से संभालने के लिए डिज़ाइन किया गया है, और अंतर्निहित प्रबंधन क्षमताओं को प्रबंधित करने के लिए सिस्टम के उस छोर को आसान बनाना है।

जैसा कि टिप्पणियों में उल्लेख किया गया था, मैं स्टोरेज पूल के लिए ZFS के साथ जाऊंगा (शायद FreeBSD पर क्योंकि मैं उस ऑपरेटिंग सिस्टम से सबसे अधिक परिचित हूं और क्योंकि यह ZFS के साथ ठोस प्रदर्शन का लंबा, साबित ट्रैक रिकॉर्ड है - मेरी दूसरी पसंद ओएस Illumos होगा , फिर से अच्छी तरह से परीक्षण किए गए ZFS समर्थन के कारण)।


जहाँ तक मैं सहमत हूँ फ़ाइलों की सेवा के रूप में - आप नेटवर्क बंदरगाह के बाहर डेटा धक्का करने के लिए हार्डवेयर के मामले में ज्यादा जरूरत नहीं है। सीपीयू / रैम के लिए आपका प्राथमिक ड्राइवर, फाइलसिस्टम (ZFS) की जरूरतों को पूरा करने वाला है।
अंगूठे का सामान्य नियम है ZFS को 1GB RAM की आवश्यकता होती है, साथ ही प्रत्येक 10TB डिस्क स्थान के लिए 1GB की आवश्यकता होती है (इसलिए 40TB के लिए आपको ZFS के लिए 5GB RAM की आवश्यकता होगी) - हालांकि संबंध काफी रैखिक नहीं है (हालांकि बहुत सारे हैं ZFS पर अच्छी किताबें / ट्यूटोरियल / डॉक्स जो आपके पर्यावरण के लिए अनुमान लगाने में आपकी सहायता कर सकते हैं)।
ध्यान दें कि जेडएफएस की घंटी और सीटी जैसे डुप्लीकेशन में अधिक रैम की आवश्यकता होती है।

स्पष्ट रूप से राउंड रैम आवश्यकताओं को नीचे की बजाय ऊपर की ओर रखें और कंजूस न बनें: यदि आपका गणित कहता है कि आपको 5GB RAM की आवश्यकता है तो सर्वर को 8GB - 16GB तक के चरण के साथ लोड न करें।

फिर आप अपने सर्वर को सीधे स्टोरेज बॉक्स पर चला सकते हैं (जिसका अर्थ है कि आपको सर्वर प्रक्रियाओं का समर्थन करने के लिए उस बॉक्स पर और भी अधिक रैम की आवश्यकता होगी), या आप स्टोरेज को "फ्रंट-एंड" सर्वर पर रिमोट-माउंट कर सकते हैं वास्तव में ग्राहक अनुरोधों की सेवा।
(पहले शुरू में सस्ता होता है, बाद में बेहतर दीर्घकालिक होता है।)


इस सलाह के अलावा, सबसे अच्छे सुझाव जो मैं आपको दे सकता हूं, पहले से ही प्रश्नों की हमारी क्षमता योजना श्रृंखला में अच्छी तरह से शामिल हैं - मूल रूप से "लोड टेस्ट, लोड टेस्ट , लोड टेस्ट "।


अपने गणित बंद है। आपके फॉर्मूले के अनुसार, उन्हें 41G की आवश्यकता होगी।
ईएएए

@ ईएईए वास्तव में, मैंने एक शून्य छोड़ दिया :-) और ध्यान दें कि यह एक न्यूनतम न्यूनतम मात्रा में रैम है। ZFS को 41G का उपयोग करने में काफी खुशी होगी और यह सब कैश के साथ सोख
लेगा

@ voretaq7: क्षमता योजना के लिंक के लिए धन्यवाद; ZFS के बारे में पढ़ने के बाद यह मेरी सूची में आगे है।
पीटर रोवेल

यदि आप ZFS के साथ जाते हैं, तो ixsystems.com के
Sciurus

1
@PeterRowell ZFS के प्रमुख लाभ हैं कि यह मल्टी-टेराबाइट स्केल फाइल सिस्टम को संभालने के लिए डिज़ाइन किया गया है - यह सन माइक्रोसिस्टम्स के क्रूसिबल में जाली था और 21 वीं सदी के डेटा साइज़ के लिए 21 वीं सदी के फाइल सिस्टम के रूप में बनाया गया था (जिस तरह की आप बात कर रहे हैं) । ZFS बनाम <कुछ अन्य फाइलसिस्टम के लाभों / कमियों के बारे में एक प्रश्न, एक और अलग प्रश्न के लिए एक अच्छा विषय होगा, लेकिन मैं इस डली को छोड़ दूंगा: fsckयदि आप ZFS और मशीन का उपयोग कर रहे हैं तो इंतजार करने जैसी कोई बात नहीं है। दुर्घटनाओं। मैं fsckटेराबाइट फाइलसिस्टम है। यह बहुत भयानक है।
voretaq7

2

मैं एक मल्टी-टीबी सर्वर के लिए ZFS का उपयोग करता हूं और यह रॉक सॉलिड है। मैंने ओपनइंडियाना का उपयोग शुरू करने के लिए किया है और अब FreeNAS में स्थानांतरित हो गया है क्योंकि यह वही करता है जो मुझे करने की आवश्यकता है।

मैं एसएएस विस्तारकों के साथ एक एलएसआई एचबीए कार्ड (9211-8 आई एक अच्छा आधार कार्ड है) का उपयोग करने की सिफारिश करूंगा (सुपरमिस्रो मामलों को अभिन्न एसएएस विस्तारकों के साथ आदेश दिया जा सकता है जो एलएसआई चिपसेट पर आधारित हैं)। LSI फर्मवेयर FreeNAS और FreeBSD में समर्थित है। उपयुक्त संस्करणों की जाँच करें (V16 FreeBSD V9.x पर अच्छा है)।

आपके सिस्टम की कई प्रकृति को पढ़ने के बाद लिखने को देखते हुए, मैं एक ZFS Z2 टोपोलॉजी (इस आकार के ड्राइव के साथ RAID-5 और Z1 से बचें) का उपयोग करूंगा। यह देखते हुए कि आप 4TB डिस्क का उपयोग कर रहे हैं, बड़े एकल vDev सरणी के लिए पुनर्निर्माण (रिज़िल्वर) समय एक लंबा समय होगा यदि पूल भरा हुआ है। लंबे समय के पुनर्निर्माण के समय से बचने के लिए, पूल बनाने के लिए 6 या 10 के समूहों में vDevs की व्यवस्था करें (FreeNAS प्रलेखन से सिफारिशें)। तीन 6 ड्राइव vDevs (4TB ड्राइव माना जाता है) से बने एक पूल की एक प्रयोज्य क्षमता होगी ~ 48TB और दोष सहिष्णुता का एक अच्छा स्तर प्रदान करता है (याद रखें कि आपको अभी भी सामान वापस करने की आवश्यकता है क्योंकि RAID बैकअप की जगह नहीं लेता है :))।

आमतौर पर एक्सेस की गई फ़ाइलों के लिए चीजों को गति देने के लिए, आप L2ARC के लिए कुछ SSDs में फेंक सकते हैं (संभवतः आपके आवेदन के लिए आवश्यक नहीं है लेकिन वे 120GB SSDs के लिए बहुत सस्ते हैं)।

और जैसा कि कहा गया है, बहुत सारे रैम का उपयोग करें। 64GB सिस्टम में अन्य हार्डवेयर को देखते हुए अत्यधिक महंगा नहीं है। दुर्भाग्य से, छोटा XEON 32GB से अधिक का उपयोग नहीं कर सकता है। आप इसे आज़मा सकते हैं लेकिन ZFS साहित्य के अनुसार अधिक रैम बेहतर होगा (मैं 32GB RAM और 24TB क्षमता वाले Z2 सरणी के साथ आपके द्वारा बताए गए XEON का उपयोग करता हूं और यह ठीक काम करता है)।

ZFS का एक और फायदा यह है कि आप समय-समय पर स्नैपशॉट सेट कर सकते हैं। इस तरह, आप पिछले संस्करणों को आसानी से पुनर्स्थापित कर सकते हैं और स्नैपशॉट बहुत ही कुशल हैं। इसके अलावा, आप किसी भी स्नैपशॉट को किसी अन्य डेटासेट (स्थानीय या रिमोट) पर दोहरा सकते हैं और यह सुरक्षा के लिए SSH पर किया जा सकता है।

मुझे वास्तव में जेडएफएस प्रणाली की विश्वसनीयता पसंद है। मैं भी इस तथ्य को पसंद करता हूं कि यह हार्डवेयर है! कोई भी सिस्टम जो ड्राइव देख सकता है, वह पूल आयात कर सकता है। कोई फर्मवेयर निर्भरताएं आदि जो हार्डवेयर रेड के साथ हो सकती हैं (बेहतर कार्ड के साथ एक मुद्दा नहीं है लेकिन वे एचबीए कार्ड की तुलना में अधिक महंगे हैं और ड्राइवरों आदि की आवश्यकता है - अतीत में इसके द्वारा थोड़ा सा)।

यह देखते हुए कि यह पद पुराना है, आपके पास एक समाधान है। यदि हां, तो हमें बताएं कि आपने क्या बनाया है?

चीयर्स,

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.