VM वेब सर्वर के 100s के लिए एक SAN तकनीक का चयन

15

समस्या

हमारे पास मौजूदा प्लेटफॉर्म पर प्रदर्शन के साथ एक मुद्दा है, इसलिए मैं इस पर एक दूसरी राय के लिए हाइव माइंड की ओर रुख कर रहा हूं। अब तक का प्रदर्शन मुद्दा थ्रूपुट के बजाय IOPS से संबंधित है।

परिदृश्य

16 मेजबानों का एक ब्लेड केंद्र, प्रत्येक में 64GB RAM है। (यह एक डेल M1000e w / M610s है, लेकिन यह शायद प्रासंगिक नहीं है) 500 वीएम, सभी वेब सर्वर (या MySQL, लोड बैलेन्सर, आदि जैसे संबंधित वेब टेक्नोलॉजीज), लगभग 90% लिनक्स और बाकी विंडोज हैं। हाइपरविजर VMWare vSphere है। हमें मेजबान हा प्रदान करने की आवश्यकता है, इसलिए स्थानीय भंडारण बाहर है। जैसे कि मेजबान के पास बूट करने के लिए एसडी कार्ड है।

पृष्ठभूमि की एक बिट सोच

फिलहाल हम 6 होस्ट तक हैं (वर्तमान वृद्धि के समय ब्लेड सेंटर एक साल में पूरी क्षमता पर होगा) और हम विस्तार के लिए iSCSI को एक डेल MD3220i w / MD1220 पर चला रहे हैं।

संभावित विकल्प जिन्हें हमने माना है, और उनके साथ तत्काल विचार:

वीएफएस को एनएफएस डेटास्टोर्स में फैलाएं, और एनएफएस स्टोरेज को चलाएं जो वीएम की दी गई संख्या के लिए प्रदर्शन की आवश्यकता को पूरा करता है। एनएफएस पैमाने पर सस्ता लगता है, साथ ही ब्लॉक स्तर के भंडारण की तुलना में थोड़ा अधिक सारगर्भित है ताकि हम इसे आवश्यकतानुसार स्थानांतरित कर सकें।
अधिक MD3220i नियंत्रक / लक्ष्य जोड़ना। हालांकि हम चिंतित हैं कि ऐसा करने से किसी भी तरह से नकारात्मक प्रभाव पड़ सकता है कि VMWare बहुत सारे लक्ष्य कैसे संभालता है।
नियर एसएएस से एसएसडी तक सभी डिस्क को स्वैप करना। यह पूरी तरह से IOPS समस्या को हल करना चाहिए, लेकिन हमारी भंडारण क्षमता को कम करने का स्पष्ट दुष्प्रभाव है। इसके अलावा यह अभी भी बहुत महंगा है।
vSphere 5 में एक भंडारण उपकरण है। हमने इस पर बहुत शोध नहीं किया है, लेकिन यह अच्छी तरह से काम करना चाहिए?

प्रश्न

उस सब के नीचे आप किस तरह का भंडारण करेंगे? इसे दूसरे ब्लेड सेंटर के पैमाने पर रखने की जरूरत नहीं होगी, बस उन सभी वीएम के लिए अपेक्षाकृत अच्छा प्रदर्शन प्रदान करना होगा।

मुझे "Buy SAN x की तलाश नहीं है क्योंकि यह सबसे अच्छा है" उत्तर। मैं विभिन्न SAN तकनीकों (iSCSI, FC, FCoE, InfiniBand, NFS, आदि), विभिन्न प्रकार के स्टोरेज (SATA, SAS, SSD), और 100s VM (कंसोलिडेशन, सेपरेशन) के भंडारण की कार्यप्रणाली के बारे में सोच रहा हूँ , शेयरिंग, आदि)।

इस पर किसी भी विचार, लिंक, गाइड, पॉइंटर्स आदि का स्वागत है। मैं उपरोक्त विकल्पों पर विचार सुनना भी पसंद करूँगा जिन्हें हमने पहले ही माना था।

किसी भी इनपुट के लिए अग्रिम में बहुत धन्यवाद!

अपडेट 5 मार्च '12

अब तक की कुछ शानदार प्रतिक्रियाएँ, आप सभी को बहुत-बहुत धन्यवाद!

इस सवाल के जवाबों से अब तक, मुझे लगता है कि निम्नलिखित मार्ग इस प्रकार है:

VMWare क्लस्टर में उपलब्ध स्टोरेज को टियर करें और VM को उनके वर्कलोड के लिए उपयुक्त स्टोरेज पर रखें।
संभावित रूप से एक SAN का उपयोग करें जो स्वचालित रूप से उपयुक्त भंडारण पर डेटा के प्लेसमेंट को प्रबंधित करने में सक्षम है।
पूर्ण क्षमता पर मेजबानों के साथ आवश्यक बैंडविड्थ प्राप्त करने के लिए इन्फिनिबैंड सबसे अधिक लागत प्रभावी लगता है।

यह निश्चित रूप से लगता है कि यह एक प्रमुख SAN विक्रेता की पूर्व-बिक्री सेवाओं का उपयोग करने के लायक होगा, ताकि वे परिदृश्य पर अपना कब्जा जमा सकें।

मैं थोड़ी देर के लिए इस समस्या पर विचार करना जारी रखूंगा। इस बीच में किसी भी अधिक सलाह कृतज्ञता प्राप्त!

— SimonJGreen
स्रोत

मेलानॉक्स के पास 40gbe का स्विच \ nic सौदा है, जो काफी विलुप्त होने वाला है, $ / प्रदर्शन के मामले में infiniband के बहुत करीब है। उस समय मैं एक दंपत्ति के साथ एक 40xbe कार्ड के साथ एक व्यवहार्य विकल्प के रूप में एक नेक्सेंटा पर विचार करूंगा।

— टोनी रोटी 14

13

एक अच्छे VMWare स्टोरेज प्लेटफ़ॉर्म की कुंजी यह समझ रही है कि VMWare किस तरह का लोड उत्पन्न करता है।

सबसे पहले, चूंकि आप बहुत सारे सर्वरों की मेजबानी करते हैं, काम का बोझ आमतौर पर यादृच्छिक होता है। एक ही समय में कई IO स्ट्रीम चल रहे हैं, और उनमें से कई को सफलतापूर्वक प्री-कैश नहीं किया जा सकता है।
दूसरा, यह परिवर्तनशील है। सामान्य ऑपरेशन के दौरान, आप 70% यादृच्छिक रीड देख सकते हैं, हालाँकि आप तुरंत VM को एक नए डेटास्टोर या किसी अन्य चीज़ पर ले जाने का निर्णय लेते हैं, आपको 60GB क्रमिक लेखन दिखाई देगा। यदि आप वास्तुकला के बारे में सावधान नहीं हैं, तो यह सामान्य IO को संभालने के लिए आपके भंडारण की क्षमता को अपंग कर सकता है।
तीसरा, आपके पर्यावरण का एक छोटा हिस्सा आमतौर पर भंडारण कार्यभार का एक बड़ा हिस्सा उत्पन्न करेगा।

VMWare प्लेटफॉर्म के लिए बिल्डिंग स्टोरेज को अप्रोच करने का सबसे अच्छा तरीका फंडामेंटल्स के साथ शुरू करना है।

आपको एक बड़े यादृच्छिक रीड वर्कलोड की सेवा करने की क्षमता की आवश्यकता है, जिसका अर्थ है छोटे तेज ड्राइव, साथ ही साथ संभवतः एसएसडी। अधिकांश आधुनिक स्टोरेज सिस्टम आपको यह एक्सेस करने के आधार पर स्वचालित रूप से डेटा को स्थानांतरित करने की अनुमति देते हैं। यदि आप SSD का उपयोग करने जा रहे हैं, तो आप यह सुनिश्चित करना चाहते हैं कि आप इसका उपयोग कैसे करें। यह धीरे-धीरे गर्म-धब्बे को कम करने के तरीके के रूप में होना चाहिए। आप SSD का उपयोग करते हैं या नहीं, यह सभी ड्राइव्स पर सभी काम करने में सक्षम होने के लिए फायदेमंद है, इसलिए एक प्रकार का स्टोरेज पूलिंग करना फायदेमंद होगा।
आपको रुक-रुक कर बड़े लेखन की सेवा करने की क्षमता चाहिए, जो अंतर्निहित ड्राइव की स्पिंडल गति के बारे में ज्यादा परवाह नहीं करता है, लेकिन नियंत्रक स्टैक की दक्षता और कैश के आकार के बारे में परवाह करता है। यदि आपने कैशिंग मिरर किया है (जो वैकल्पिक नहीं है जब तक कि आप बैकअप में वापस जाने के लिए तैयार नहीं होते हैं जब भी आपके पास नियंत्रक विफलता होती है), मिररिंग के लिए उपयोग किए जाने वाले दो कैश के बीच बैंडविड्थ बड़े अनुक्रमिक लेखन के लिए आपकी अड़चन होगी, आमतौर पर। सुनिश्चित करें कि आपको जो कुछ भी मिलता है उसमें उच्च गति नियंत्रक (या क्लस्टर) लिखने के लिए इंटरकनेक्ट हो। उच्च पोर्ट फ्रंट एंड नेटवर्क प्राप्त करने के लिए अपना सर्वश्रेष्ठ करें क्योंकि आप मूल्य पर यथार्थवादी रहते हुए प्राप्त कर सकते हैं। अच्छे फ्रंट एंड परफॉरमेंस की कुंजी आपके स्टोरेज लोड को संभव के रूप में कई फ्रंट एंड रिसोर्स पर रखना है।
आप कम प्राथमिकता वाले स्टोरेज के साथ-साथ पतले प्रोविजनिंग के लिए टियर होने से लागत को गंभीरता से कम कर सकते हैं। यदि आपकी प्रणाली स्वचालित रूप से सस्ते बड़े / धीमी ड्राइव (जैसे 7200 RPM और 2TB + आकार के साथ एसएएसए या एसएटीए के पास) को अलग-अलग ब्लॉक में नहीं भेज रही है, तो इसे मैन्युअल रूप से करने का प्रयास करें। बड़े धीमे ड्राइव अभिलेखागार, बैकअप, कुछ फ़ाइल सिस्टम और यहां तक कि कम उपयोग वाले सर्वरों के लिए उत्कृष्ट लक्ष्य हैं।
जोर देकर कहा कि भंडारण VAAI एकीकृत है ताकि VMWare VMs के अप्रयुक्त भागों के साथ-साथ डेटाहाउस को भी आवंटित कर सके।

— तुलसी
स्रोत

वहाँ कुछ उत्कृष्ट टिप्पणी, धन्यवाद। निश्चित रूप से कुछ जाने के लिए और ऊपर से सुस्त।

— साइमनजग्रीन

10

मेरी बड़ी VMWare तैनाती NFS और 10GbE से अधिक iSCSI हैं। इसका मतलब है कि सर्वर में डुअल-पोर्ट 10GbE HBA, साथ ही स्टोरेज हेड। मैं इसके लिए ZFS- आधारित स्टोरेज का प्रशंसक हूं। मेरे मामले में यह वाणिज्यिक नेक्सेंटस्टोर के चारों ओर लिपटा हुआ है , लेकिन कुछ अपने स्वयं के रोल के लिए चुनते हैं।

इस संदर्भ में ZFS- आधारित स्टोरेज की मुख्य विशेषताएं ARC / L2ARC कैशिंग कार्यक्षमता होगी, जिससे आप स्टोरेज को सीमित कर सकते हैं। सबसे सक्रिय डेटा रैम और एसएसडी स्टोरेज में दूसरी श्रेणी के रूप में अपना रास्ता खोज लेगा। अपने मुख्य भंडारण पूल को 10k या 15k एसएएस ड्राइव से चलाना भी फायदेमंद होगा।

यह आपके कार्यभार को समझने और समझने का एक और मामला है। किसी ऐसे व्यक्ति के साथ काम करें जो आपके स्टोरेज पैटर्न का विश्लेषण कर सकता है और आपको योजना बनाने में मदद कर सकता है। ZFS / NexentaStor की तरफ, मुझे पोगोस्टोरेज पसंद है । उस प्रकार की अंतर्दृष्टि के बिना, परिवहन विधि (FC, FCoE, iSCSI, NFS) कोई फर्क नहीं पड़ता। क्या आपके पास अपने मौजूदा बुनियादी ढांचे की कोई निगरानी है? I / O गतिविधि अब कैसी दिखती है?

— ewwhite
स्रोत

ये तैनाती जिज्ञासा से कितनी बड़ी है? और किस तरह का वर्कलोड?

— साइमनजग्रीन

कई मेजबान। लिनक्स, विंडोज इन्फ्रा (फाइल / एडी / एक्सचेंज), वीडीआई और डेटाबेस सिस्टम सहित सबसे बड़े 90-मिश्रित वीएम का उपयोग किया जाता है। स्टोरेज यूनिट्स पर RAM अधिक है (96GB +) और मेरे पास L2ARC का 1.2TB एंटरप्राइज SSDs पर कैश पढ़ा गया है।

— इविहित

आपको यहां मेरी अज्ञानता को क्षमा करना होगा, और स्पष्ट होना चाहिए कि मुझे संदेह नहीं है कि आप सही काम कर रहे हैं। आपके पास स्टोरेज यूनिट्स में इतनी रैम क्यों है? क्या इसका उपयोग बफ़र्स के लिए किया जाता है?

— सिमोनजग्रीन

2

आह मैंने अभी ZFS और ARC / L2ARC के बारे में पढ़ा है। यह कमाल की चटनी है :)

— सिमोनजग्रीन

8

मुख्य प्रश्न है: "अड़चन कहाँ है?" आप आईओपीएस का उल्लेख करते हैं, लेकिन इसका मतलब यह है कि आप सकारात्मक रूप से स्वयं को अड़चन होने के रूप में डिस्क की पहचान कर रहे हैं, या केवल यह है कि सैन पोर्ट्स क्षमता पर नहीं चल रहे हैं, या कि वीएम आप की तुलना में कहीं अधिक आयोवाइट में हैं?

यदि आपने निश्चित रूप से पहचान लिया है कि डिस्क सीमित कारक हैं, तो NFS या infiniband पर स्विच करना या जो भी आपके प्रदर्शन के लिए स्क्वाट नहीं करने वाला है - आपको SSDs (या मिश्रण में SSDs के साथ कम से कम tiered स्टोरेज) की आवश्यकता है: एक पूरी बंडल अधिक स्पिंडल (एक समाधान जो हाल ही में दुनिया के स्टेपर मोटर उत्पादन महासागर में धोया गया है) के बाद से एक पूरी बहुत अधिक महंगा हो गया है।

यदि आप 100% निश्चित नहीं हैं कि अड़चन वास्तव में कहां है, हालांकि, आपको यह पता लगाने की आवश्यकता है कि पहले - आपके स्टोरेज इन्फ्रास्ट्रक्चर के कुछ हिस्सों की अदला-बदली अन्य लोगों के अनुमानों के आधार पर यादृच्छिक रूप से कम-से-कम नहीं होने जा रही है। बहुत प्रभावी (विशेषकर यह देखते हुए कि लागू करने के लिए कोई भी बदलाव कितना महंगा है)।

— वमन
स्रोत

बिल्कुल सही, मैं हमेशा मानता हूं कि सवाल पोस्ट करने वाले व्यक्ति ने अपना होमवर्क किया है। लेकिन इसके साथ ही कहा कि काफी कुछ प्रदर्शन परामर्श करने के बाद, मैं ज्यादातर बस छोड़ देता हूं और कहता हूं कि अधिक या तेज ड्राइव जोड़ें और अधिक से अधिक 98% समस्या हल हो गई है। अन्य 2% विश्वास से परे overcommitted है।

— टोनी रो

4

"मैं हमेशा लगता है कि व्यक्ति प्रश्न पोस्ट करने के लिए अपने होमवर्क किया है" - baaaaaad धारणा ...

— Womble

यह उत्तर एकदम सही है। कई मौकों पर मैं इस तरह की समस्या से निपटने के लिए तैयार हूं और मुझे इस बात की कुछ पूर्व धारणा थी कि समस्या क्या थी। दस में से नौ बार यह आँसू में समाप्त हो जाता है जब मुझे पता चलता है कि मुझे बस समस्या के बारे में पर्याप्त नहीं पता था। ध्यान से प्रोफाइल, निर्धारित करें कि क्या अड़चन है और फिर आगे बढ़ें। आप मदद के लिए "हाइव माइंड" पूछ सकते हैं, या आप सहायता के लिए SAN विक्रेता की ओर रुख कर सकते हैं। इसके अलावा, यदि आपको प्रोफाइलिंग में परेशानी हो रही है, तो नेटएप और / या ईएमसी को आपके आंकड़े जानने में मदद करने में खुशी होगी और फिर आपके लिए एक समाधान का आकार होगा। ऐसा करने के लिए दोनों के पास अच्छा सॉफ्टवेयर है।

— 21 सितंबर को SvrGuy

मैं esxtopसभी मेजबानों (डिस्क उपयोग को दिखाते हुए) के संयुक्त आउटपुट पर इस निदान को आधार बना रहा था , कुल सीएमडी / एस ले रहा था और उस बेंचमार्क पर तुलना कर रहा था जिस पर सैन हम उपयोग करते हैं। बेंचमार्क परिणामों को शीर्षक के रूप में लेते समय कुल CMD / s लगातार उच्च होता है। SSDs निश्चित रूप से एक तकनीकी दृष्टिकोण से एक अच्छा विकल्प लगते हैं, वे अभी भी भयावह रूप से महंगे हैं GB / £। एक समाधान हो सकता है हालांकि tiered भंडारण के साथ। एक साइड नोट / FYI पर, हाल ही में एक प्रेस विज्ञप्ति के अनुसार, मुझे प्राप्त हुआ WD डिस्क पर उत्पादन स्तर तक वापस आ गया है।

— साइमनजग्रीन

SAN पर बेंचमार्क कैसे किया गया था? सीमित कारक हो सकता है अभी भी, नेटवर्क हो के रूप में डिस्क के लिए खुद के लिए विरोध किया। कम से कम आपको शुरुआत करने के लिए एक बेंचमार्क मिला है, हालांकि, अगर आप चीजों को तेजी से चलाने के लिए विभिन्न चीजों के साथ खेलना शुरू करना चाहते हैं, जो महत्वपूर्ण है।

— Womble

4

यदि आप iscsi या nfs चाहते हैं तो न्यूनतम रूप से आप कुछ 10 / 40gb पोर्ट या infiniband चाहते हैं जो कि अब तक का सबसे सस्ता विकल्प है, लेकिन infiniband के लिए देशी संग्रहण समाधान सीमित प्रतीत होते हैं। मुद्दा मूलाधार के लिए मॉड्यूल होगा जो इसके विकल्प हैं, आमतौर पर 8 जीबी एफसी या 10 \ 1 जीबी और शायद इन्फिनिबैंड। ध्यान दें कि infiniband का उपयोग nfs के साथ किया जा सकता है और प्रदर्शन \ कीमत के मामले में इसके पास कुछ भी नहीं आता है। अगर ब्लेड केंद्र qdr infiniband का समर्थन करता है, तो मैं nfs के माध्यम से qdr infiniband tca के साथ किसी प्रकार का एक Linux होस्ट करता हूँ। यहाँ इस http://www.zfsbuild.com/2010/04/15/why-we-chose-infiniband-instead-of-10gige का वर्णन करने वाला एक अच्छा लिंक है

लेकिन अगर मूत्राशय qdr infiniband का समर्थन कर सकता है और आप देशी infiniband बर्दाश्त कर सकते हैं तो आपको जो समाधान चुनना चाहिए, वह है।

वर्तमान में आप 40gbe स्विचेस को कहीं सस्ता (यानी एक अजीब विचार) प्राप्त कर सकते हैं, फिर 10gbe स्विच कर सकते हैं लेकिन मुझे संदेह है कि आप ब्लेड सेंटर का समर्थन करेंगे।

— टोनी रोटी
स्रोत

ये ब्लेड केंद्र से कनेक्टिविटी विकल्प हैं: dell.com/us/enterprise/p/poweredge-m1000e/pd Infiniband अच्छा दिखता है, और अतिथि VM की इस मात्रा में लागत उचित है। तुम क्या करोगे SAN साइड?

— साइमनजग्रीन

जो कभी भी डेलीन है जो शिशुनाद का समर्थन करता है वह आपका सान समाधान होना चाहिए।

— टोनी रोथ

ऐसा नहीं लगता है कि dell का कोई IB आधारित संग्रहण है, इसलिए मुझे लगता है कि इस मामले में विकल्प एक स्ट्रेच हो सकता है। सन और एसजीआई दोनों में आईबी आधारित सैन है जो निश्चित नहीं है कि क्या लागतें हैं।

— टोनी रो

वे आईबी संग्रहण की पेशकश नहीं करते हैं, लेकिन वे आईबी कनेक्टिविटी प्रदान करते हैं। मेरे पास किसी अन्य स्टोरेज वेंडर का उपयोग करने के लिए कोई योग्यता नहीं है, हमें उस संबंध में डेल के लिए कोई प्यार नहीं है।

— साइमनजग्रीन

1

तब या तो सूर्य या sgi आपके लिए एक समाधान होगा, यह निश्चित नहीं है कि वर्तमान मॉडल क्या है।

— टोनी रोथ

-3

स्थानीय भंडारण बाहर है? मैं अपने स्थानीय RAID 5s पर लिखी गई थ्रूपुट से काफी खुश हूँ - DRBD8 के साथ मेरी एक्सईएन-मशीन के क्लस्टर-पार्टनर के साथ आईना ... (लेकिन यह "समर्थित नहीं है", निश्चित रूप से)।

इसके अलावा मुझे पूरा यकीन है कि mySQL आपके प्रदर्शन की समस्या है (मैंने कभी भी एक खराब DB नहीं देखा)। इसे दूर करने की कोशिश करें और / या पूरे DB को फाइलसिस्टम कैश में डालने की कोशिश करें (पढ़ने की पहुंच के लिए) ...

— निल्स
स्रोत

ओपी के पास एक मौजूदा VMWare समाधान है और डिस्क रहित होस्ट के साथ चल रहा है। स्थानीय भंडारण का कोई मतलब नहीं है।

— इविहित

स्थानीय भंडारण में स्थानीय भंडारण ब्लेड का उपयोग करना भी शामिल हो सकता है। लेकिन VMWare ने ऐसा समर्थन हासिल नहीं किया, जो मुझे लगता है।

— निल्स

मुझे विश्वास नहीं है कि डेल स्थानीय भंडारण ब्लेड प्रदान करता है - और मुझे यकीन नहीं है कि मैंने उन लोगों को किसी और के साथ देखा है। मैंने ड्राइव ब्लेड्स देखे हैं जो एक ब्लेड से जुड़ते हैं, ब्लेड में किसी को स्टोरेज नहीं देते। आपको इसके लिए एक इंटरकनेक्ट की आवश्यकता होगी, यह अनिवार्य रूप से चेसिस-स्थानीय होगा SAN, सही?

— mfinni

क्षमा करें @ निल्स, मुझे पूरा यकीन है कि आपने प्रश्न को ठीक से नहीं पढ़ा है।

— साइमनजग्रीन

निल्स - D2200sb को देखते हुए: "बाड़े के पीछे का समीपस्थ सी-क्लास सर्वर ब्लेड को पीसीआई एक्सप्रेस कनेक्शन प्रदान करता है और बिना किसी अतिरिक्त केबल के उच्च प्रदर्शन भंडारण की सुविधा देता है। ... HP P4000 वर्चुअल सैन उपकरण सॉफ्टवेयर (VSA) का उपयोग करें। बाड़े में सभी सेवर और नेटवर्क पर किसी भी सर्वर द्वारा उपयोग के लिए एक iSCSI SAN में D2200sb को चालू करें। "

— mfinni