VMFS डिस्क छवियों को संग्रहीत करने के लिए NFS के लिए सर्वश्रेष्ठ फाइल सिस्टम विकल्प

Question

वर्तमान में हम कई VMware ESXi सर्वर के लिए भंडारण के रूप में एक iSCSI SAN का उपयोग करते हैं। मैं अतिरिक्त वर्चुअल मशीनों के लिए लिनक्स सर्वर पर एनएफएस लक्ष्य के उपयोग की जांच कर रहा हूं। मैं वैकल्पिक ऑपरेटिंग सिस्टम (जैसे ओपनसोलारिस) का उपयोग करने के विचार के लिए भी खुला हूं अगर यह महत्वपूर्ण लाभ प्रदान करेगा।

लिनक्स आधारित फाइलसिस्टम बहुत बड़ी सन्निहित फ़ाइलों (जैसे VMware की डिस्क छवियों) का पक्षधर है? वैकल्पिक रूप से, इस तरह के वर्कलोड के लिए लोगों ने ओपनएसोलारिस पर ZFS कैसे पाया है?

(यह सवाल मूल रूप से सुपरयूजर पर पूछा गया था ; यदि आप जानते हैं कि यहां उत्तर कैसे दें, तो बेझिझक उत्तर दें)।

Answer 1

मैं वास्तव में आपको ZFS पर एक नज़र डालने की सलाह दूंगा, लेकिन अच्छा प्रदर्शन प्राप्त करने के लिए, आपको ZFS Intent Log (ZIL) के रूप में एक समर्पित डिवाइस लेने की आवश्यकता है। मूल रूप से यह एक छोटा सा उपकरण (कुछ जीबी) है जो बहुत तेजी से (20-100K IOPS) लिख सकता है जो ZFS को तुरंत पुष्टि करता है कि लेखन भंडारण के लिए सिंक किया गया है, लेकिन वास्तव में हार्ड डिस्क को लिखने के लिए 30secs तक प्रतीक्षा करें। आपका पूल क्रैश / आउटेज की स्थिति में ZIL में किसी भी तरह का अनमैक्स्ड ट्रांजेक्शन आरोहित होने पर पुनः चलाया जाता है। नतीजतन, एक यूपीएस के अलावा आप आंतरिक बिजली की आपूर्ति / सुपर-कैपेसिटर के साथ एक ड्राइव चाहते हैं ताकि कोई भी लंबित आईओए इसे बिजली नुकसान की स्थिति में स्थायी भंडारण के लिए बना सके। यदि आप एक समर्पित ZIL डिवाइस के खिलाफ चुनते हैं, तो लेखन में उच्च विलंबता हो सकती है जिससे सभी प्रकार की समस्याएं हो सकती हैं। यह मानते हुए कि आप सूर्य में रुचि नहीं रखते हैं '

• DDRDrive X1 - एक PCIe X1 कार्ड में 4GB DDR2 + 4GB SLC फ्लैश ZIL उपयोग के लिए स्पष्ट रूप से डिज़ाइन किया गया है। राम जाने लिखता है; बिजली की हानि की स्थिति में, यह रैम को एक सुपरकैपेसिटर द्वारा संचालित <60sec में NAND के लिए सिंक करता है। (50k-300k IOPS; $ 2000 डायरेक्ट, .edu के लिए $ 1500)
• इंटेल एक्स 25-ई 32 जीबी 2.5 इंच एसएसडी (एसएलसी, लेकिन कोई सुपर कैप नहीं, 3300 आईओपीएस लिखें); [$ 390 @ अमेज़न] [११]
• OCZ वर्टेक्स 2 प्रो 40 जीबी 2.5 इंच एसएसडी (सुपरकैप, लेकिन एमएलसी, 20k-50k लिखना IOPS); $ 435 @ अमेज़न ।

एक बार जब आप ओपनसोलारिस / नेक्सेंटा + जेडएफएस सेटअप प्राप्त कर लेते हैं, तो आपके ओपनसोलारिस और ईएसएक्स बॉक्सन के बीच ब्लॉक को स्थानांतरित करने के लिए काफी कुछ तरीके हैं; आपके लिए क्या सही है यह आपके मौजूदा बुनियादी ढांचे (एल 3 स्विच, फाइबर कार्ड) और आपकी प्राथमिकताओं (अतिरेक, विलंबता, गति, लागत) पर निर्भर करता है। लेकिन चूंकि आपको iSCSI / FC / NFS कार्यक्षमता को अनलॉक करने के लिए विशेष लाइसेंस की आवश्यकता नहीं है, इसलिए आप अपने पसंदीदा हार्डवेयर को लेने और अपना पसंदीदा चुनने के लिए किसी भी चीज़ का मूल्यांकन कर सकते हैं:

• iSCSI लक्ष्य (CPU ओवरहेड; OpenSolaris में कोई TOE समर्थन)
• फाइबर चैनल लक्ष्य (फाइबर कार्ड सस्ते नहीं हैं)
• NFS (VMWare + NFS, नक़ली हो सकता है, 32 mounts तक सीमित)

यदि आप मूल्यांकन के लिए $ 500 खर्च नहीं कर सकते हैं, तो ZIL के साथ और उसके बिना परीक्षण करें कि क्या ZIL एक अड़चन है। (यह शायद है)। उत्पादन में ऐसा मत करो । जब तक आपके पास बहुत सारे RAM और L2ARC के लिए SSD न हो, तब तक ZFS डिडुप्लीकेशन में गड़बड़ न करें। एक बार सेटअप करने के बाद यह निश्चित रूप से अच्छा है, लेकिन आप निश्चित रूप से डेडअप के साथ खेलने से पहले कुछ एनएफएस ट्यूनिंग करने की कोशिश करते हैं । एक बार जब आप इसे 1-2 Gb लिंक पर संतृप्त कर लेते हैं तो 8gb FC, 10gigE और infiniband में विकास के अवसर होते हैं, लेकिन प्रत्येक को मूल्यांकन के लिए भी एक महत्वपूर्ण निवेश की आवश्यकता होती है।

Answer 2

मैं बिल्कुल ऐसा नहीं करूंगा। मेरे अनुभव में, लिनक्स (विशेषकर सेंटोस 3/4/5) एनएफएस सर्वर के लिए आमतौर पर खराब विकल्प है। मैंने कई और पाया है कि लोड के तहत, विलंबता और थ्रूपुट उन कारणों से गिरते हैं जिनके कारण हम कभी भी अपने सिर को नहीं पा सकते हैं।

हमारे मामलों में, हम बैक-टू-बैक लिनक्स के प्रदर्शन की तुलना सोलारिस (अल्ट्रा-स्पार्क) और नेटएप पर कर रहे थे; दोनों ने सेब-से-सेब के प्रदर्शन के संदर्भ में और "इंजीनियर लोड होने पर विलंबता के बारे में लगभग शिकायत नहीं कर रहे हैं" के संदर्भ में अस्पष्ट परिणाम दिए। लिनक्स एनएफएस सर्वर को ट्यून करने के लिए कई प्रयास किए गए थे; दोनों नेटएप और सोलारिस सिस्टम बॉक्स से बाहर हैं। और इसमें शामिल सोलारिस और नेटएपी सिस्टम दोनों पुराने थे, इसलिए लिनक्स सर्वरों को हर लाभ होने का तर्क दिया जा सकता था और फिर भी आश्वस्त होने में विफल रहे।

यदि आपके पास समय है, तो OpenSolaris के साथ एक ही हार्डवेयर स्थापित करने के लिए प्रयोग करते समय यह एक मूल्य होगा (अब सोलारिस प्रभावी रूप से उपयोग करने के लिए बहुत महंगा है), लिनक्स, और शायद बीएसडी संस्करण या दो, और उन्हें रेस। यदि आप कुछ प्रदर्शन मेट्रिक्स (डिस्क I / O की गणना स्टोर से होस्ट किए गए VM में कर सकते हैं, उदाहरण के लिए) तो यह एक दिलचस्प श्वेत पत्र या इंटरनेट लेख के लिए हो सकता है। (यदि आपके पास समय है।)

सामान्य रूप से एनएफएस के बारे में, नेटएप लोगों ने मुझे कई बार बताया कि उनके बेंचमार्क ने दिखाया कि एनएफएस में केवल वीएम के लिए प्रदर्शन में 5 से 10% की लागत थी - और यदि आपका आवेदन पर्याप्त संवेदनशील था कि यह एक समस्या थी, तो आपको वर्चुअलाइजेशन नहीं करना चाहिए यह पहली जगह में।

लेकिन मुझे यह स्वीकार करना चाहिए कि उस समय और आँसू के बाद, हमारे गैर-स्थानीय उत्पादन वीएम स्टोर सभी को iSCSI द्वारा खिलाया जाता है, ज्यादातर नेटऐप द्वारा।

Comments

मुझे लगता है कि यह NetApp है जो NFS के साथ शुरू हुआ, फिर बाद में iSCSI समर्थन पर बोल्ट किया गया, इसलिए उनके उत्पादों को हमेशा 'सबसे अच्छा मामला' NFS के प्रदर्शन बनाम 'सबसे खराब स्थिति' iSCSI दिखाई देता है ... NFS से बचना हालांकि - आप लिनक्स में iSCSI का उपयोग कर सकते हैं और एक बेहतर विकल्प IMO।

— क्रिस थोरपे

Answer 3

हम अपने VMWare ESXi सर्वर को NFS प्रदान करने के लिए RAID 10 ZFS विन्यास के साथ OpenSolaris 2009/06 का उपयोग कर रहे हैं। यह हमारी आवश्यकताओं के लिए काफी अच्छा काम करता है। हम SATA RAID टाइप ड्राइव (Seagate ES.2 1TB ड्राइव) का उपयोग कर रहे हैं। हालांकि अभी भी हमारे पास कुछ ट्यूनिंग है।

Answer 4

मैं VMware के लिए NFS डेटस्टोर्स का बहुत बड़ा प्रशंसक हूं, NetApp का उत्कृष्ट कार्यान्वयन है।

TR-3808 की तुलना नेटएप एफसी, आईएससीएसआई और एनएफएस से जुड़े साझा डेटस्टोर्स से की गई है, जो एक उत्कृष्ट रीड है।

Answer 5

आप ZFS ARC के साथ 3+ वर्ष के बग पर विचार कर सकते हैं जो अभी भी ZFS के साथ बहुत गहरे में कूदने से पहले बनी हुई है ...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(यह एक बुरा है क्योंकि यह एक हाइपरविजर की VM सीमा से बाहर भी चला जाएगा!)

Comments

आपने कम से कम दो अलग-अलग नेक्सेंटा-संबंधी प्रश्नों के लिए इसी "उत्तर" को कॉपी / पेस्ट किया है। हालांकि यह एक गंभीर बग है, कोई केवल बहुत ही दुर्लभ परिस्थितियों में इसमें भाग लेगा। जैसे, आपकी हरकतें थोड़ी ज्यादती लगती हैं। चल ZFS के लाभ अब तक बहुत पतली मौका है कि आप इस बग मारा जाएगा पल्ला झुकना।

— EEAA

ठीक है, यह 8 अलग-अलग प्रश्न करें जो आपने इसी उत्तर में चिपकाए हैं।

— EEAA

वे संबंधित हैं, लेकिन यह आपकी राय है। मैं लाभों से सहमत हूं, लेकिन इस बकाया / चालू बग का प्रभाव महत्वपूर्ण है क्योंकि यह पूरे ओएस को पीसने वाले पड़ाव में लाएगा - तब कोई लाभ नहीं होगा जब आप मज़बूती से संग्रहीत डेटा तक नहीं पहुंच सकते।

— user48838

उन लोगों के लिए जो इस मंच / प्रारूप की समग्र उपयोगिता के लिए सही मायने में इसे रेट करना चाहते हैं, कृपया नीचे दिए गए पहले पर टिप्पणी के माध्यम से पढ़ें: serverfault.com/questions/162693/…

— user48838

एरिक अपने ZFS रिग की पहचान नहीं करेगा, इसलिए "बहुत ही कम परिस्थितियों के सेट" के तहत होने वाले संदर्भित प्रश्न में पहचान की गई स्थिति के इस व्यक्ति द्वारा की गई टिप्पणियों को इस व्यक्ति द्वारा प्रमाणित नहीं किया जा सकता है ... इस पहचान की अनुरोधों को अनदेखा करने का विकल्प उनके बयान / स्थिति का आधार उन टिप्पणियों पर भी है।

— user48838