क्या डॉकटर वॉल्यूम को ग्लस्टरफ़ोर्स में संग्रहीत करना एक अच्छा विचार है?


24

मैं वर्तमान में हमारे कुछ सर्वरों और ऐप्स को एक कोरओएस वातावरण में स्थानांतरित करने के बारे में सोच रहा हूं । समस्याओं में से एक जो मैं यहां देख रहा हूं वह है लगातार डेटा का प्रबंधन क्योंकि कोरोस एक कंटेनर को एक नई मशीन में ले जाते समय डॉकर वॉल्यूम को संभाल नहीं पाता है। कुछ शोध के बाद मुझे ग्लस्टरफ़ोर्स मिला, जो दावा करता है कि यह एक क्लस्टर फाइल सिस्टम है जो मेरी सभी समस्याओं को हल कर सकता है।

मेरा वर्तमान विचार यह है: मेरे पास एक glusterFS कंटेनर है जो मेरे प्रत्येक कोरओएस मशीनों पर एक विशेषाधिकार प्राप्त कंटेनर के रूप में चलता है और /mnt/glusterउदाहरण के लिए , एक भंडारण को उजागर करता है । मेरे Dockerfileकथन में, मैं निर्दिष्ट करता हूं कि मेरे सभी संस्करणों को इस मार्ग पर आरोहित किया जाना चाहिए।

अगली बात मैंने माना कि कौन से कंटेनरों को अपने स्वयं के संस्करणों को प्राप्त करना चाहिए और किन लोगों को एक साझा करना चाहिए। उदाहरण के लिए, प्रत्येक mysqlकंटेनर को अपनी मात्रा मिल जाएगी , क्योंकि यह प्रतिकृति को खुद से संभालने में सक्षम है। मैं उस के साथ गड़बड़ नहीं करना चाहता। उसी वेबसाइट की सेवा करने वाले वेबसर्वर सामान के लिए समान मात्रा का उपयोग करेंगे जैसे "उपयोगकर्ता अपलोड की गई छवियां", आदि क्योंकि वे उन डेटा को दोहराने में सक्षम नहीं हैं।

क्या किसी ने इस तरह से कुछ करने की कोशिश की है या ऐसा कुछ है जो मैंने याद किया है?


1
मैंने इसके साथ अवधारणा का एक प्रमाण दिया है और आपको बता सकता है कि यह काम करता है, लेकिन इससे पहले कि आप ग्लस्टर में कूदें, सुनिश्चित करें कि आप इसकी ट्यूनिंग प्रोफ़ाइल को समझते हैं। ग्लस्टर डिस्क लेटेंसी (कॉर्ड के समान) के प्रति संवेदनशील होने के कारण यह फाइलों की प्रतिकृति की गारंटी के नाम पर कृत्रिम रूप से अनुप्रयोगों को धीमा कर सकता है।
ब्रायन रेडबर्ड

2
हम एक उपकरण पर काम कर रहे हैं, जो डॉकटर कंटेनरों से जुड़ी मात्रा का प्रबंधन करता है। इसे "flocker" कहा जाता है और आप यहाँ github repo देख सकते हैं: github.com/clusterhq/flocker वर्तमान में हमारे पास ZFS के लिए स्टोरेज बैकएंड है जो डेटा माइग्रेशन को आसान बनाने के लिए स्नैपशॉट सुविधा का उपयोग करता है, लेकिन हम अन्य स्टोरेज बैकेंड के लिए भी योजना बनाते हैं (जैसे एक जेनेरिक ब्लॉक डिवाइस बैकएंड) मैं यह नहीं कह सकता कि अगर ग्लस्टरएफएस का उपयोग करके डॉक वॉल्यूम को माउंट करने के लिए एक अच्छा विचार है, लेकिन मैं समग्र डिजाइन पैटर्न के लिए वाउच कर सकता हूं - अर्थात "कुछ" का उपयोग करके डॉक कंटेनर द्वारा उत्पन्न राज्य के लिए लेखांकन
बेलीस कार्लोस

1
आपके उत्तर के लिए धन्यवाद। मैंने पहले से ही झुंड देखा और यह बहुत ही आशाजनक लग रहा है। क्या आपके पास कोरोस सपोर्ट या प्रोडक्शन रेडी वर्जन 1.0 की रफ डेट है?
मार्टिन

मैंने ओपनस्टैक के साथ वॉल्यूम के लिए ग्लस्टरफ़ेट्स का उपयोग किया है, इससे पहले कि आप क्या कर रहे हैं के लिए एक समान सेटअप है और इसने बहुत अच्छा किया।
इथोड

@Martin हम (मैं ClusterHQ में काम करते हैं) में Flocker CoreOS पर अमेजन EBS का उपयोग कर काम कर रहा है। coreos.com/blog/Flocker-on-CoreOS-Linux
स्टीफन गुयेन

जवाबों:


9

हमने कोरोस के बजाय तीन प्रतिकृति -2 सेट के साथ एक प्रतिकृति गैर-वितरित ग्लस्टरएफएस भंडारण प्रणाली के लिए परमाणु ( http://www.projectatomic.io/ ) के साथ एक परिचित सेटअप तैनात किया है । यह बहुत अच्छा काम करता है।

हालांकि, आपको ग्लस्टरएफएस की कुछ विशेष विशेषताओं को ध्यान में रखना होगा। जैसा कि ब्रायन ने पहले ही उल्लेख किया है, ग्लस्टर सभी के ऊपर स्थिरता और विश्वसनीयता रखता है। जितने अधिक परिवर्तन होते हैं, उतनी अधिक प्रतिकृति हो रही है। यह बहुत कुछ कहता है, और मेरा मतलब है आपके सिस्टम पर दबाव का एक बहुत।

ध्यान रखें कि आपका IO सबसिस्टम तेज़ है (डुह, इट्स स्टोरेज), अपने ग्लस्टर नोड्स को उपलब्ध सबसे तेज़ नेटवर्क कनेक्शन के साथ कनेक्ट करें। यदि आपके पास केवल GBit है, तो एकत्रित करें! अंतिम लेकिन कम से कम, भंडारण प्रणाली को गंभीर संगणना शक्ति को स्पोर्ट करना चाहिए, ग्लस्टर अपने राज्य की जांच करने के लिए बहुत सारी संगणना करता है। कहा जा रहा है, यहां तक ​​कि उच्च भार के तहत, ग्लस्टर बचाता है।

अपनी MySQL रणनीति पर पुनर्विचार करें। ग्लस्टर आपके लिए प्रतिकृति बनाता है और डिलीवरी में तरह-तरह के लोड-बैलेंसिंग भी प्रदान करता है। यह वास्तव में चमक का उपयोग करने के लिए तेज हो सकता है।


5

ग्लस्टरफ़्स का उपयोग भंडारण बैकएंड पर निर्भर करेगा जो आप उपयोग कर रहे हैं। एक क्लस्टर फाइल सिस्टम के रूप में इसका उद्देश्य भौतिक भंडारण को क्लस्टर करना है ताकि यह एक बड़े निरंतर वॉल्यूम के रूप में दिखाई दे। इस आधिकारिक क्विक स्टार्ट गाइड में प्रक्रिया की अच्छी व्याख्या है।

इस घटना में कि आपका सेटअप दो या दो से अधिक अलग बैकेंड स्टोरेज सर्वरों का उपयोग करता है या कुछ सभी डॉक्यूमेंट वॉल्यूम को स्टोर करने के लिए समान है, तो ग्लस्टरफ़ेट्स या कुछ अन्य समान समानांतर फ़ाइल सिस्टम का उपयोग करके महत्वपूर्ण प्रदर्शन लाभ प्रदान कर सकते हैं। यदि यह मामला है तो आप चमक का उपयोग करने पर भी विचार कर सकते हैं , जिसका व्यापक रूप से एचपीसी समुदाय में समानांतर फाइल सिस्टम के रूप में उपयोग किया जाता है।

इसके साथ ही कहा जा रहा है कि समानांतर / क्लस्टर फाइल सिस्टम को ट्यूनिंग, डिबगिंग और कॉन्फ़िगर करना एक समय लेने वाला कार्य हो सकता है जिसके लिए शुरुआत से बहुत अधिक विशेषज्ञता, धैर्य और कभी-कभी तैयार होने की इच्छा की आवश्यकता होती है। यह सुनिश्चित करना समझदारी होगी कि प्रदर्शन लाभ एक समानांतर फाइल सिस्टम ऑफ़र को सेटअप करने और इसे बनाए रखने के लिए आवश्यक प्रयास की राशि के लायक है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.