डेटासेंटर के बीच शेयर / होम


15

मेरे पास दो सर्वर हैं, जिन्हें हॉलैंड और फ्रांस में डेटासेंटर में रखा गया है। दोनों डेबियन व्हीज़ी चला रहे हैं। मुझे उनके बीच / घर साझा करने की जरूरत है, अच्छे प्रदर्शन के साथ। सर्वर पर 300-कुछ उपयोगकर्ता हैं, उनमें से लगभग 30 को एक निश्चित समय पर किसी दिए गए सर्वर पर सक्रिय प्रक्रियाएं करने में सक्षम होना चाहिए, प्रत्येक में 50 kbit पढ़ता है और 20 kbit लिखता है / दूसरा, 2000 kbit के आसपास छोटी चोटियों के साथ / पढ़ना है। स्थानीय भंडारण पर आइसोटोप के साथ उपाय। मेरे पास बहुत सारी छोटी फाइलें हैं, कुल मिलाकर लगभग 500000 हैं और यथासंभव कम विलंबता की आवश्यकता है। सर्वर के बीच पिंग 17 एमएस हैं, और कनेक्शन लगभग 20-30 एमबी / एस तक पहुंचने में सक्षम होता है, जब स्केप और विग का उपयोग किया जाता है। ऐसा लगता है कि इसके लिए बहुत सारे बैंडविड्थ उपलब्ध होने चाहिए, लेकिन यह भी ...

मैंने अब तक क्या ट्रू किया है: sshfs: ऐसा लगता है कि इसमें nfs की तुलना में बेहतर प्रदर्शन था, लेकिन इसने फाइलों को रूट करने की अनुमतियों को बदल दिया, जिससे एप्लिकेशन क्रैश हो गया।

nfs: धीमा करने का तरीका, noatime को अन्य विकल्पों का एक गुच्छा बनाने की कोशिश की, लेकिन यह केवल कुछ प्रक्रियाओं के सक्रिय होने पर भी सुस्त रहता है।

drbd: डेड-एंड काम के 5 घंटे, जब मुझे एहसास हुआ कि मैं वास्तव में दोनों सिस्टम पर फाइलसिस्टम माउंट नहीं कर सकता :-(

glusterfs: सभी डेटा की एक स्थानीय प्रतिलिपि होने से वास्तव में आशाजनक लगता है, लेकिन यादृच्छिक फ़ाइल पहुंच वास्तव में धीमी है और थोड़ी देर चलने के बाद, यह अविश्वसनीय धीमी और लगभग लटका हुआ हो जाता है। noatime मदद नहीं करता है।

nfs फिर से: फिर भी सुस्त।

कीबोर्ड में रोना: कोई सुधार नहीं।

आगे क्या प्रयास करना है? असफल परीक्षणों में से प्रत्येक ने पिछले सप्ताह के दौरान एक शाम या शायद अधिक लिया है, और मैं वास्तव में काम करने के लिए अगली विधि पसंद करूंगा। और हाँ, यह महत्वपूर्ण है कि फाइलसिस्टम दोनों सर्वरों के बीच साझा हो।

इस समस्या पर किसी भी नए विचारों के लिए धन्यवाद।


6
"कीबोर्ड में रोना: कोई सुधार नहीं।" ठीक है, कि मुझसे एक +1 मिलता है।
ceejayoz

आप शायद या तो glusterfs, या ceph चाहते हैं। एक वितरित फाइल सिस्टम। इसके अलावा, आप कई बार drbd को माउंट कर सकते हैं, लेकिन केवल एक पढ़ने-लिखने के लिए, और इसके डरावने बुरे विचार किसी भी तरह।
सेरेक्स

मैंने glusterfs की कोशिश की, और जब यह बड़ी फ़ाइलों के साथ बढ़िया काम करता है, तो यह छोटी फ़ाइलों को पढ़ने या लिखने पर वास्तव में धीमा हो जाता है। यह glusterfs के साथ एक आम समस्या प्रतीत होती है, और मैं इसके लिए एक समाधान खोजने में सक्षम था। मैं सिफ में देखूंगा। क्या आपने इसे आज़माया है आपने इसे स्वयं आज़माया है?
user3850506

3
एक ही ब्लॉक डिवाइस और फाइल सिस्टम को माउंट करना, यहां तक ​​कि एक अलग सिस्टम पर आरओ खराब जूजू है जब तक कि फाइल सिस्टम ड्राइवर को समझ में नहीं आता कि बैकिंग ब्लॉक डिवाइस किसी भी समय मनमाने ढंग से बदल सकता है। ब्लॉक डिवाइस इनकोड कैश को बदल सकता है और पूरी तरह से अमान्य कर सकता है और VFS खुशी से उन डेटा को पढ़ेगा जो अब आपके विचार में नहीं हैं। GFS2 और veritas जैसे साझा-डिस्क अवगत फाइल सिस्टम DRBD या किसी SAN-डिस्क पर ऐसा कर सकते हैं। मैं यह सुनिश्चित करने के लिए नहीं कह सकता कि आपका छोटा फ़ाइल प्रदर्शन स्वीकार्य होगा।
एंड्रयू डॉमासेक

1
मार्स के बारे में कैसे: schoebel.github.io/mars youtube.com/watch?v=WwXOQJ6XiVI
एंड्रयू

जवाबों:


2

इसके लिए कुछ संभावित उपाय हैं:

  1. आप DRBD (या जैसा कि ऊपर उल्लेख किया गया है) जैसे प्रतिकृति ब्लॉक स्टोरेज के लिए जा सकते हैं, लेकिन आपको ब्लॉक स्टोरेज के ऊपर एक क्लस्टर फ़ाइल सिस्टम को सेटअप करने की आवश्यकता है। ऐसी फ़ाइल प्रणालियाँ GFS2 या OCFS2 हो सकती हैं जो दोनों डेबियन कर्नेल अफैक में उपलब्ध हैं। DRBD प्राइमरी / प्राइमरी को हैंडल कर सकता है और आप इसे एक ही समय में दोनों सर्वर पर माउंट कर सकते हैं। लेकिन अगर आप एक मानक फ़ाइल सिस्टम के साथ ऐसा करते हैं, तो एक सर्वर को दूसरे के बारे में नहीं पता होता है और आप कुछ ही सेकंड में अपनी फ़ाइल सिस्टम को नष्ट कर देते हैं। शीर्ष पर एक क्लस्टर फ़ाइल सिस्टम संचार और लॉकिंग को हैंडल करेगा ताकि दोनों नोड्स एक ही ब्लॉक को लिख सकें।

  2. / घर के लिए वितरित फ़ाइल सिस्टम का उपयोग करें। आपको http://en.wikipedia.org/wiki/Comparison_of_distributed_file_systems पर ऐसे फ़ाइल सिस्टम की एक सूची मिलेगी । लेकिन सावधान रहें और बुद्धिमानी से चुनें। वे सभी जादू नहीं कर सकते हैं और सभी में अपनी कमियां हैं। ग्लस्टर एक ऐसी फाइल सिस्टम है। कुछ प्रणालियों के लिए, आपको केवल दो नोड्स से अधिक की आवश्यकता हो सकती है।

  3. यदि इसे वास्तविक समय में दोहराया नहीं जाना है और लगभग-रीयलटाइम फ़ाइल सिंक पर्याप्त होगा, तो बिटटोरेंट सिंक ( http://www.getync.com/ ), ड्रॉपबॉक्स या विकल्पों पर एक नज़र डालें । प्रत्येक सर्वर का अपना / घर होता है, लेकिन परिवर्तन दूसरे सर्वर पर फ़ाइल के आधार पर दोहराया जाता है।


1
rsync ftw 123456
dmourati
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.