क्लाउड कम्प्यूटिंग के लिए बैकेंड के रूप में फाइल सिस्टम को किसने वितरित किया?

11

मेरे पास उबंटू सर्वर (9.04) और नीलगिरी पर चलने वाला एक बुनियादी बादल है। वालरस (यूकलिप्टस 'एपीआई कॉम्पेटिबल एस 3 कार्यान्वयन) फाइलों को क्लाउड नियंत्रक पर संग्रहीत करता है। हालाँकि अन्य 4 सर्वरों में से प्रत्येक में 1TB स्टोरेज है जो काफी हद तक अप्रयुक्त है। मैं सभी उपलब्ध संसाधनों का उपयोग करने के लिए सभी भंडारण को एक साथ करने के लिए एक रास्ता तलाश रहा हूं। मैं PVFS, Luster, HDFS (Hadoop) सहित कई विकल्पों पर चर्चा कर रहा हूं।

मेरी एकमात्र आवश्यकता यह है कि इसे स्केलेबल बनाने की आवश्यकता है और यह उबंटू पर अच्छी तरह से चलता है। मैं ऐसे किसी भी व्यक्ति से सुनने की सराहना करता हूं, जिसके पास ऐसी तकनीकों का अनुभव है और मैं आपके सुझावों को सुनने के लिए उत्सुक हूं।

ubuntu storage cloud-computing

— अल्हड़
स्रोत

अगर इसे उबंटू होने की जरूरत नहीं थी, तो मैं ZFS कहूंगा।

— ब्रैड गिल्बर्ट

3

सिवाय इसके कि ZFS एक संकुल फाइल सिस्टम नहीं है।

— मार्क जुआर

5

जबकि मैंने इसे अपने सिस्टम में कहीं भी व्यक्तिगत रूप से लागू नहीं किया है, मैंने ग्लस्टर पर बहुत अधिक देखा है । मैं कुछ बड़ी साइटों पर कुछ लोगों को जानता हूं जो इसका उपयोग करते हैं और यह स्पष्ट रूप से वास्तव में अच्छी तरह से काम करता है। वे कुछ भारी शुल्क एचपीसी अनुप्रयोगों के लिए उत्पादन में इसका उपयोग करते हैं।

— कामिल किसियल
स्रोत

2

GlusterFS मुझे आदर्श समाधान की तरह प्रतीत होगा। उस आदमी को जो यह दावा करता है कि ग्लस्टर स्थापित करने के लिए बहुत प्रयास करता है, मैंने कहा है कि उसने कभी कोशिश नहीं की है। चकाचौंध 3.2 के रूप में विन्यास उपयोगिताओं बहुत बढ़िया हैं और नेटवर्क पर एक चमक मात्रा और साझा करने के लिए 2 या 3 कमांड लेते हैं। बढ़ते चमकता वॉल्यूम समान रूप से सरल है।

प्लस साइड में यह आपको एनएफएस की तुलना में बहुत अधिक लचीलापन भी देता है। यह स्ट्रिपिंग, रिप्लेसेशन, जियोरेप्लीकेशन करता है। HekaFS नामक एक एक्सटेंशन है, जो एसएसएल और अधिक उन्नत प्रमाणीकरण तंत्र भी जोड़ता है, जो संभवतः क्लाउड कंप्यूटिंग के लिए दिलचस्प है। इसके अलावा यह तराजू! यह F / OSS है और RedHat द्वारा विकसित किया जा रहा है जिन्होंने हाल ही में Gluster खरीदी है।

— juwi
स्रोत

1

क्या आपने कभी mogileFS को देखा है? http://danga.com/mogilefs/

यह पारंपरिक अर्थों में एक फाइल सिस्टम नहीं है, लेकिन यह एक क्लस्टर में फ़ाइल डेटा को वितरित करने (प्रतिकृति और खाते में लिया गया अतिरेक) के साथ अच्छा है।

यदि आप वेब एप्लिकेशन के लिए फ़ाइलों की सेवा कर रहे हैं, तो आपको फ़ाइलों की सेवा के लिए कुछ की आवश्यकता होगी। मैं एक PHP स्क्रिप्ट का सुझाव दूंगा जो उस फ़ाइल को खोजने के लिए HTTP अनुरोध के रूप में HTTP अनुरोध का उपयोग करता है जिसे आप mogile FS में चाहते हैं। फिर आप फ़ाइल की सामग्री को एक बफर में पढ़ सकते हैं और इसे प्रतिध्वनित कर सकते हैं / प्रिंट कर सकते हैं।

MogileFS पहले से ही बहुत तेज है, लेकिन आप सबसे आम तौर पर उपयोग की जाने वाली फ़ाइलों तक पहुंच को गति देने के लिए मेकैलेफ़्स को मेकैचे के साथ जोड़ सकते हैं।

— शॉन क्रूगर
स्रोत

मुझे याद आता है कि मेटाडेटा नोड के मामले में मोगिलेफ़्स की विफलता का एक बिंदु था। HDFS में एक समान समस्या है।

— डेविड पैस्ले

MogileFS काफी दिलचस्प लगता है और यह प्रतिकृति है और अतिरेक आदर्श है, हालांकि यह सामान्य उपयोग के लिए अनुपयुक्त प्रतीत होगा क्योंकि अनुप्रयोगों को यह पता होना चाहिए कि वे इस पर चल रहे हैं। एक अधिक परंपरागत फाइलसिस्टम जिससे एफएस अज्ञेय हो सकता है, बेहतर अनुकूल होगा।

— जयंती

1

MogileFS में कई ट्रैकर चल सकते हैं, और आप बैकएंड पर फेलओवर mysql कर सकते हैं। इस तरह आप विफलता के सभी एकल बिंदुओं को हटा सकते हैं।

— davidsheldon

1

चमक के साथ आपको सर्वर पर एक विशेष कर्नेल रखना होगा, और मेरे पास केवल सर्वर होगा सर्वर और कुछ नहीं।

अजीब तरह से सबसे समझदार जवाब बहुत अच्छी तरह से एनएफएस हो। हमने अमेज़न के क्लाउड पर NFS का उपयोग किया है। यह बड़े पैमाने के साथ-साथ कुछ फ़ाइल सिस्टमों के पैमाने नहीं हो सकता है लेकिन सादगी की मुझे अनदेखी नहीं करनी चाहिए। एक एकल नाम स्थान संभवतः उस प्रयास के लायक नहीं है जिसे लागू करने के लिए वह प्रयास करेगा।

— जेम्स
स्रोत

1

क्या आप अभी भी HDFS में देख रहे हैं? क्लोडेरा के लोगों में से एक ने इस साल वेलोसिटीकॉन्फ़ में एक बातचीत दी, जिसमें हडोप और एचडीएफएस ने बड़े डेटा क्लस्टर्स के प्रबंधन पर ध्यान केंद्रित किया, इसलिए उन्होंने एचडीएफएस के बारे में काफी बात की। स्लाइड बहुत जानकारीपूर्ण हैं। मैंने व्यक्तिगत रूप से एचडीएफएस के साथ काम नहीं किया है, लेकिन मैंने वेग के कुछ यादृच्छिक लोगों के साथ बात की है जो विभिन्न डेटा विश्लेषण करने के लिए उबंटू पर इसका उपयोग कर रहे हैं।

— jtimberman
स्रोत

1

वर्चुअलाइजेशन पर्यावरण के पीछे कुछ प्रकार के साझा फाइलसिस्टम को रखना बहुत आम है। आपके पास बहुत सारे विकल्प हैं, इस पर निर्भर करता है कि आप क्या हासिल करना चाहते हैं।

सबसे सरल समाधान शायद NFS है, क्योंकि यह आपके द्वारा चलाए जा रहे वितरण के द्वारा मूल रूप से समर्थित होने वाला है। एनएफएस एक वर्चुअलाइजेशन बैकएंड फाइलसिस्टम के रूप में यथोचित प्रदर्शन कर सकता है, हालांकि यह वहां सबसे तेज चीज नहीं है।

यदि आप RedHat (या व्युत्पन्न) क्लस्टर चला रहे हैं, तो आपके पास GFS2, RedHat के क्लस्टर फाइल सिस्टम के लिए अच्छा आउट-ऑफ-द-बॉक्स समर्थन होगा। यह सैकड़ों नोड्स तक नहीं है, लेकिन यह छोटे समूहों के लिए ठीक है।

इसके अलावा, आप आगे, चमक, GPFS और इसी तरह की चीजों की श्रेणी में प्रवेश करना शुरू कर रहे हैं। ये सभी उच्च-प्रदर्शन समानांतर फाइल सिस्टम हैं, लेकिन उन्हें यहां अन्य विकल्पों की तुलना में अधिक काम करने की आवश्यकता होती है। यदि आपके पास एक बड़ा वातावरण है तो वे देखने लायक हो सकते हैं।

— larsks
स्रोत

1

मैं इस बात से सहमत हूँ कि NFS सबसे अच्छा विकल्प है; कुछ iSCSI लक्ष्य, NFS, किया। यह लगभग 5-10 नोड्स के पैमाने पर होगा; I / O, नेटवर्क क्षमता, आदि के आधार पर YMMV (वैकल्पिक रूप से, ISCSI को मल्टीथ I / O समर्थन के साथ सेट अप करें)।

यदि आपको 20+ नोड्स के बारे में कुछ चाहिए, तो आप सेफ की जांच कर सकते हैं । चमक आशाजनक और स्थिर है, लेकिन एक (एफ / ओएसएस) ओरेकल उत्पाद है और मेरे पास ओरेकल के खिलाफ व्यक्तिगत नापसंद है। :)

सेफ भी काफी सक्रिय है; सबसे हालिया रिलीज 5 दिन पहले थी।

— ब्रेंट सैनर
स्रोत

ऑरेकल की छतरी के नीचे चमक नहीं है। देखें whamcloud.com

— utopiabound

1

XtreemFS आपके लिए एक समाधान हो सकता है। यह स्थापित करने और कॉन्फ़िगर करने के लिए काफी सरल है, उबंटू के लिए पैकेज भी हैं।

— Blong
स्रोत

1

MooseFS (वितरित फ़ाइल सिस्टम) आपकी आवश्यकताओं के अनुरूप है। यह स्केलेबल है और उबंटू पर अच्छा काम करता है। यह भी आपके लिए उपयोगी हो सकता है कि Ubuntu पर आधिकारिक तौर पर समर्थित रिपॉजिटरी से MooseFS को स्थापित / अपडेट कैसे करें ।

— TechGeek
स्रोत

0

सुनिश्चित नहीं हैं कि आप क्या कर रहे हैं, लेकिन यह CouchDB के लिए एक संभावित दिलचस्प अनुप्रयोग की तरह लगता है ।

— duffbeer703
स्रोत

0

आप PVFS2 की कोशिश कर सकते हैं । यह चमक की तुलना में स्थापित करना बहुत आसान है, और आमतौर पर चमक की तुलना में तेज़ है।

— wazoox
स्रोत

चमक से तेज? क्या आप प्रदर्शन के आसपास कोई डेटा साझा कर सकते हैं?

— जॉन-जेडएफएस

मेरे पास हाल ही में कोई बेंचमार्क नहीं है। 2008 में, ग्लस्टर चमक की तुलना में बहुत धीमी थी, जबकि पीवीएफएस 2 केवल थोड़ा धीमा था। यह आजकल अलग हो सकता है, शायद मैं इसे बेंचमार्क करूँगा।

— वज़ोक्स

धन्यवाद, यदि आप बेंचमार्क करते हैं, तो कृपया मुझे बताएं। maruti.j@gmail.com या आप हर लाभ के लिए सर्वरफॉल्ट पर एक पोस्ट कर सकते हैं

— जॉन-जेडएफएस