S3fs प्रदर्शन में सुधार या वैकल्पिक?

11

मैं एक EC2 सर्वर पर s3fs का उपयोग करने की कोशिश कर रहा हूं, लेकिन यह वास्तव में धीमा है। मैंने पिछले 5 घंटों को 100MB छोटी फ़ाइलों को अपलोड करने में बिताया।

क्या प्रदर्शन में सुधार के लिए मैं कुछ कर सकता हूं या यह S3fs से संबंधित कुछ है? यदि नहीं, तो एक विकल्प क्या है जिसका मैं उपयोग कर सकता हूं?

amazon-ec2 s3fs

— एमबी।
स्रोत

छोटी फ़ाइलों को परिभाषित करें, 1K? 500bytes? 1 एमबी?

— पतले

लगभग ~ 200K ...

— एमबी।

अपनी भंडारण आवश्यकताओं के आधार पर, आप केवल ईबीएस का उपयोग करना चाह सकते हैं, जब तक कि आपको अन्य प्रणालियों से एक साथ एक्सेस की आवश्यकता नहीं होती है, ऐसे में ईबीएस के साथ वर्चुअल एनएएस स्थापित करना एक बेहतर विकल्प हो सकता है।

— ट्रैकर 1

7

बड़ी मात्रा में छोटी फ़ाइलों के लिए S3FS सबसे अच्छा विकल्प नहीं हो सकता है। S3FS के साथ ओवरहेड बहुत अधिक है। मैं S3Curl जैसी किसी चीज़ का उपयोग करने का सुझाव दूंगा

तुम भी समानांतर स्थानांतरण जा रहा हो सकता है। बस याद रखें कि यह ईबीएस / स्थानीय भंडारण की तरह तेज़ नहीं होगा।

यदि आपको इसे 'माउंटेबल' स्टोरेज के रूप में रखने की आवश्यकता है, तो S3FS का एकमात्र विकल्प जो मुझे पता है कि S3Backer या s3ql है

— पतली बर्फ
स्रोत

1

मैं एक ऐसी चीज की तलाश में हूं, जिसे मैं फाइलसिस्टम के रूप में माउंट कर सकूं।

— एमबी।

पर कोई विचार s3ql?

— इविहित

मैं S3Backer और S3Sql की कोशिश करूँगा। धन्यवाद।

— एमबी।

5 घंटे वास्तव में S3FS के साथ ~ 500, 200KB फ़ाइलों के लिए बहुत धीमी है। कुछ और तथ्य हो सकता है, मुझे किसी S3FS के बारे में पता नहीं है जो मदद करेगा

— पतले

6

मैं सिर्फ s3fs की तुलना में रीफॉर्म्स को बेंचमार्क करता हूं। मेरा परीक्षण मामला अपेक्षाकृत सरल बैश स्क्रिप्ट था जो प्रत्येक। Pngquant पर चलता था। ~ 70 छवियों के साथ एक टेस्टबकेट पर, जिसमें ~ 20 जहां png (बहुत अधिक उपनिर्देशिका में फैलता है, जो प्रोब चीजों को धीमा कर देता है) जहां परिणाम:

s3fs: 3m54
रीफ्स: 15.9s

तो इस टेस्टकेस के लिए riofs ~ 15x तेज है! सेटअप भी बहुत सीधा था, हालाँकि डॉक्स कुछ हद तक उलटे हैं।

इस तथ्य के बारे में कि स्क्रिप्ट में अभी भी 15.9 का समय लगा है: यह बहुत कुशल नहीं है, वास्तव में पीएनजी पर pngquant चल रहा है एक सीपीयू गहन प्रक्रिया है।

— मिलो डे व्रीस
स्रोत

दुर्भाग्य से riofs के साथ विफल रहता हैAWS message: The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256.

— lrkwz

2

मिश्रण में सिर्फ राइफ़्स मिलाएं। मैं अभी के लिए कोई बेंचमार्क नहीं देख सकता था लेकिन एक मुद्दा / अनुरोध है जो कोई भी कर सकता है।

— F01
स्रोत

2

मैंने अभी https://github.com/kahing/goofys का v0.0.1 जारी किया जो आंशिक रूप से s3fs में प्रदर्शन समस्याओं से प्रेरित था। फ़ाइल निर्माण गति 3-6x है और पहली बाइट का समय 58x है। प्रतिक्रिया का स्वागत!

— केएचसी
स्रोत

2

2019 तक - Goofys अनुशंसित विकल्प है। थोड़ी देर में Riotfs को अपडेट नहीं किया गया।

— timofey.com

1

मैंने इस्तेमाल किया [1] और यह बहुत अच्छा है। यह बहुत सारी कमांड है और इसे एक्सेस करना a3 और s3 को बहुत आसान बनाता है।

http://timkay.com/aws/

— अमित
स्रोत

1

सर्वर दोष में आपका स्वागत है! जब तक यह सैद्धांतिक रूप से प्रश्न का उत्तर दे सकता है, उत्तर के आवश्यक भागों को शामिल करना और संदर्भ के लिए लिंक प्रदान करना बेहतर होगा ।

— स्कॉट पैक

1

मैंने r3 के साथ s3fs की तुलना की, और लगभग बेहतर प्रदर्शन के कारण स्विच किया। समस्या riofs अभी भी v4 हस्ताक्षरों के लिए अद्यतन नहीं है, जिसका अर्थ है कि यह फ्रैंकफर्ट या चीन s3 बाल्टी के साथ काम नहीं करेगा। मालिक के अनुसार, एक अपडेट रास्ते में है। यदि आप फ्रैंकफर्ट या चीन का उपयोग नहीं करते हैं, तो रीफ्स बेहतर विकल्प के लिए एक हाथ नीचे है।

— स्टीव
स्रोत

— यूरोप

1

यह बहुत पुराना है, लेकिन यहां पहुंचने में मदद मिल सकती है।

मैं aws cli और इसके बहुत अच्छे काम कर रहा हूँ (3 Mb / s)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/

— mariomol
स्रोत