S3 में अपलोड करना इतना धीमा क्यों है?


12

मैं s3cmdS3 पर अपलोड करने के लिए उपयोग कर रहा हूं :

# s3cmd put 1gb.bin s3://my-bucket/1gb.bin
1gb.bin -> s3://my-bucket/1gb.bin  [1 of 1]
  366706688 of 1073741824    34% in  371s   963.22 kB/s

मैं लिनोड से अपलोड कर रहा हूं, जिसमें समर्थन के अनुसार 50 एमबी / एस का आउटगोइंग बैंडविड्थ कैप है (लगभग 6 एमबी / एस)।

मुझे S3 में इतनी धीमी अपलोड गति क्यों मिल रही है, और मैं उन्हें कैसे सुधार सकता हूं?


अपडेट करें:

एससीपी के माध्यम से एक ही फाइल को m1.medium EC2 उदाहरण (मेरे लाइनकोड से उदाहरण के ईबीएस ड्राइव पर अपलोड करना) के अनुसार लगभग 44 एमबी / एस देता है iftop(सिफर द्वारा किया गया कोई भी कंप्रेशन कोई कारक नहीं है)।


Traceroute: यहाँ पर (इसके अनुसार tcpdump) अपलोड करने वाले सर्वर के लिए एक अनुरेखक है ।

# traceroute s3-1-w.amazonaws.com
traceroute to s3-1-w.amazonaws.com (72.21.194.32), 30 हॉप्स अधिकतम, 60 बाइट पैकेट
 1 207.99.1.13 (207.99.1.13) 0.635 एमएस 0.743 एमएस 0.723 एमएस
 2 207.99.53.41 (207.99.53.41) 0.683 एमएस 0.865 एमएस 0.915 एमएस
 3 vlan801.tbr1.mmu.nac.net (209.123.10.9) 0.397 एमएस 0.541.125 एमएस
 4 0.e1-1.tbr1.tl9.nac.net (209.123.10.102) 1.400 एमएस 1.481 एमएस 1.508 एमएस
 5 0.gi-0-0-0.pr1.tl9.nac.net (209.123.11.62) 1.602 एमएस 1.677 एमएस 1.699 एमएस
 6 equinix02-iad2.amazon.com (206.223.115.35) 9.393 एमएस 8.925 एमएस 8.900 एमएस
 7 72.21.220.41 (72.21.220.41) 32.610 एमएस 9.812 एमएस 9.789 एमएस
 8 72.21.222.141 (72.21.222.141) 9.519 एमएस 9.439 एमएस 9.443 एमएस
 9 72.21.218.3 (72.21.218.3) 10.245 एमएस 10.202 एमएस 10.154 एमएस
10 * * *
1 1 * * *
12 * * *
13 * * *
14 * * *
15 * * *
16 * * *
17 * * *
18 * * *
19 * * *
20 * * *
21 * * *
22 * * *
23 * * *
24 * * *
25 * * *
26 * * *
27 * * *
28 * * *
29 * * *
30 * * *

विलंबता उचित लगती है, कम से कम जब तक सर्वर ने पिंग अनुरोधों का जवाब देना बंद नहीं कर दिया।


समस्या निवारण शुरू करें। अपलोड करते समय आपका CPU उपयोग कैसा दिखता है? कैसा tracerouteदिखता है? क्या टीसीपी कनेक्शन के आपकी तरफ कतार पूर्ण या लगभग खाली है? कुछ बहुत ही सरल परीक्षणों से आप समस्या को जल्दी से कम कर सकते हैं।
डेविड श्वार्ट्ज

जवाबों:


9

सिर्फ इसलिए कि आप 50mbps तक जा सकते हैं इसका मतलब यह नहीं है कि आपको हमेशा 50mbps मिलेंगे; S3 के साथ-साथ विलंबता का नेटवर्क पथ भी महत्वपूर्ण है।

यदि आप बहु-भाग अपलोड का उपयोग करने में सक्षम हैं, तो आप एक फ़ाइल को कई टुकड़ों में तोड़ सकते हैं और इसे कई थ्रेड्स का उपयोग करके अपलोड कर सकते हैं, संभवतः अपलोड गति को बढ़ा सकते हैं।


1
एससीपी के माध्यम से एक ही फाइल को m1.medium EC2 उदाहरण में अपलोड करना, जो मेरे लिंकोड से है, लगभग 44 एमबी / एस पर चलता है (इस हिसाब से iftopतो कंप्रेशन कोई मायने नहीं रखता), जो कि 50 एमबी / एस के आउटगोइंग बैंडविड्थ कैप के काफी करीब है। S3 अपलोड लगभग पांचवां है। नवीनतम s3cmdसमर्थन बहु-भाग अपलोड करता है, लेकिन उन्हें समवर्ती रूप से अपलोड नहीं करता है, लेकिन इसके बजाय लगातार। क्या S3 में अपलोड करने के लिए एक बेहतर उपयोगिता है?
टॉम मार्थेनल

मैंने अपने प्रश्न में एससीपी (मेरा लाइनोड -> ईसी 2 उदाहरण) से गति के आँकड़े जोड़े हैं।
टॉम मार्थेनल

क्या आपने परीक्षण करने के लिए s3cmd के समान अन्य उपकरणों का उपयोग करने की कोशिश की है? यह निर्धारित करना है कि यह वास्तव में s3cmd नहीं है जो धीमा है। इसके अलावा, यदि s3cmd किसी तरह HTTPS के माध्यम से अपलोड हो रहा है, तो आप उस HTTP पर स्विच करने का प्रयास कर सकते हैं। एक और विचार यह है कि S3 ही अपलोड करने के लिए धीमा होता है, क्योंकि आपको लगता है कि EC2 में कोई समस्या नहीं है।
geekkz

4
S3multiput आज़माएँ।
EEAA

11

बस अगर कोई इस पर ठोकर खाए तो ...।

मेरे पास एक मुद्दा था जहां यह वास्तव में ईएक्स 2 उदाहरण से एस 3 बाल्टी में अपलोड करने के लिए धीमा था, वास्तव में सरल था, बाल्टी का क्षेत्र! मैं उत्तर कैलिफ़ोर्निया में ec2 उदाहरणों का उपयोग कर रहा था, जब बाल्टी को हमारे मानक के रूप में बनाया गया था तो यह वास्तव में स्थानांतरित करने के लिए धीमा था, बाल्टी के साथ उत्तर कैलिफ़ोर्निया के लिए सेट किया गया था यह तेजी से ढेर हो गया था।


1

मैंने विभिन्न क्लाइंट्स का उपयोग करके S3 में धीमे अपलोड के बारे में एक फोरम में कई थ्रेड्स देखे हैं, जैसे कि फ्री कमांड लाइन टूल्स (पायथन, btw में लिखे गए) और कमर्शियल वाले।

हालाँकि मेरे पास आपके लिए कोई कठिन सबूत नहीं है, S3 क्लाइंट (जैसे क्लाउड बेरी एक्सप्लोरर) को स्विच करने से आपकी समस्या हल हो सकती है। कोशिश करो! :)


3
एक हेडलेस सर्वर पर? ऐसा मत सोचो।
EEAA

उसे जज करने से पहले किसी अन्य क्लाइंट की कोशिश करें। उदाहरण के लिए s3cp है।
वैलेंटाइन

+1। EC2 पर, बस FileZilla से CuteFTP पर स्विच करने से x30 पूर्ण सुधार हुआ।
केल्विन १६०२
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.