परतदार कनेक्शन पर S3 में बड़ी फाइलें कैसे अपलोड करें?


9

मेरे पास फाइलों का एक गुच्छा है (500 एमबी और 7 जीबी के बीच) जो मुझे एस 3 बाल्टी में अपलोड करने की आवश्यकता है। मेरा संबंध बहुत परतदार है।

मैंने एक 500MB फ़ाइल अपलोड करने की कोशिश की, s3cmdलेकिन यह 91% होने के बाद समय समाप्त हो गया (जिसमें 16 घंटे लगे)

मैंने साइबरडुक के साथ कोशिश की, लेकिन वही हुआ। यह 20% या तो के बाद विफल रहा, और जब मैंने स्थानांतरण को फिर से करने की कोशिश की, तो यह शुरुआत से ही खत्म हो गया। CyberDuck को मल्टीपार्ट समर्थन माना जाता है, लेकिन मुझे नहीं लगता ...

मैं फ़ाइलों को इस तरह छोटी फ़ाइलों में विभाजित कर सकता हूं: मैं एक .zip फ़ाइल को कई खंडों में कैसे विभाजित करूं? , लेकिन मैं तब तक नहीं था जब तक कि यह मेरा एकमात्र विकल्प नहीं था। एक अच्छा कार्यक्रम क्या है जो मैं उपयोग कर सकता हूं जो मुझे फिर से समर्थन के साथ एस 3 में बड़ी फाइलें अपलोड करने की अनुमति देगा?

जवाबों:


6

मैंने सिर्फ s3tools (s3cmd-1.5.0-rc1) का उपयोग करने की कोशिश की। उनके अकसर किये गए सवाल http://s3tools.org/kb/item13.htm से यह संकेत मिला । निचे देखो।

क्या s3cmd मल्टीपार्ट अपलोड का समर्थन करता है?

हाँ, s3cmd का नवीनतम संस्करण Amazon S3 मल्टीपार्ट अपलोड का समर्थन करता है।

जब फ़ाइल अपलोड करने के लिए 15MB से बड़ा हो तो मल्टीपार्ट अपलोड स्वचालित रूप से उपयोग किए जाते हैं। उस स्थिति में फ़ाइल को कई भागों में विभाजित किया जाता है, जिसका प्रत्येक भाग 15MB आकार में होता है (अंतिम भाग छोटा हो सकता है)। प्रत्येक भाग को फिर से अलग से अपलोड किया जाता है और फिर स्थानांतरण पूरा होने पर गंतव्य पर पुन: निर्मित किया जाता है।

इस नई सुविधा के साथ, यदि किसी भाग का अपलोड विफल हो जाता है, तो पहले से अपलोड किए गए किसी अन्य भाग को प्रभावित किए बिना इसे फिर से शुरू किया जा सकता है।

S3cmd में मल्टीपार्ट अपलोड से संबंधित दो विकल्प हैं। वो हैं:

--disable-बहुखण्डीय

सभी फ़ाइलों के लिए अपलोड अपलोड को अक्षम करें

तथा

--multipart-टुकड़ा आकार एमबी = आकार

मल्टीपार्ट अपलोड के प्रत्येक भाग का आकार। SIZE से बड़ी फाइलें स्वचालित रूप से मल्टीथ्रेडेड-मल्टीपार्ट के रूप में अपलोड की जाती हैं, पारंपरिक विधि का उपयोग करके छोटी फाइलें अपलोड की जाती हैं। आकार मेगा-बाइट्स में है, डिफ़ॉल्ट चंक आकार 15 एमबी है, न्यूनतम अनुमत चंक आकार 5 एमबी है, अधिकतम 5 जीबी है।

इसलिए जब मैं अपलोड करता हूं तो मैं सबसे छोटा चंक आकार चुनता हूं। आपको नीचे दिए गए बंटवारे और अपलोड को फिर से शुरू करना चाहिए।

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

फिर मैं फिर से शुरू।

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

2

मेरा मानना ​​है कि ट्रांसफ़र विंडो में साइबरडुक, आप राइट क्लिक और फिर से शुरू का चयन कर सकते हैं।

अगर ऐसा नहीं काम करता है, Cloudberry अपलोड शुरू करने suports


Cyberduck में किसी कारण से मेरा रिज्यूमे S3 मल्टी-पार्ट के लिए काम नहीं करता है। कोई संकेत?
f01

2

आप एक S3 बाल्टी से और फाइल को स्थानांतरित करने के लिए FileZilla Pro का उपयोग कर सकते हैं। FileZilla Pro मल्टीपार्ट अपलोड का समर्थन करता है और विफलता के मामले में यह स्थानांतरण को फिर से शुरू करेगा।

रिकॉर्ड के लिए यह कई अन्य विशेषताओं के साथ आता है: बड़ी फ़ाइल समर्थन, बल्क ट्रांसफर, फ़िल्टर, निर्देशिका तुलना, दूरस्थ फ़ाइल खोज, ड्रैग एंड ड्रॉप, गति सीमा कॉन्फ़िगरेशन।

मैं FileZilla प्रो टीम का सदस्य हूं।

में और अधिक जानें https://filezillapro.com और कम से https://youtube.com/c/FileZillaPro


कृपया ध्यान दें कि यदि आप किसी भी तरह से उत्पाद से जुड़े हैं तो आपको अपने उत्तर में यह बताना होगा।
कंफ़ेद्दी

@confetti, माफ करना मुझे नहीं पता था। मुझे मदद या आचार संहिता में कुछ खास नहीं मिला। मैंने वास्तव में मान लिया था कि यह मना है। जानकारी जोड़ दी।
16:23 पर josuegomes

कोई बात नहीं, मैं इसे मदद पाठ में नहीं ढूँढ सकता हूँ, इसलिए शायद यह है कि कुछ मॉड जोड़ना चाहिए, लेकिन यह निश्चित रूप से अनुमति है! यह सामान्य रूप से भी बेहतर हो सकता है क्योंकि लोग जानते हैं कि वे टिप्पणियों में सॉफ़्टवेयर के लिए कुछ विशिष्ट पूछ सकते हैं और एक "आधिकारिक" उत्तर प्राप्त कर सकते हैं। :)
कंफ़ेद्दी
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.