AWS क्लाइंट S3 mv कमांड धीमी है

Question

मैं एक ही बाल्टी में S3 के आसपास फ़ाइलों को स्थानांतरित करने के लिए aws cli का उपयोग कर रहा हूं। जहाँ तक मुझे पता है, AWS S3 फ़ोल्डर संरचना को बनाए नहीं रखता है। यह संपूर्ण पथ को फ़ाइल की कुंजी के रूप में संग्रहीत करता है और इसे कंसोल में फ़ोल्डर संरचना में प्रदर्शित करता है।

अब मेरा सवाल यह है कि अगर मैं फ़ाइल को स्थानांतरित करना चाहता हूं, तो यह मूल रूप से फ़ाइल कुंजी का नाम बदल रहा है। हालाँकि, निम्न आदेश हस्तांतरण दिखाएगा।

aws s3 mv s3://bucket1/stage1/part1/$i/stage1.prime s3://bucket1/stage1/$i/part1/stage1.prime

टर्मिनल आउटपुट देगा

Completed 2.1 GiB/4.2 GiB (86.4 MiB/s) with 1 file(s) remaining

Comments

तकनीकी रूप से, नाम बदलना ("चलना") एक वस्तु वास्तव में वस्तु को नई कुंजी में कॉपी करती है और फिर पुरानी वस्तु को हटा देती है, लेकिन प्रतिलिपि कार्रवाई S3 के लिए आंतरिक होनी चाहिए। क्या आप उपयोग कर सकते हैं --debug और भेजे जा रहे अनुरोधों को कैप्चर करें? अगर आप देखें x-amz-copy-source-range शीर्षलेख, cli सिर्फ आंतरिक से s3 मल्टीपार्ट कॉपी कर सकता है, और प्रगति रिपोर्टिंग उद्देश्यों के लिए उन आंतरिक कॉपी कार्यों की स्थिति की रिपोर्ट कर रहा है। मेरा मानना ​​है aws s3 mv ... --debug 2> >(tee somelogfilename.txt >&2) आसान समीक्षा के लिए उस डिबग को एक फ़ाइल पर कब्जा करना चाहिए।

— Michael - sqlbot