s3cmd समन्वयन "के लिए दूरस्थ फ़ाइलों की पुनर्प्राप्ति सूची" पर लटका हुआ है


1

बैकअप समाधान के भाग के रूप में, मैं फ़ाइलों के भार को स्थानांतरित करने के लिए s3cmd का उपयोग कर रहा हूं।

मेरे पास अलग-अलग आकारों की निर्देशिकाओं और विभिन्न आकारों की फ़ाइलों के साथ चार अलग-अलग नौकरियां हैं।

तीनों नौकरियां ठीक चलती हैं। अंतिम काम, हालांकि, संदेश पर लटका हुआ है:

Retrieving list of remote files for <...>

और जब मैं कहता हूं कि यह लटका हुआ है, मेरा मतलब है कि यह आगे नहीं बढ़ता है। यह 100% स्थिर कार्यालय इंटरनेट कनेक्शन पर पूरे सप्ताह के लिए इस तरह जमे हुए था।

अब, यह जिस निर्देशिका को अपलोड करने का प्रयास कर रहा है, वह बड़ी है। लगभग 306GB। यह अब तक का सबसे बड़ा काम है।

मैंने StackOverflow पर एक पोस्ट को इसी तरह की समस्या (समान नहीं) के साथ देखा, और स्वीकृत उत्तर ने .s3cfg को संपादित करने और एक बड़ा सॉकेट_ टाइमआउट सेट करने के लिए कहा। मैंने इसे 10 से 180 में बदल दिया, लेकिन इससे कोई फर्क नहीं पड़ा।

किसी भी विचार अगले प्रयास करने के लिए क्या? मैं अपनी गुगली में कम आया हूं।

जवाबों:


0

इस मुद्दे का हल, मेरे लिए, s3cmd का उपयोग बंद करना और इसके बजाय aws टूल का उपयोग करना शुरू करना था।

इसके बजाय s3cmd sync ..., मैं अब का उपयोग करें aws s3 sync ...। यह एक आकर्षण की तरह काम करता है। काश मैं कभी भी s3cmd पर ठोकर नहीं खाता।


0

चूंकि गंतव्य निर्देशिका md5 की सूची को पुनः प्राप्त करने के लिए बड़ा समय हो जाता है और आकार डेटा बढ़ जाता है।

मेरे लिए इसी तरह बड़े बैकअप बीस मिनट से भी कम समय में इस कदम को पूरा कर रहे हैं। मैंने देखा कि मेरे पास सॉकेट_टाइमआउट 300 पर सेट है।

आप लक्ष्य बकेट में प्रत्येक फ़ाइल के md5 स्कैन को भी --no-check-md5 का उपयोग करके टाल सकते हैं, लेकिन मैंने ऐसा करना आवश्यक नहीं पाया है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.