लिनक्स से लिनक्स, 10 टीबी हस्तांतरण?


9

मैंने पिछले सभी समान प्रश्नों पर गौर किया है, लेकिन उत्तर सभी जगह लग रहे थे और कोई भी बहुत अधिक डेटा नहीं ले रहा था (100 जीबी 10 टीबी से अलग है)।

मुझे लगभग 10 टीबी मिली है जो मुझे एक RAID सरणी से दूसरे में स्थानांतरित करने की आवश्यकता है, गिगाबिट ईथरनेट, फ्री इनसाइक्लोपीडिया, एक्सएफएस सिस्टम। मेरी सबसे बड़ी चिंता यह है कि ट्रांसफर डाई मिडवे हो रहा है और आसानी से फिर से शुरू नहीं हो पा रहा है। गति अच्छी होगी, लेकिन स्थानांतरण सुनिश्चित करना अधिक महत्वपूर्ण है।

आम तौर पर मैं सिर्फ टार और नेटकैट कर सकता था, लेकिन मैं जिस आरएआर सरणी से जा रहा हूं वह देर से सुपर परतदार हो गया है, और अगर यह मध्य प्रक्रिया को छोड़ देता है, तो मुझे पुनर्प्राप्त करने और फिर से शुरू करने में सक्षम होने की आवश्यकता है। क्या मुझे rsync देखना चाहिए ?

इसे थोड़ा और देखने पर, मुझे लगता है कि rsync बहुत धीमा हो सकता है, और मैं इसे 30 दिन या उससे अधिक समय तक लेने से बचना चाहूंगा । इसलिए अब मैं सुझाव दे रहा हूं कि कैसे netcat के साथ स्थानांतरण की निगरानी / फिर से शुरू करें ।


मुझे कभी-कभी बड़े फ़ाइल ट्रांसफ़र करने की ज़रूरत होती है (लेकिन 10TB नहीं;) rsync में कई झंडे होते हैं, इनमें से कुछ बड़े फ़ाइल ट्रांसफ़र के प्रदर्शन को प्रभावित कर सकते हैं (मुझे लगता है कि --checksum और --archive उदाहरण के लिए आपको धीमा कर सकते हैं।) 10TB को स्थानांतरित करते समय एक बड़ा अंतर होगा।)। क्या कोई इतने बड़े फ़ाइल स्थानांतरण के प्रदर्शन को अनुकूलित करने में मदद करने के लिए अच्छे विकल्पों की सिफारिश कर सकता है? ट्यूनिंग --block-size=SIZEमदद करेगा?
स्टीफन लासिवस्की

वैसे भी ssh ओवरहेड को हटाने के लिए क्या है?
गुमशुदा

1
अपने प्राप्त अंत पर rsyncd सेट करें? ssh के लिए कोई ज़रूरत नहीं
cpbills

3
भेजने वाले पक्ष के साथ-साथ भेजने वाले पक्ष पर एक rsync डेमॉन चलाएँ।
अगली सूचना तक रोक दिया गया।

2
यदि आप एक तरफ rsync डेमॉन सेट नहीं कर सकते हैं और SSH से चिपके हुए हैं, तो आप कम-अच्छे एन्क्रिप्शन के साथ एन्क्रिप्शन ओवरहेड को कम कर सकते हैं जैसे: rsync -avz -e 'ssh -c arcfour' SOURCE DEST
डेविड

जवाबों:


14

हां, rsync

आउटबॉल के साथ, हाल ही में डीआरबीडी के साथ एसिंक्स फीचर्स सामने आए।


1
Rsync के लिए +1। सिस्टम-टू-सिस्टम का राजा लिनक्स पर स्थानांतरित करता है।
ग्रूफ़टेक

+1, rsync (और यह विंडोज समकक्ष DeltaCopy है) सर्वर जेनेरिक फ़ाइल दोहराव के लिए कुशल सर्वर के सभी अंत हैं।
क्रिस एस

1
Rsync के लिए +1, लेकिन मैं यह जोड़ना चाहूंगा कि rsync या SSH प्रोटोकॉल को ओवरहेड करने के बजाय NFS माउंट पर इसे "स्थानीय रूप से" करना अधिक तेज़ी से हो सकता है।
जेम्स स्नीनरिंग

2

टेपों से भरे स्टेशन वैगन की बैंडविड्थ को कभी कम मत समझो। 10TB अपेक्षाकृत सस्ते उपभोक्ता ग्रेड NAS उपकरण के साथ संभव होगा, यदि आप इसे (2TB) विखंडू में विभाजित कर सकते हैं। यदि यह एक बंद है तो एक अर्ध-मैनुअल प्रक्रिया व्यावहारिक हो सकती है, और एक 2TB NAS केवल कुछ सौ डॉलर है।

यदि आपको एक सतत प्रक्रिया की आवश्यकता है, तो आरंभिक हस्तांतरण करने के बाद आप RSYNC स्थापित कर सकते हैं।


मूल प्रश्न का उल्लेख है कि यह पहले से ही एक स्थानीय नेटवर्क पर है।
लादादादा

1
जो ओपी के उद्देश्यों के लिए बहुत धीमा और / या अविश्वसनीय प्रतीत होता है।
कंसर्नडऑफटुनब्रिजवेल्स

2

मुझे कुछ महीने पहले इस तरह का काम करना था। मैंने प्रक्रिया को गति देने के लिए समानांतर rsync का उपयोग किया। इसने फ़ाइलों को विखंडित / विखंडित करने के लिए अलग कर दिया और इसे किसी भी समय फिर से शुरू किया जा सकता है। समानांतर rsync स्क्रिप्ट के लिए नीचे लिंक देखें।

https://gist.github.com/rcoup/5358786


0

आप कॉपी किए जाने वाले डेटा के साथ सर्वर पर एक FTP सर्वर स्थापित करने की कोशिश कर सकते हैं और प्राप्त अंत पर "फिर से शुरू" के साथ एक एफ़टीपी क्लाइंट का उपयोग कर सकते हैं। मैं फाइलज़िला सर्वर और क्लाइंट का उपयोग करता हूं और मैं क्लाइंट के "फिर से शुरू" फीचर का उपयोग अक्सर करता हूं और यह हमेशा एक अड़चन के बिना काम करता है।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.