नेटवर्क पर 20TB डेटा ट्रांसफर करने के लिए मुझे किस प्रोग्राम का उपयोग करना चाहिए?

Question

मुझे वज्र सरणी पर 20TB डेटा कॉपी करने की आवश्यकता है। जिस बॉक्स में डेटा मौजूद है, उसमें वज्र कनेक्शन नहीं है, इसलिए मुझे इसके लिए स्थानीय 1GB नेटवर्क का उपयोग करने की आवश्यकता होगी। (हाँ, यह हमेशा के लिए ले जाएगा)।

मैंने Filezilla / sftp का उपयोग करने की कोशिश की, लेकिन जब कतार बड़ी हो गई तो यह दुर्घटनाग्रस्त हो गया। Rsync या scp जाने का रास्ता है?

Comments

क्या आप पुराने डिवाइस से ड्राइव निकाल सकते हैं और इसे सीधे संलग्न कर सकते हैं?

उपरोक्त टिप्पणी के साथ चिंता। भौतिक हस्तांतरण में सबसे बड़ा बैंडविड्थ है।

— सियुआन रेन

मुझे कार्बन कॉपी क्लोनर पसंद है, जो rsync पर आधारित एक अच्छा GUI उपयोगिता है। डेवलपर ने rsync को फोर्क किया और बहुत सुधार किए। मैं गति बनाम rsync और / या टार या जो भी बोल सकता हूं, लेकिन यह किसी भी तरह के डेटा ट्रांसफर के लिए मेरा जाना है, जहां मैं बिना किसी संदेह के जानना चाहता हूं कि मेरे डेटा के अच्छे होने के बाद एक बार सब कहा और किया जाता है। और अगर ऐसा नहीं है, तो CCC मुझे बताएगी।

— हरिवंश

मुझे आश्चर्य है कि Fedex का कोई संदर्भ नहीं है ।

— tedder42

Answer 1

rsync जाने का एक अच्छा तरीका है (scp बहुत ही कम सुविधाओं के साथ समान है)। आप -Zविकल्प का उपयोग करना चाह सकते हैं , जो zlib संपीड़न को सक्षम करेगा। आपके ड्राइव / कंप्यूटर कितने तेज़ हैं, इस पर निर्भर करते हुए, यह अनपेक्षित भेजने की तुलना में तेज़ हो सकता है, अर्थात यदि आपका नेटवर्क लिंक संतृप्त है। आप आर्काइव मोड विकल्प भी चाहते हैं, -aजो सिर्लिंक, अनुमतियाँ और निर्माण / संशोधन समय को संरक्षित करेगा, साथ ही साथ निर्देशिकाओं को पुनरावर्ती रूप से कॉपी भी कर सकता है। आप -Eजो कॉपी कर रहे हैं उसके आधार पर आप चाहते हैं कि विस्तारित विशेषताएँ और मैक संसाधन कांटे संरक्षित किए जा सकते हैं । अंत में, --progressआपको प्रगति की जानकारी दिखाएगा।

Comments

यदि कोई व्यवधान है तो rsync प्रतिलिपि को पुनः आरंभ करने में भी अच्छा है।

— ली जोरमो

@LeeJoramo को सुरक्षित रखने में सक्षम होने के नाते, जहां एक असफल हस्तांतरण छोड़ दिया जाना बेहद महत्वपूर्ण है। यह बड़ा हस्तांतरण किसी बिंदु पर विफल हो जाएगा , और आप यह सुनिश्चित करना चाहते हैं कि आपने उस बिंदु पर जो भी प्रगति की है, उसे खोना नहीं है।

— १०:४१ पर blahdiblah

Answer 2

जबकि rsync के रूप में सर्वव्यापी नहीं है, मेरे पास अतीत में एक टूल कॉल "mpscp" है - http://www.sandia.gov/MPSCP/mpscp_design.htm

सैंडिया नेशनल लैब्स से, यह एक फाइल कॉपी टूल है जो एसएसएच पर चलता है जो विशेष रूप से निकट प्रणालियों (जैसे एक ही साइट पर दो सुपर कंप्यूटरों के बीच डेटा के टेराबाइट्स की प्रतिलिपि बनाने के लिए उच्च गति वाले नेटवर्क के लिए अनुकूलित होता है, 10Gb + या Infiniband के माध्यम से जुड़ा हुआ है)। यह अच्छी तरह से काम करता है, लेकिन सेटअप करने के लिए थोड़ा दर्द हो सकता है। परीक्षण में, मैंने आसानी से इसे rsync की तुलना में तेजी से 2x-3x चलाते देखा है।

Answer 3

Rsync का उपयोग करें और rsyncd के साथ इसका उपयोग करने पर विचार करें। यदि आप rsyncd के बिना rsync का उपयोग करते हैं, तो आप ssh का उपयोग करके अटक जाते हैं, जिसका अर्थ है किसी प्रकार के एन्क्रिप्शन का उपयोग करना। आप शायद एक पुरानी मशीन से डेटा को एक नई मशीन में कॉपी कर रहे हैं और एक गीगाबिट ईथरनेट लिंक को संतृप्त रखने के लिए पुरानी मशीन में ट्रांसमिशन को डेटा एन्क्रिप्ट करने के लिए सीपीयू ग्रंट नहीं हो सकता है। दोनों तरीकों का उपयोग करके फ़ाइलों के बैच को स्थानांतरित करना और देखें कि कौन सा तरीका तेज है।

उसी कारण के लिए मैं इसे उपयोग करने से पहले rsync के संपीड़न विकल्प के उपयोग के परीक्षण की सलाह दूंगा। संपीड़न एक और सीपीयू गहन गतिविधि है जो पुराने हार्डवेयर पर प्रयास करने पर गीगाबिट ईथरनेट गति के साथ रखने में सक्षम नहीं हो सकती है। rsync एक पंद्रह साल पुराना कार्यक्रम है, जिसे तब लिखा जाता है जब पहले विश्व के अधिकांश देशों के लोगों ने डायलअप मॉडेम के माध्यम से इंटरनेट एक्सेस किया था। नेटवर्क बैंडविड्थ बनाम सीपीयू ट्रेडऑफ़ तब बहुत अलग थे।

Comments

आप सही हैं कि rsync ssh का उपयोग करने में चूक करता है, लेकिन यह एकमात्र विकल्प नहीं है। आप -eविकल्प का उपयोग करने के बजाय इसे rsh का उपयोग कर सकते हैं । एक ही विकल्प के साथ, आप कम सीपीयू-गहन एन्क्रिप्शन का उपयोग करने के लिए ssh के विकल्पों को बदल सकते हैं: -e 'ssh -c arcfour,blowfish-cbc'या पसंद करें। क्या यह किसी आधुनिक मशीन के साथ गति में अंतर करता है, मुझे नहीं पता, लेकिन एक त्वरित बेंचमार्क सार्थक हो सकता है, खासकर 20 टीबी फाइलों के साथ।

— माइकल डीएम ड्राइडन

Answer 4

क्या इस 20Tb को बड़ी संख्या में बड़ी फ़ाइलों (जैसे वीडियो, मॉन्स्टर डेटाबेस) या लाखों छोटी फ़ाइलों में पैक किया गया है?

यदि बहुत सारी छोटी फाइलें मैं रिस्टिबिलिटी के लिए rsync के साथ जाऊंगा या दक्षता के लिए एक पाइप्ड टार स्ट्रीम (बहुत के लिए एक नेटवर्क कनेक्शन, विफल होने पर फिर से शुरू करें)

tar -cf - * | ( cd newhome; tar -xf - )

दूरस्थ फ़ोल्डर को माउंट किया जाना चाहिए।

क्या आप सीधे नए इंटरफ़ेस को एक अलग इंटरफ़ेस से जोड़ सकते हैं? स्थानीय rsync ssh का उपयोग नहीं करता है इसलिए आप उस विफलता बिंदु को हटा देते हैं। हां, Firewire 800 गीगाबिट ईथरनेट की तुलना में धीमा है लेकिन आप ईथरनेट को 100% तक लोड नहीं कर सकते हैं - यह फायरवायर द्वारा तेज हो सकता है। FYI करें अगर आप बॉक्स बंद कर सकते हैं तो आप फायरवायर को नेटवर्क कर सकते हैं। सिस्टम वरीयताओं में इंटरफ़ेस जोड़ें -> नेटवर्क।

Answer 5

एक अन्य विकल्प बिटटोरेंट सिंक ( http://www.bittorrent.com/sync ) को आज़माना होगा । मैंने इसे WAN के पार हमारे परिवार के सदस्यों के बीच पारिवारिक फ़ोटो और वीडियो को सिंक करने के लिए उपयोग किया है, लेकिन कोई कारण नहीं है कि यह स्थानीय नेटवर्क के लिए काम नहीं करेगा। यह पीयर-टू-पीयर कनेक्शन का उपयोग करता है, इसलिए डेटा किसी सर्वर के माध्यम से नहीं जा रहा है जैसे कि यदि आप ड्रॉपबॉक्स जैसी किसी चीज़ का उपयोग करने की कोशिश करते हैं (ऐसा नहीं है कि मुझे लगता है कि आपके पास ड्रॉपबॉक्स स्थान का 20TB है या आप इसे अपलोड करने के लिए लंबे समय तक इंतजार करना चाहते हैं। डेटा!)

यह कई प्लेटफार्मों पर भी समर्थित है ताकि rsync और टार की तुलना में अधिक लचीलापन हो।