यूएसए से यूके डेटासेंटर में 10 टीबी फाइलें स्थानांतरित करें

96

मैं अपने सर्वर को यूएसए से यूके में एक डेटा सेंटर से दूसरे में माइग्रेट कर रहा हूं। मेरे मेजबान ने कहा कि मुझे प्रति सेकंड 11 मेगाबाइट हासिल करने में सक्षम होना चाहिए।

ऑपरेटिंग सिस्टम दोनों सिरों पर विंडोज सर्वर 2008 है।

मेरी औसत फ़ाइल का आकार लगभग 100 एमबी है और डेटा पांच 2 टीबी ड्राइव में विभाजित है।

इन फ़ाइलों को स्थानांतरित करने के लिए अनुशंसित तरीका क्या होगा?

एफ़टीपी
एसएमबी
रुक्सिक / रोबोकॉपी
अन्य?

मैं सुरक्षा के बारे में बहुत परेशान नहीं हूँ क्योंकि ये वैसे भी सार्वजनिक फाइलें हैं, लेकिन मैं सिर्फ एक समाधान चाहता हूं जो कुल हस्तांतरण समय को कम करने के लिए पूर्ण 11 एमबी / एस हस्तांतरण दर को धक्का दे सकता है।

file-transfer large-data

— पॉल हिनेट
स्रोत

19

11 एमबी / एस या 11 एमबी / एस?

— wim

14

डेटा को बाइनरी पंच कार्ड में स्थानांतरित करें और एक वाहक कबूतर का उपयोग करें :)

— enterzero

9

आपको विस्तार प्रदान करना चाहिए। आपको लगता है कि कितने वाहक कबूतर हैं? अपना काम दिखाओ।

— एविक जेम्स

18

@ यूरोपीय या अफ्रीकी?

— wim

8

एक तरफ के रूप में, वुल्फराम अल्फा गणना करने के लिए सबसे सुविधाजनक तरीका है, "11 एमबी / एस पर 10 टीबी"। wolframalpha.com/input/?i=10+TB+at+11MB%2Fs

— pufferfish

173

इसके बजाय महासागर में हार्ड ड्राइव चलाएं।

पूर्ण उपयोग के साथ 11 एमबीपीएस पर, आप 10 टीबी को स्थानांतरित करने के लिए केवल 90 दिनों के शर्मीले तरीके से देख रहे हैं।

11 एमबीपीएस = 1.375 एमबीपीएस = 116.015 जीबी / दिन ।

10240 जीबी / 116.015 जीबी / दिन = ~ 88.3 दिन ।

— शेन मैडेन
स्रोत

42

स्नीकरनेट के लिए +1 । इसके अलावा, आप टीसीपी / आईपी ओवरहेड भूल गए। यह आदर्श परिस्थितियों में ~ 100 दिनों की तरह अधिक है।

— क्रिस एस

43

एक बुद्धिमान व्यक्ति ने एक बार कहा था कि "कभी भी हाइवे पर चलने वाले टेपों से भरे स्टेशन वैगन की बैंडविड्थ को कम मत समझो"। एक नाव के लिए स्टेशन वैगन को बदलकर यह समीकरण बहुत सही है और काफी हद तक नहीं बदला गया है। ( bpfh.net/sysadmin/never-underestimate-bandwidth.html )

— रोब मोइर

5

ड्राइव के बजाय टेप, या ब्लुएयर डिस्क को जहाज करना बेहतर है। यदि आप ड्राइव के साथ जाते हैं, तो सुनिश्चित करें कि मूल सुरक्षित हैं और बस मामले में उपलब्ध हैं। मैं खुद ड्राइव्स के लिए जाऊंगा (जब तक कि मेरे पास 4 ड्राइव नहीं थे) क्योंकि 10 टीबी = 410 सिंगल लेयर ब्लुएयर डिस्क!

— एलन

9

बस एहसास हुआ कि मैंने 11Mbps टाइप किया है, हालांकि मैं वास्तव में 11MB / s का मतलब था। मुझे लगता है कि इससे काफी फर्क पड़ता है, मेरी गणना लगभग 11-14 दिनों के लिए है ... क्या यह सही है?

— पॉल हिनेट

18

अभी भी विश्वास है कि 10TB बैकअप के साथ एक आदमी को भेजते समय, जबकि आधिकारिक डिस्क अभी भी काम कर रही है, एक बार सेटअप हो जाने के बाद, आप किसी भी बदलाव के लिए नए सर्वर को अपडेट करने के लिए rsync दोपहर का भोजन कर सकते हैं। आपको अपनी मशीन लगभग एक दिन में चलानी होगी।

— लोकेक फ्योर-लैक्रोसिक्स

26

मैं कहता हूँ कि rsync, 11 MB / s पर आप 10-14 दिनों में देखेंगे और यदि आप बाधित होते हैं, तो rsync आसानी से शुरू हो जाएगा जहां पिछली बार रुका था।

11 एमबीपीएस में मैं ऊपर दिए गए सुझाव की तरह हार्ड डिस्क शिप करूँगा :)

— लुकास कॉफ़मैन
स्रोत

1

आपका अनुमान बहुत महत्वपूर्ण है कि दूसरों ने क्या पोस्ट किया है (और मुझे नहीं पता कि कौन सही है)। क्या आप उन आंकड़ों पर पहुंचने के लिए अपनी कार्यप्रणाली की आपूर्ति कर सकते हैं?

— जॉन गार्डनियर्स

9

यह अंतर ओपी के 11 एमबीपीएस के गलत होने से उत्पन्न होता है जब वास्तव में उसका मतलब 11 एमबीपीएस था - जो 8 गुना तेज है। BTW, एक रुकावट के मामले में 10 टीबी rsync को पुनरारंभ करने में शायद कुछ समय लगेगा, है ना? घंटे, या लंबे समय तक?

— फ्रैंक किसान

@FrankFarmer: मैं rsync पुनः आरंभ करने के बारे में चिंता नहीं करेगा; मैं 30Mbps वायरलेस लाइन पर ~ 20TB की ऑफसाइट कॉपी रखता हूं, और सेकंड रेंज में रिस्टार्ट होता है। प्रारंभिक प्रतिलिपि में कुछ हफ़्ते लगे, लेकिन रात का अपडेट आमतौर पर कुछ घंटों का होता है।

— जेवियर

@FrankFarmer - rsync बहुत अच्छा पैमाने पर लगता है। मेरे पास एक ग्रामीण ADSL1 लाइन पर एक ~ 2TB है जो कि चुपके से जुड़ा हुआ था, लेकिन अगर कुछ भी नहीं बदला है तो हर रात rsync को ~ 5 मिनट लगते हैं।

— फ्लेक्सो

6

rsync फ़ाइलों की संख्या (मुख्य रूप से statसमय से, मेरे अनुभव में) के साथ समय के पैमाने को पुनः आरंभ करता है , कुल डेटा के साथ नहीं। मैं कोई महत्वपूर्ण प्रतीक्षा (अधिक से अधिक कई मिनट) की उम्मीद करूंगा। हालांकि rsync के साथ मेरा अनुभव 5TB से थोड़ा कम है।

— derobert

15

कोर्स का रु।

कम से कम आप ब्रेक के बाद किसी भी समय जारी रख सकते हैं, और यह बिना किसी दर्द के है।

— कोरजाविन इवान
स्रोत

7

100% उपयोग पर कॉपी करने के लिए 3+ महीने। क्षमा करें, लेकिन उस डेटा को स्थानांतरित करने का यह एक भयानक तरीका है।

— क्रिस एस

मुझे @ChrisS से सहमत होना है, rsyncकेवल बड़ी फ़ाइलों की प्रतिलिपि बनाने के लिए कुशल नहीं है। अपने सामान के लिए मैं प्रारंभिक हस्तांतरण के लिए या tarअधिक का उपयोग कर समाप्त हो गया । यह बहुत तेज है और तुरंत स्थानांतरित करना शुरू कर देता है, जबकि पहले सभी फाइलों को स्कैन करेगा जिसमें समय लगता है। यदि यह बाधित हो जाता है तो आप बाद में भी उपयोग कर सकते हैं । वास्तव में, मैं कभी-कभी वैसे भी सभी अनुमतियों, सॉकेट फ़ाइलों आदि को सुनिश्चित करने के लिए ऐसा करता हूं , सही हैं। netcatsshrsyncrsynctar

— मार्टिन स्क्रहरर

1

ओपी के सही होने के बाद उसे ~ 100Mb कनेक्शन, 11Mb नहीं, rsync बहुत अधिक समझ में आता है। पहली बार इसका उल्लेख करने के लिए +1।

— क्रिस एस

12

टेपों से भरे स्टेशन वैगन की बैंडविड्थ को कभी कम मत समझो

- परंपरा।

आपके मामले में, कूरियर द्वारा भेजे गए डिस्क या टेप, लेकिन सिद्धांत अभी भी लागू होता है। यदि आप विलंबता के बारे में चिंतित नहीं हैं, तो यह किसी भी उचित लंबाई में 10TB डेटा स्थानांतरित करने के लिए नेटवर्क बैंडविड्थ की तुलना में काफी सस्ता होगा।

— ConcernedOfTunbridgeWells
स्रोत

जेफ एटवुड ने अपने पुराने कोडिंग हॉरर पोस्ट में से एक में नंबर दौड़ाए

— tardate

10

आपको rsync का उपयोग करना चाहिए। यह डेटा को संपीड़ित करेगा और भेजने से पहले इसे डी-डुप्लिकेट करेगा। यह आंशिक स्थानांतरण भी फिर से शुरू कर सकता है, जो कि किसी भी बड़े स्थानान्तरण के लिए बहुत महत्वपूर्ण है।

यह संभावना है कि यह 10 टीबी को स्थानांतरित नहीं करता है; यदि यह लॉग और टेक्स्ट है और इस तरह यह 1 टीबी के अंतर्गत हो सकता है; शायद 1 टीबी से नीचे का रास्ता।

ऐसे उपकरण हैं जो rsync की तुलना में संपीड़न का बेहतर काम करते हैं और संभवतः अधिक मिलान पाते हैं। आप उपयोग कर सकते हैं lrzip, आदि।

विशिष्ट प्रकार के डेटा हैं जो अच्छी तरह से संपीड़ित नहीं करते हैं और उदाहरण के लिए शाब्दिक डोज़ - वीडियो और अन्य मीडिया शामिल नहीं हैं। उन मामलों में, एफ़टीपी और rsync एक ही प्रयास कर रहे हैं।

— मर्जी
स्रोत

3

RSync डेटा घटाता है? मुझे लगता है कि यह केवल फ़ाइल स्तर पर होता है, जिसका अर्थ है कि इस मामले में समर्पण ज्यादातर बेकार है।

— डेविनेनॉल

6

मुझे पता है कि यह पहले से ही स्वीकृत है, लेकिन क्या आपने अपने डिस्क को डेटा सेंटर / प्रदाता / होस्ट तक ले जाने पर विचार किया है, जहां आपको अधिक बैंडविड्थ मिल सकती है? यह शायद आपको कुछ पैसे खर्च करेगा लेकिन 10240Gb को बैकअप डिस्क पर कॉपी करने और भेजने में भी समय और पैसा (2%) दोनों खर्च होंगे।

यह भी सुनिश्चित करें कि आपके डिस्क परिवहन में नहीं टूटेंगे।

— Asken
स्रोत

यह उत्तर स्वीकृत उत्तर से कैसे भिन्न है?

— क्रिस एस

2

@ क्रिस यह उत्तर एक ही महाद्वीप पर डिस्क को एक बड़े पाइप तक ले जाने का सुझाव देता है।

— एलेक्स जैस्मिन 18

5

11Mbps? यह काफी सीमित सीमा है। आपकी स्थिति में मैं बस:

डेटा क्लोन करें
इसे संपीड़ित करें
दोनों सर्वरों को कम से कम 10 गुना अधिक बैंडविड्थ (एक ही डेटा केंद्रों में या आपके पास एक डेटा सेंटर में आपके अंत पर) के साथ किराए पर लें।
फ़ाइलों को स्थानांतरित करें
नए सर्वर पर डेटा लागू करें।

यदि आपके पास वास्तव में बैंडविड्थ बढ़ाने का कोई समाधान नहीं है ... तो एक भौतिक ड्राइव को शिपिंग करना तेजी से रास्ता होगा।

मेरे दर्दनाक अनुभव से हार्ड ड्राइव मेल में टूट जाते हैं ... यूएसबी फ्लैश ड्राइव लगातार डेटा ट्रांसफर के लिए एक बेहतर उपाय है। आपके मामले में इसके लिए उनमें से कुछ की आवश्यकता होगी :) इसलिए एकाधिक हार्ड ड्राइव पर अपने डेटा की 2 प्रतियां भेजें।

यदि आपके पास मौजूद डेटा की मात्रा को देखते हुए, आप ड्राइव को प्लग इन करने के लिए दूसरी तरफ एक ही हार्डवेयर / सॉफ्टवेयर रखते हैं, तो RAID 5 या RAID 6 सरणी से ड्राइव भेज सकते हैं। लेकिन उस स्थिति में अपने ड्राइव के क्रम को चिह्नित करना याद रखें। और उनके सीरियल नंबर को फिर से जोड़ने पर वे मिश्रित नहीं होते।

— कोयोट
स्रोत

1

क्षमा करें, 11Mbps एक गलत था, यह 11MB / s है ... मैंने उपरोक्त टिप्पणियों में से एक में उल्लेख किया था।

— पॉल हिनेट

4

जबकि मुझे इस मामले में "इसे हार्डड्राइव का उपयोग करके जहाज" उत्तर पर सहमत होना है, यहां एक कॉपी समाधान का उपयोग किया जाता है जब मुझे पहली बार बड़ी मात्रा में फ़ाइलों की प्रतिलिपि बनाना पड़ता है:

जबकि rsyncदो डेटा स्टोरेज को सिंक में रखना अच्छा है, यह प्रारंभिक हस्तांतरण के लिए काफी अनावश्यक ओवरहेड का परिचय देता है। मुझे लगा कि सबसे तेज़ तरीका है जिस tarपर पाइप किया जाता है netcat। रिसीवर साइट पर आप सुन मोड netcatमें भी उपयोग कर सकते हैं जो आने वाले डेटा को निकालने के लिए पाइप करता है । लाभ यह है कि तुरंत भेजना शुरू कर देता है और इसे सादे टीसीपी स्ट्रीम के रूप में भेजता है जिसमें कोई अतिरिक्त उच्च-स्तरीय प्रोटोकॉल ओवरहेड नहीं होता है। यह जितना हो सके उतना तेज होना चाहिए। हालांकि, अंतिम स्थान पर एक बाधित हस्तांतरण को पुनरारंभ करना आसान नहीं है।tartarnetcat

सही tarविकल्पों का उपयोग करके स्थानांतरण के लिए डेटा को संपीड़ित करना या पाइप में एक संपीड़न उपकरण जोड़ना भी आसानी से संभव है । ध्यान दें कि netcatतारीख अनएन्क्रिप्टेड भेजता है। उन मामलों में जहां यह एक विकल्प नहीं है, sshइसके बजाय एक एन्क्रिप्टेड कनेक्शन का उपयोग किया जा सकता है ( tar <options> | ssh <target> -c 'tar -x <options>')।

यदि सभी डेटा को स्थानांतरित rsyncकिया जाता है, तो यह सुनिश्चित करने के लिए उपयोग किया जा सकता है कि इस बीच अपडेट की गई सभी फाइलें सिंक्रनाइज़ हैं। IIRC tarभी सॉकेट नहीं बनाता है जो अन्यथा खो जाएगा, लेकिन वे वास्तव में डेटासेंटर डेटा के लिए उपयोग नहीं किए जाते हैं।

— मार्टिन शेहरर
स्रोत

नकारात्मक पक्ष यह है कि यह

— विस्फोटों के

3

क्या आपने IPoAC पर विचार किया है ?

एक एकल कबूतर एक घंटे के आसपास दसियों गीगाबाइट डेटा ले जाने में सक्षम हो सकता है, जो औसत बैंडविड्थ के आधार पर एडीएसएल मानकों के वर्तमान अनुकूलता की तुलना करता है, यहां तक कि खोए हुए ड्राइव के लिए लेखांकन भी।

— विम
स्रोत

21

कबूतर ओपी द्वारा बताई गई दूरी पर सिग्नल हानि का सामना करेंगे।

— रॉय टिंकर

@RoyTinker क्लीयर किए गए IPoAC को विंडोिंग प्रक्रिया का उपयोग करके लागू किया जाना चाहिए।

— जेम्सबर्नेट

3

फिर, पहला सुझाव ड्राइव को शिप करना है।

दूसरा सुझाव rsync to rsyncd का उपयोग करना है, SSH के ऊपर नहीं। मैंने कई चीजों की कोशिश की है और यह आमतौर पर सबसे तेज है। संपीड़न चालू करना याद रखें। इसके अलावा, इष्टतम स्थानांतरण दर प्राप्त करने के लिए rsync बफर आकार को बढ़ाते या घटाते हुए देखें । यह आपके MTU आकार को बढ़ाने में भी मदद कर सकता है । यह तभी मदद करता है जब राउटर एन मार्ग आपके पैकेट को खंडित नहीं करता है। यदि वे करते हैं, तो यह निर्धारित करने के तरीके हैं।

दुर्भाग्य से वहाँ कोई सेटिंग नहीं है कि हमेशा सबसे अच्छा है। आपको यह पता लगाने के लिए प्रयोग करना होगा कि आपकी स्थिति में सबसे अच्छा क्या काम करता है।

— sjbotha
स्रोत

2

आपने उल्लेख किया कि सर्वर विंडोज 2008 चला रहे हैं। क्या Microsoft DFS उपयुक्त होगा? निचले सिरे में कुछ जादू है जो कनेक्शन से पॉसिबल के रूप में अधिक बैंडविड्थ प्राप्त करने की कोशिश करता है, और इसमें संपीड़न और डी-डुप्लीकेशन (IIRC) भी है।

माइंड यू, हार्ड ड्राइव, डीवीडी या ब्लूरेस तेज होगा ... मेरी गणना पूर्ण 11 एमबी / एस पर 11 दिन है ...

— TiernanO
स्रोत

1

आप इसके लिए एक धार का उपयोग कर सकते हैं।

एक छोर पर एक निजी धार बनाएं और दूसरे पर क्लाइंट का उपयोग करें।

यद्यपि वहां एन्क्रिप्शन मौजूद है, आपको अपनी आवश्यकताओं के साथ जांच करनी चाहिए।

— Dragos
स्रोत

1

एक 1 से 1 धार संबंध 1 से 1 फ़ाइल स्थानांतरण से बेहतर नहीं है। यदि दो साइटों के बीच सीमित पाइप है, तो आपको विभिन्न पाइपों पर कई सीडर्स की आवश्यकता होती है, आदर्श रूप से भौगोलिक रूप से वितरित।

— जेरेमी

@ जेरेमी - यह थ्रूपुट के मामले में बेहतर या बुरा नहीं है। यह विश्वसनीयता (आसान ठहराव / फिर से शुरू) के संदर्भ में बेहतर हो सकता है, जो इस आकार के लिए महत्वपूर्ण हो सकता है

— जोएल कोएल