LAN पर कई मशीनों में बड़ी फ़ाइलों को कॉपी करें


9

मेरे पास कुछ बड़ी फाइलें हैं जिन्हें मुझे एक लिनक्स मशीन से लगभग 20 अन्य लिनक्स मशीनों की प्रतिलिपि बनाने की आवश्यकता है, सभी एक ही लैन पर जितनी जल्दी संभव हो उतना संभव है। इन फ़ाइलों को कॉपी करने के लिए कौन से उपकरण / तरीके सबसे अच्छे होंगे, यह देखते हुए कि यह एक बार की कॉपी नहीं होगी। ये मशीनें कभी भी इंटरनेट से जुड़ी नहीं होंगी, और सुरक्षा कोई समस्या नहीं है।

अपडेट करें:

मेरे यह पूछने का कारण यह है क्योंकि (जैसा कि मैं इसे समझता हूं) हम वर्तमान scpमें सीरियल में प्रत्येक मशीन में फ़ाइलों की प्रतिलिपि बनाने के लिए उपयोग कर रहे हैं और मुझे सूचित किया गया है कि यह "बहुत धीमा" है और एक तेज विकल्प की तलाश की जा रही है। मुझे जो बताया गया है, उसके अनुसार, scpहार्ड ड्राइव की तलाश के कारण कॉल को समानांतर करने का प्रयास इसे धीमा कर देता है।


"बड़े" को परिभाषित करें। सैकड़ों एमबी / जीबी / टीबी / अधिक?
जने पिकरकेन ने

वर्तमान में, कुल लगभग 4 GiB (संपीड़ित) पर बैठा है, हालांकि यह भविष्य में बढ़ सकता है।
जोनाथन कॉलेन

यही कारण है कि 2011 में भी - किसी भी तरह से नहीं। एक 1gabit लिंक दिया गया है जो ठीक से स्विच किया गया है (2011 में मानक) जो कि पूरा करने के लिए काफी फैस है। इसे 10g सर्वर (2011 में भी दुर्लभ नहीं है) ... अच्छी तरह से चल रहा है?)
टॉमटॉम

जवाबों:


27

BitTorrent। यह है कि ट्विटर कुछ चीजों को आंतरिक रूप से कैसे प्रदर्शित करता है।

http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html (वेब संग्रह)


3
मेरे जवाब के अलावा (जो मुझे लगता है कि एक अच्छा काम करेगा, अगर आप इसे लागू कर सकते हैं), एनएफएस के लिए नीचे दिया गया जवाब बहुत अच्छा है। एक अच्छा NFS सर्वर फ़ाइलों को कैश करना चाहिए ताकि आप डिस्क को हिट न रखें। इसके अलावा, उस के साथ, फ़ाइलों की प्रतिलिपि नहीं है से सर्वर को ग्राहकों। इसे क्लाइंट से आरंभ करें और NFS सर्वर के कैश को मदद करने दें।
mfinni

1
एक गैर-उत्पादन environnement में इसे आज़माना सुनिश्चित करें, प्रस्तुति में वे कहते हैं (iirc) ने कुछ स्विचों को पहली तैनाती के दौरान बहुत अधिक नुकसान पहुंचाया क्योंकि पैकेटों की संख्या बदली थी।
शादोक

1
@psusi आप यह क्यों कहते हैं कि उसे 20 बार डेटा भेजना होगा? एक बार दूसरे साथियों के पास फ़ाइल का हिस्सा होने के बाद, वे उन हिस्सों को भेजना शुरू कर सकते हैं जो उनके पास हैं।
जोनाथन कैलन

2
ओपी के लिए समस्या लैन नहीं है, यह केंद्रीय सर्वर पर डिस्क है।
mfinni

1
@pSusi - मल्टीकास्ट निश्चित रूप से एक और मान्य उत्तर होगा। उत्तर के रूप में पोस्ट करें, मेरे उत्तर पर दस्तक के रूप में नहीं।
mfinni

12

कैसे UFTP के बारे में , यह एक ही बार में कई ग्राहकों के लिए UDP पर फ़ाइलों को वितरित करने के लिए मल्टीकास्ट का उपयोग करता है। हर किसी के लिए नहीं और मैं इस पर कोई विशेषज्ञ नहीं हूं, लेकिन ऐसा लगता है कि यह वही करता है जो आप चाहते हैं।


1
अस्वीकरण: इसके लिए ऐसे उपकरणों की आवश्यकता होगी जो मल्टीकास्ट का समर्थन करते हैं।
user606723

मैं बल्कि यह उम्मीद कर रहा था कि यह समान प्रयोग पर होगा - इस उपयोग के प्रभाव को कम करना।
चॉपर 3

@ user606723: क्या सब कुछ आधुनिक नहीं है? शायद कुछ उपभोक्ता कबाड़ नहीं है, लेकिन मैं थोड़ी देर में टूटी हुई मल्टीकास्ट के साथ कुछ भी नहीं चला है। इन दिनों बहुत ज्यादा इसका उपयोग करता है। मुझे लगता है कि विंडोज सक्रिय निर्देशिका भी मल्टीकास्ट का उपयोग करता है।
ज़ैन लिंक्स

मुझे वास्तव में इस @ZanLynx के साथ कोई अनुभव नहीं है। मुझे पता है कि कई कार्यालय / कंप्यूटर लैब अंतिम हॉप पर उपभोक्ता / अप्रबंधित स्विच का उपयोग करते हैं। ये स्विच मल्टीकास्ट के साथ कैसे व्यवहार करेंगे?
user606723

3

क्या आपने इस डेटा को कॉपी करने की कोशिश की है rsync? यदि आपके पास 1 Gbit LAN या तेज है, तो 4 * 20 GB से अधिक की नकल करने से कोई समस्या नहीं होनी चाहिए।

यह प्रति कितनी बार होगी? क्या यह खत्म होने में कुछ मिनट लगते हैं?


3

एससीपी-सुनामी इसका तरीका है!

https://code.google.com/p/scp-tsunami/

यह आमतौर पर वर्चुअलाइजेशन क्लस्टर पर डिस्क छवियों को वितरित करने के लिए उपयोग किया जाता है, इसका प्रदर्शन बिटोरेंट के पास होता है लेकिन दैनिक उपयोग के लिए उपयोग करना सरल होता है।


2

एक NFS शेयर को सेट करना और बड़ी फ़ाइलों के इस साझा रेपो से प्रत्येक मशीन को खींचना संभवत: सबसे तेज़ तरीका होगा (NFS बहुत जल्दी और बहुत कम ओवरहेड है)।

आप स्रोत सर्वर में एक अतिरिक्त NIC या दो जोड़ सकते हैं और आपको बेहतर थ्रूपुट देने के लिए उन्हें एक साथ जोड़ सकते हैं।

कार्यान्वयन प्रत्येक लक्ष्य सर्वर पर एक साधारण क्रोन जॉब हो सकता है जो हर घंटे / दिन / जो कुछ भी शेयर से आँख बंद करके प्राप्त करता है। आप नई फ़ाइलों के चुनाव के लिए एक डेमॉन भी सेट कर सकते हैं; आप प्रत्येक लक्ष्य बॉक्स में SSH (मुख्य जोड़े के साथ) के लिए एक नियंत्रण सत्र भी लिख सकते हैं और जब आप अपनी स्क्रिप्ट निष्पादित करते हैं तो उन्हें फ़ाइल लाने का निर्देश देते हैं।


1
मेरा मानना ​​है कि मेरे पूर्ववर्ती ने इसके लिए एनएफएस का उपयोग करने का प्रयास किया और पाया कि (उस समय), रैम कैश पूरे हस्तांतरण के लिए पर्याप्त नहीं था, जो नेटवर्क के बजाय सीमित कारक बनने के लिए हार्ड ड्राइव पर लोड का कारण बन रहा था। गति।
जोनाथन कॉलन
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.