यूनिक्स पर एक समानांतर प्रति प्रदर्शन करने का सबसे अच्छा तरीका क्या है?

Question

मुझे नियमित रूप से एक नेटवर्क फाइल सिस्टम पर एक फ़ोल्डर की सामग्री को अपने स्थानीय कंप्यूटर पर कॉपी करना होगा। दूरस्थ फ़ोल्डर पर कई फाइलें (एक) होती हैं जो सभी अपेक्षाकृत छोटी होती हैं, लेकिन नेटवर्क ओवरहेड के कारण एक नियमित प्रतिलिपि cp remote_folder/* ~/local_folder/बहुत लंबा समय (10 मिनट) लेती है।

मेरा मानना ​​है कि यह इसलिए है क्योंकि फाइलों को क्रमिक रूप से कॉपी किया जा रहा है - प्रत्येक फाइल का इंतजार तब तक होता है जब तक कि कॉपी शुरू होने से पहले पिछला खत्म नहीं हो जाता।

इस प्रतिलिपि की गति बढ़ाने का सबसे सरल तरीका क्या है? (मुझे लगता है कि यह समानांतर में प्रतिलिपि प्रदर्शन करना है।)

कॉपी करने से पहले फाइलों को जिप करने से जरूरी चीजें तेजी से नहीं बढ़ेंगी क्योंकि वे सभी अलग-अलग सर्वर पर अलग-अलग डिस्क पर सेव हो सकते हैं।

Comments

कॉपी करने से पहले फाइलों को जिप करने से चीजें बड़े पैमाने पर हो जाएंगी क्योंकि आपको "उस फाइल को प्राप्त करने", "हां, मैंने किया था", "यहां अगले एक", "ठीक है", ... की आवश्यकता नहीं है। "टर्नअराउंड" जो आपको धीमा करता है।

— डेविड श्वार्ट्ज

यह शायद डिस्क की गति है, नेटवर्क की गति के बजाय, यह आपका सीमित कारक है, और यदि ऐसा है तो समानांतर में प्रति फ़ाइल ऐसा करने से ऑपरेशन धीमा हो जाएगा, तेज नहीं, क्योंकि आप डिस्क को लगातार आगे और पीछे खोजने के लिए मजबूर करेंगे। फाइलों के बीच।

— जोएल कोएहॉर्न

हालांकि, ज़िपिंग एक अच्छा विचार नहीं हो सकता है (फ़ाइलों के विभिन्न प्रकार पर संपीड़न संपीड़न को थोड़ा समय लग सकता है), टार व्यवहार्य हो सकता है।

— रोब

@JoelCoehoorn अभी भी, ऐसे मामले हैं जब यह मामला नहीं है: उदाहरण के लिए कई स्पिंडल + छोटी फाइलें (या बस यादृच्छिक रीड्स)। इस परिदृश्य में, "समानांतर cp" मदद करेगा।

— सीएएफएक्सएक्स

serverfault.com/questions/152331/parallel-file-copy

— Ciro Santilli 中心 est est est est

Answer 1

जब तक आप अपने द्वारा चलाए जा रहे कॉपी कमांड को सीमित करते हैं, तब तक आप संभवतः स्क्रूटिनीज़र द्वारा पोस्ट की गई स्क्रिप्ट का उपयोग कर सकते हैं

SOURCEDIR="$1"
TARGETDIR="$2"
MAX_PARALLEL=4
nroffiles=$(ls "$SOURCEDIR" | wc -w)
setsize=$(( nroffiles/MAX_PARALLEL + 1 ))
ls -1 "$SOURCEDIR"/* | xargs -n "$setsize" | while read workset; do
  cp -p "$workset" "$TARGETDIR" &
done
wait

Comments

यद्यपि चेतावनी का ध्यान दें: यह स्क्रिप्ट उन फ़ाइलनामों से टूटती है जिनमें रिक्त स्थान या ग्लोबिंग वर्ण होते हैं।

— slhck

@ ओल्डवॉल्फ - क्या आप बता सकते हैं कि यह स्क्रिप्ट कैसे काम करती है? उदाहरण के लिए, कौन सा भाग समानांतर करता है?

— dsg

@dsg: कमांड &के अंत में लूप को जारी रखने और प्रतीक्षा के बिना अगले सीपी कमांड को शुरू करने की cpअनुमति देता है while। xargsआदेश के लिए 4 (MAX_PARALLEL) के समूह में फ़ाइल नाम गुजरता whileपाश।

— RedGrittyBrick

मेरे लिए काम नहीं किया। मुझे यकीन नहीं है कि इसे गति देना संभव है cp। आप बहुविवाद के माध्यम से गणना को गति दे सकते हैं । लेकिन मुझे नहीं लगता कि हार्ड ड्राइव डेटा कापी करने के लिए समान धारण है।

— एडोब

Answer 2

यदि आपके पास GNU समानांतर http://www.gnu.org/software/parallel/ स्थापित है तो आप यह कर सकते हैं:

parallel -j10 cp {} destdir/ ::: *

आप केवल द्वारा GNU समानांतर स्थापित कर सकते हैं:

$ (wget -O - pi.dk/3 || lynx -source pi.dk/3 || curl pi.dk/3/ || \
   fetch -o - http://pi.dk/3 ) > install.sh
$ sha1sum install.sh | grep 3374ec53bacb199b245af2dda86df6c9
12345678 3374ec53 bacb199b 245af2dd a86df6c9
$ md5sum install.sh | grep 029a9ac06e8b5bc6052eac57b2c3c9ca
029a9ac0 6e8b5bc6 052eac57 b2c3c9ca
$ sha512sum install.sh | grep f517006d9897747bed8a4694b1acba1b
40f53af6 9e20dae5 713ba06c f517006d 9897747b ed8a4694 b1acba1b 1464beb4
60055629 3f2356f3 3e9c4e3c 76e3f3af a9db4b32 bd33322b 975696fc e6b23cfb
$ bash install.sh

अधिक जानने के लिए GNU समानांतर के इंट्रो वीडियो देखें: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Answer 3

एक तरीका यह होगा कि rsync का उपयोग किया जाए जो केवल परिवर्तनों की प्रतिलिपि बनाएगा - नई फ़ाइलें और अन्य फ़ाइलों के परिवर्तित भाग।

http://linux.die.net/man/1/rsync

समानांतर कॉपी ऑपरेशन के किसी भी रूप को चलाने से संभवतः आपके नेटवर्क में बाढ़ आ जाएगी और कॉपी ऑपरेशन सिर्फ एक पड़ाव में पीस जाएगा या स्रोत या गंतव्य डिस्क पर बाधाओं से पीड़ित होगा।

Answer 4

ईमानदारी से, सबसे अच्छा उपकरण Google का gsutil है। यह निर्देशिका पुनरावृत्ति के साथ समानांतर प्रतियां संभालता है। मैंने देखा है अन्य तरीकों में से अधिकांश निर्देशिका पुनरावृत्ति को संभाल नहीं सकते। वे अपने डॉक्स में स्थानीय फाइल सिस्टम प्रतियों के लिए स्थानीय फाइल सिस्टम का विशेष रूप से उल्लेख नहीं करते हैं, लेकिन यह एक आकर्षण की तरह काम करता है।

यह स्थापित करने के लिए एक और द्विआधारी है, लेकिन शायद एक आप पहले से ही आजकल सभी क्लाउड सेवा अपनाने पर विचार कर सकते हैं।

Answer 5

समानांतर rsync का उपयोग कर पाते हैं:

export SOURCE_DIR=/a/path/to/nowhere
export DEST_DIR=/another/path/to/nowhere

# sync folder structure first
rsync -a -f'+ */' -f'- *' $SOURCE_DIR $DEST_DIR

# cwd
cd $SOURCE_DIR

# use find to help filter files etc. into list and pipe into gnu parallel to run 4 rsync jobs simultaneously
find . -type f | SHELL=/bin/sh parallel --linebuffer --jobs=4 'rsync -av {} $DEST_DIR/{//}/'

कॉर्पोरेट लैन पर, सिंगल rsync लगभग 800Mbps करता है; 6-8 नौकरियों के साथ मैं 2.5Gbps (उच्च भार की कीमत पर) प्राप्त करने में सक्षम हूं। डिस्क द्वारा सीमित।

Answer 6

आपके पास जो टोपोलॉजी है, उसके आधार पर कई बातों पर विचार करना पड़ सकता है। लेकिन इससे पहले कि आप जटिल समाधानों के बारे में सोचना शुरू करें, आप बस कार्य को दो कामों में विभाजित करने का प्रयास कर सकते हैं और जांच सकते हैं कि क्या समय की आवश्यकता काफी कम हो जाएगी:

अगली बार कोशिश करें:

  cp remote_folder/[a-l]* ~/local_folder/ &
  cp remote_folder/[!a-l]* ~/local_folder/ &
  wait
  wait

(आप [अल] * को कुछ और चीज़ों से बदलना चाहते हैं जो लगभग आधी फाइलों से मेल खाती हैं - शायद [0-4] * - फ़ोल्डर की सामग्री के आधार पर)

यदि समय में नाटकीय रूप से सुधार नहीं होता है, तो यह जांचना अधिक महत्वपूर्ण हो सकता है कि क्या सभी फाइलों को कॉपी करने के लिए यह आवश्यक है (सभी फाइलों में परिवर्तित फ़ाइलों का अनुपात क्या है?)