Rsync -avz scp -r से अधिक तेज़ क्यों है?


55

मैं इस से हैरान हूँ? Rsync scp से अधिक तेज़ क्यों है? Rsync नीचे scp का उपयोग नहीं करता है या क्या यह कुछ अधिक कुशल है? क्या scp को तेज करने का कोई तरीका है?


1
यह एक नई प्रति है।
ग्राम सेप

जवाबों:


68

Rsync स्पष्ट रूप से scp से अधिक तेज़ होगा यदि लक्ष्य में पहले से ही कुछ स्रोत फ़ाइलें हैं, क्योंकि rsync केवल अंतरों की प्रतिलिपि बनाता है। लेकिन मुझे संदेह है कि आपका सवाल एक खाली लक्ष्य के लिए एक सीधी नकल करने के बारे में था।

आपने -zविकल्प पास कर दिया है rsync; यह सम्पीडन को चालू करता है। यदि नेटवर्क बैंडविड्थ सीमित कारक है (यह अक्सर होता है), संपीड़न एक ध्यान देने योग्य राशि से हस्तांतरण की गति में सुधार कर सकता है।

आप विकल्प scpपास करके भी कंप्रेशन को सक्षम कर सकते हैं -C। यह rsync के साथ चीजों के बारे में भी होना चाहिए। संपीड़न ssh में डिफ़ॉल्ट रूप से सक्षम नहीं है क्योंकि यह बैंडविड्थ बचाता है लेकिन विलंबता और सीपीयू ओवरहेड जोड़ता है; इंटरेक्टिव सत्र के लिए विलंबता खराब है (यह लागू नहीं होता है scp), और सीपीयू ओवरहेड बेकार है यदि आप जिन फ़ाइलों की नकल कर रहे हैं वे पहले से ही संपीड़ित हैं।

rsyncउपयोग किए गए rsh के पुराने संस्करण डिफ़ॉल्ट ट्रांसपोर्ट परत के रूप में ssh के बजाय हैं, इसलिए एक उचित तुलना rsyncऔर के बीच होगी rcp। लेकिन 2004-01-01 में 2.6.0 के रिलीज़ होने के बाद से ssh डिफ़ॉल्ट है।

समान संपीड़न सेटिंग्स के साथ, मैं अपेक्षा करता हूं rsyncऔर scpअनिवार्य रूप से समान गति होनी चाहिए। यदि आप अन्यथा पाते हैं तो कृपया बेंचमार्क साझा करें।


3
अच्छा, का उपयोग करते हुए -C ने मेरी स्थानांतरण गति 5 एमबी से बढ़ाकर 20MB कर दी
ɾǝʞǝʞ

मैंने अभी परीक्षण किया है कि 3-9 एमबी के आसपास 16 फाइलों वाली निर्देशिका के लिए और rsync -zअभी scpभी इन उत्तरों में सुझाए गए किसी भी संपीड़न के साथ तुलना में तेज़ है । यह भी एक फ़ाइल में मैन्युअल रूप से संपीड़ित और संग्रह करने से अधिक तेज़ है और scp'उस फ़ाइल scpको सम्मिलित करना ( संपीड़न के साथ उससे भी धीमी है)। तो ओपी का सवाल वास्तव में अनुत्तरित है: wth की scpतुलना में इतना धीमा है rsync?
ओहसीबी

12

तेज तरीके से scp का प्रयास करें

scp -p -C -o 'CompressionLevel 9' -o 'IPQoS throughput'  -c arcfour machine:file .

ये विकल्प सादा scp मशीन की तुलना में मेरे सेटअप में 5 बार scp को गति देते हैं: फ़ाइल।

अपडेट, 2017

दरअसल MTU और बफर साइज जैसे टीसीपी विवरण के खराब प्रबंधन के कारण एसपीपी धीमा है। सौभाग्य से यह एचपीएन एसएसएच परियोजना द्वारा तय किया गया है । मेरी समझ से आप rsync के लिए परिवहन के रूप में HPN SSH का उपयोग कर सकते हैं।


1
बहुत अच्छे धन्यवाद!! हालाँकि, हमेशा scp -pडिफ़ॉल्ट रूप में (दिनांक / समय की रक्षा) करते हैं, और शायद -r(पुनरावर्ती) ऐसा करते हैं scp -pr -C ...। (मुझे सिर्फ इनका इस्तेमाल करके 40Gb का scp जॉब स्क्रब और रीस्टार्ट करना पड़ा क्योंकि मैं भूल गया था -p)
smci 24'17

मैंने -p को कमांड में जोड़ा, एक संकेत के लिए धन्यवाद।
पीटर के

4

यह आसपास का दूसरा रास्ता हुआ करता था, लेकिन मेरा मानना ​​है कि rsync की गति में पिछले कुछ संशोधनों में बहुत सुधार हुआ है। यह इस बात पर भी निर्भर करता है कि आप कितनी फाइलें कॉपी कर रहे हैं। यदि यह बहुत है, तो rsync आमतौर पर तेज़ होगा क्योंकि scp प्रत्येक फ़ाइल के लिए एक नई प्रक्रिया बनाता है जिसे आप कॉपी कर रहे हैं। आप यह देखने के लिए कि क्या यह गति बढ़ाता है साइफर एसपीपी का उपयोग कमजोर करने की कोशिश कर सकता है। अंतिम बार मुझे याद आया, आर्कफॉर सिफर सबसे तेज था।


2
एससीपी वास्तव में कॉपी की जा रही प्रत्येक फ़ाइल के लिए एक नई प्रक्रिया नहीं बनाता है। आपके पास भेजने की ओर एक प्रक्रिया है और एक प्राप्त करने वाली तरफ, जैसे कि rsync के साथ है।
केनस्टर

3

बड़ी संख्या में छोटी फ़ाइलों के लिए rysnc, scp की तुलना में बहुत तेज़ है। वे कहते हैं, क्योंकि यह छोटे उपरि है। एक बड़ी फ़ाइल के लिए, मैं इसी तरह के परिणामों की उम्मीद करूंगा।


3

मेरे परीक्षण के लिए, rsync scp की तुलना में तेज़ है , आप एक ही फ़ाइल को स्थानांतरित करने पर उन्हें परीक्षण करने के लिए iotop का उपयोग कर सकते हैं :

sudo iotop -o

शायद आपको अलग-अलग परिणाम मिलेंगे, लेकिन आप उन्हें स्वयं परख सकते हैं। BTW, scp का उपयोग करते समय , इसके साइफर को चुनने के लिए फोगेट न करें:

scp -c arcfour <source> <dest>

जबकि arcfourएन्क्रिप्शन को तेज कर सकता है।


0

क्या आप मौजूदा लोगों की फ़ाइलों को फिर से कॉपी कर रहे हैं? यदि ऐसा है, तो rsync की तुलना को अवरुद्ध करने की क्षमता और केवल अंतर की प्रतिलिपि प्रासंगिक होगी।

हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.