बड़ी फ़ाइलों को तेज़ी से स्थानांतरित करने के लिए rsync का अनुकूलन करना

Question

मुझे इसकी ही आवश्यकता थी:

• स्रोत सर्वर पर चल रहे रुपी डेमॉन। गंतव्य सर्वर नीचे के रूप में एक rsync पुल करता है:

  rsync -ptv rsync: // source_ip: document / source_path / *। abc गंतव्य_पथ /

• विशाल बाइनरी फाइलें (3 जीबी से 5 जीबी) एक लैन पर गंतव्य के लिए स्रोत मशीन से कॉपी की जाती हैं। तो कोई एन्क्रिप्शन / डिक्रिप्शन की आवश्यकता नहीं है। इसलिए SSH का उपयोग नहीं कर रहे हैं। गंतव्य मशीन सीधे rsync डेमॉन से जुड़ती है।
• गंतव्य फ़ोल्डर हमेशा rsync पुल से पहले खाली होगा। इसलिए मुझे सशर्त रूप से कुछ फ़ाइलों को अपडेट करने के बारे में चिंता करने की ज़रूरत नहीं है। रुपीस पुल हमेशा गंतव्य (अपडेट नहीं) में नई फाइलें बनाएगा। इसलिए मुझे चेकसम की गणना करने के लिए rsync की आवश्यकता नहीं है।

मैं प्राप्त अंत में rsync द्वारा खपत सीपीयू की मात्रा से संतुष्ट नहीं हूं? ऊपर बताए गए मामले में rsync का उपयोग करने के लिए मुझे rsync विकल्प क्या मदद करेगा। मुझे इस बात की चिंता है कि rsync मेरी ज़रूरत से ज़्यादा काम कर रहा है। rsync चेकसम फाइल्स। मुझे इसकी आवश्यकता नहीं है

इसके अलावा गति में सुधार देखना चाहेंगे।

ब्लॉक-आकार, अक्षम चेकसम आदि को बदलने से मदद मिलेगी?

Comments

यदि स्थानांतरण करने के लिए कोई डेल्टा नहीं है, तो rsync का उपयोग न करें।

— वोमबल

@ वोमबल: मुझे किस टूल का उपयोग करना चाहिए? रुपीस का सुझाव यहां दिया गया था- serverfault.com/questions/384467/…

— वरुण

netcat, या शून्य सिफर के साथ scp।

— Womble

शून्य सिफर के साथ एससीपी? क्या आप सुनिश्चित हैं कि scp null सिफर का समर्थन करता है। क्या आप कृपया एक उदाहरण दे सकते हैं या मुझे प्रासंगिक संसाधनों की ओर इशारा कर सकते हैं?

— वरुण

Answer 1

ऐसा लगता है कि आप स्विच --whole-fileया -Wस्विच को देखना चाहते हैं । यह डिफ़ॉल्ट रूप से सक्षम है अगर rsync स्थानीय फाइल सिस्टम प्रतियां कर रहा है, लेकिन मुझे लगता है कि डॉक्स इसके उपयोग की सलाह देते हैं यदि लैन की गति अधिक है और नेटवर्क पर सिंक्रनाइज़ हो रही है।

मूल रूप से, यह rsync डेल्टा एल्गोरिथ्म को निष्क्रिय कर देता है और यदि यह अलग है, तो यह पूरी फ़ाइल को स्थानांतरित कर देता है।

जब तक आप मजबूर नहीं करते तब तक आपको चेकसमिंग के बारे में चिंता नहीं करनी चाहिए -c। डिफ़ॉल्ट रूप से, यह केवल अंतिम संशोधित समय और फ़ाइल आकार को देखता है, और मानता है कि यदि वे मान भिन्न हैं, तो फाइलें भिन्न हैं।