क्या rsync का एक पक्ष इतना व्यस्त रहता है?

11

मुझे अपने LAN पर एक डेबियन मशीन मिल गई है जो दूसरों के लिए बैकअप सर्वर के रूप में काम कर रही है। इसमें चार HDD को एक सॉफ्टवेयर RAID 5 md डिवाइस में, उस LVM पर और उस btrfs पर संयोजित किया गया है। Backs को rsync का उपयोग करके बनाया जाता है, और एक बड़े फाइल सिस्टम के लिए एक घंटे से अधिक समय लगता है। लंबे समय से मैंने सोचा था कि इस बारे में मैं कुछ कर सकता हूं।

हाल ही में, हालांकि, मैंने देखा कि स्थानांतरण के दोनों सिरों पर एचडीडी गतिविधि बहुत अलग थी । जबकि भेजने वाले पक्ष, जेंटू को चलाने और ज्यादातर ext4 का उपयोग करते हुए, शायद ही कोई डिस्क आईओ था, प्राप्त करने वाला पक्ष लगातार व्यस्त था। जैसा कि अधिकांश डेटा ट्रांसफ़र के बीच नहीं बदलते हैं, मेरा मानना ​​है कि मेटाडेटा रीड को डेटा का बड़ा हिस्सा बनाना चाहिए। लेकिन मैं वास्तव में आश्चर्यचकित रहूंगा अगर btrfs में इनोड्स पढ़ना, ext4 में समान काम करने की तुलना में बहुत अधिक काम है।

iotop पुष्टि की गई डिस्क लगभग 1-4 एमबी / एस प्राप्त करने वाले पक्ष पर पढ़ती है, जबकि भेजने वाले पक्ष में कभी-कभी 0.5 एमबी / एस फट होता था।

मेरा सवाल यह है कि क्या कोई समझा सकता है कि यहां क्या चल रहा है? कुछ संकेत के साथ अधिमानतः यदि संभव हो तो समस्या के आसपास कैसे काम करें।

शायद वहाँ कुछ btrfs ट्यूनिंग झंडा है जिसका मैं उपयोग कर सकता हूं, या कुछ इसी तरह का। मुझे बैकअप सर्वर पर स्नैपशॉट क्षमताओं के साथ एक एफएस की आवश्यकता है, और फ्रीबीएसडी और जेडएफएस का उपयोग करने की मेरी कोशिश जल्दी से एक असंगत एफएस का कारण बनती है, इसलिए मुझे फिलहाल btrfs के लिए बहुत कम विकल्प दिखाई देते हैं। इसलिए मुझे ext4 या zfs का उपयोग करने के लिए उत्तर देने से उत्थान मिल सकता है लेकिन कोई चेक मार्क नहीं।

उपयोग में रुपी विकल्प, जैसा कि cjm द्वारा अनुरोध किया गया है :

--rsync-path='rsync --fake-super'
--archive               # -rlptgoD
--hard-links            # detect and preserve these
--acls
--xattrs
--sparse
--noatime               # based on patch from samba #7249c1
--delete
--delete-delay
--fuzzy
--human-readable        # size suffixes, base 1000
--stats

साथ ही -fकुछ फाइलों को छोड़ने के लिए नियमों का एक गुच्छा ।

Btrfs का विकल्प माउंट द्वारा रिपोर्ट कर रहे हैं mountके रूप में

rw,nosuid,noexec,noatime,nospace_cache

विशेष रूप से, इसमें noatimeध्वज शामिल है , इसलिए तब तक कोई लेखन शामिल नहीं होना चाहिए जब तक कि वास्तव में कुछ फाइलों में अंतर न हो। मैं के जवाब में इस जानकारी को जोड़ा जवाब द्वारा केली जोन्स ।

performance  rsync  io  mdadm  btrfs 
— MVG
स्रोत
आप किस rsync विकल्प का उपयोग कर रहे हैं?
— cjm
बस अंधेरे में एक शॉट ले रहा है, क्या आपके पास एक असफल डिस्क है? यह अतिरिक्त I / O का कारण बन सकता है क्योंकि यह समता की जानकारी से लापता डेटा को फिर से संगठित करने की कोशिश कर रहा है।
— बह्मत
@ नौहामट, मैं स्मार्ट हो रहा हूँ, और इसने कोई समस्या नहीं बताई। न ही mdadm ने किसी घटना की सूचना दी।
— MvG
यह निश्चित रूप से कहना मुश्किल है कि क्या गलत है। बस एक उदाहरण परतों के बीच बेमेल ब्लॉक आकार है। यह निदान करने के लिए कि आप सबसे अच्छी शर्त है कि किसी चीज़ का उपयोग करें dtraceया systemtapयह पता लगाने के लिए कि समय कहाँ बिताया जा रहा है।
— १
@ बहमट, यह एक एवेन्यू है जिसकी मैंने अभी तक जांच नहीं की है। क्या आप इस समस्या का निदान करने के लिए इन उपकरणों का उपयोग करने के बारे में एक उत्तर लिख सकते हैं? वह महान होगा। यदि आपके पास समय है तो चरण-दर-चरण निर्देश, लेकिन यहां तक ​​कि कुछ मोटे विचार और दस्तावेजी संकेत भी बहुत सहायक होंगे।
— MvG

जवाबों:

3

एक संभावित उत्तर यह है कि रिमोट फाइल सिस्टम "एटाइम" विकल्प के साथ डिफ़ॉल्ट रूप से माउंट किया गया है। एक्सेस टाइम सब कुछ के लिए लिखता है कि रिमोट rsync एक्सेस पेनाल्टी के साथ संयुक्त है जिसे आप RAID 5 से पीड़ित करते हैं (कंप्यूटिंग समानता का मतलब है कि आप उनमें से एक को लिखने से पहले सभी RAID डिस्क को पढ़ना) दूरस्थ पक्ष पर I / O आवर्धन की व्याख्या कर सकते हैं।

अगर मैं सही हूं, तो आप "noatime" विकल्प के साथ दूरस्थ फाइल सिस्टम बढ़ते हुए चीजों को गति दे सकते हैं।

— काइल जोन्स
स्रोत
2
अच्छा विचार, लेकिन दुख की बात है कि समाधान नहीं: फाइलसिस्टम पहले से ही घुड़सवार है। माउंट सभी माउंट विकल्पों के सेट की रिपोर्ट करता है rw,nosuid,noexec,noatime,nospace_cache।
— MvG
1

मुझे --फेक-सुपर विकल्पों पर संदेह है। यह rsync को प्रत्येक फ़ाइल पर विस्तारित विशेषताओं में सभी मेटाडेटा जानकारी संग्रहीत करने के लिए कहता है। मुझे संदेह है कि उन विशेषताओं तक पहुंच धीमी है। Rsync के साथ एक परीक्षण चलाने की कोशिश करें - बिना सुपर-रूट के। चूंकि विशेषताएँ मेल नहीं खाएंगी इसलिए आप उसी बैकअप का पुन: उपयोग नहीं कर सकते।

— वेन
स्रोत
आपको अपने जवाब पर विस्तार करने पर विचार करना चाहिए जिसमें कुछ उपयोगी लिंक या प्रलेखन के संदर्भ शामिल हैं जो आपके दावे का समर्थन करते हैं।
— हेलोजोस्ट
हमारी साइट का प्रयोग करके, आप स्वीकार करते हैं कि आपने हमारी Cookie Policy और निजता नीति को पढ़ और समझा लिया है।
Licensed under cc by-sa 3.0 with attribution required.