लाखों हार्डलिंक्स के साथ फाइलसिस्टम मिरर कैसे करें?

Question

हमारे पास इस समय एक बड़ी समस्या है: हमें अपने एक ग्राहक के लिए एक फाइल सिस्टम को मिरर करने की आवश्यकता है। यह वास्तव में एक समस्या नहीं है, लेकिन यहाँ यह है:

इस फाइलसिस्टम पर लाखों हार्डलिंक (हाँ! लाखों) के साथ एक फ़ोल्डर है। rsyncकेवल फिल्मकार के निर्माण के लिए 4 दिन और चाहिए।

हम निम्नलिखित rsyncविकल्पों का उपयोग करते हैं:

rsync -Havz --progress serverA:/data/cms /data/

क्या किसी को इस rsync को तेज करने, या विकल्पों का उपयोग करने का विचार है? हम उपयोग नहीं कर सकते ddक्योंकि लक्ष्य डिस्क छोटा है तो स्रोत।

अद्यतन: मूल फाइल सिस्टम के रूप में ext3हम कोशिश करेंगे dumpऔर restore। मैं तुम्हें ऊपर रखूंगा

Comments

मुश्किल। स्रोत फ़ाइल सिस्टम को पहले सिकोड़ें, फिर dd?

— बिट्रांस

Answer 1

आपको दोनों पक्षों को rsync में अपग्रेड करने की आवश्यकता है। 3. चैंज से:

- A new incremental-recursion algorithm is now used when rsync is talking
  to another 3.x version.  This starts the transfer going more quickly
  (before all the files have been found), and requires much less memory.
  See the --recursive option in the manpage for some restrictions.

Rsync 3.0.0 को रिलीज़ हुए 2 साल से अधिक हो गए हैं, लेकिन, दुर्भाग्य से, अधिकांश उद्यम वितरण कोड से पुराने हैं, जिसका अर्थ है कि आप शायद rsync 2.6 का उपयोग कर रहे हैं।

संदर्भ के लिए (यदि किसी और को यह समस्या हो रही है), यदि आप पहले से ही rsync 3 चला रहे हैं , तो आप ऐसे विकल्पों का उपयोग कर रहे हैं जो वृद्धिशील पुनरावृत्ति के साथ असंगत हैं। मैन पेज से:

    Some options require rsync to know the full file list, so  these
    options  disable the incremental recursion mode.  These include:
    --delete-before,   --delete-after,    --prune-empty-dirs,    and
    --delay-updates.

इसके अलावा, फिर से, दोनों पक्षों को समर्थन के लिए वृद्धिशील पुनरावृत्ति के लिए rsync 3 चलाना चाहिए।

Comments

Pritchard उस हिंद के लिए धन्यवाद, लेकिन वृद्धिशील भागों कोई समस्या नहीं है, दोनों पक्ष rsync> 3.0 का उपयोग करते हैं। अगर हम बिना rsync का उपयोग करते हैं -हमें एक महान गति में सुधार है, लेकिन वह नहीं है जो हमें चाहिए।

— थॉमस बर्जर

आउच। हाँ, उस स्थिति में आप फाइलसिस्टम एक्सेस को तेज करने के विकल्पों पर गौर कर सकते हैं (जैसे कि आप ext3 में स्विच कर रहे हैं तो ext3 का उपयोग कर रहे हैं), तेज डिस्क या RAID स्तर (यदि यह भी एक विकल्प है), आदि पर स्विच करना दुर्भाग्य से, आप एक ऐसे बिंदु पर हो सकता है जहाँ फ़ाइल सिस्टम अभी पर्याप्त तेज़ नहीं हो सकता है और ब्लॉक-स्तरीय बैकअप आपके लिए एकमात्र विकल्प हो सकता है। मैं एक सर्वर से दूसरे में एक बैकअपPC पूल rsync करने की कोशिश कर रहा था।

— स्टीवन प्रिचर्ड

Answer 2

अब हमने ext * डंप का उपयोग किया है। अच्छी तरह से काम करता है, और पुनर्स्थापना पक्ष भी * ext होना जरूरी नहीं है।

हमने डिवाइस को यूमाउंट करके और उपयोग करके, एक ऑफ़लाइन बैकअप किया है dump vf - /dev/vg0/opt | gzip -c > /mnt/backup/ext3dump.gz।

यहां अंतिम पंक्तियां आप आकार, समय, गति और अंतिम इनोड संख्या देख सकते हैं:

DUMP: dumping regular inode 47169535
DUMP: dumping regular inode 47169536
DUMP: Volume 1 completed at: Wed Jun 29 05:42:57 2011
DUMP: Volume 1 54393520 blocks (53118.67MB)
DUMP: Volume 1 took 4:16:43
DUMP: Volume 1 transfer rate: 3531 kB/s
DUMP: 54393520 blocks (53118.67MB)
DUMP: finished in 15403 seconds, throughput 3531 kBytes/sec
DUMP: Date of this level  dump: Wed Jun 29 01:24:29 2011
DUMP: Date this dump completed:  Wed Jun 29 05:42:57 2011
DUMP: Average transfer rate: 3531 kB/s
DUMP: DUMP IS DONE

Comments

मुझे नहीं पता कि क्या यह अभी भी सही है, लेकिन डंप कुछ मुद्दों के लिए इस्तेमाल किया जाता है अगर फाइल-सिस्टम डंप के समय उपयोग में है। चूंकि आपका लक्ष्य गति है, मुझे लगता है कि आप पहले से ही अन्य सभी पहुंच को अक्षम कर चुके हैं, लेकिन सिर्फ मामले में .. आइए जानते हैं कि आप कैसे जाते हैं

— SuperBOB

Answer 3

आप LVM का उपयोग कर सकते हैं और वॉल्यूम का स्नैपशॉट ले सकते हैं, फिर बैकअप के रूप में स्नैपशॉट को rsync करें।

वैकल्पिक रूप से, आप इसे मूल उत्तर को ऑफ़लाइन लेने से बचने के dump लिए स्नैपशॉट वॉल्यूम पर अन्य उत्तर और उपयोग के साथ जोड़ सकते हैं ।

Comments

कुछ भी जो ब्लॉक स्तर पर काम करता है, न कि फ़ाइल-सिस्टम स्तर शायद एक बहुत बड़ा सुधार होगा।

— मार्सिन

जैसा कि आप मेरे प्रश्न में देख सकते हैं, मुझे स्थानीय नहीं, बल्कि पूरे नेटवर्क पर दर्पण लगाना होगा। इसके अलावा LVM एक आईना नहीं है, इसका औचित्य, जैसा कि आपने कहा, एक स्नैपशॉट है।

— थॉमस बर्जर

@ थोमस बर्जर: मेरा विचार था कि आप नेटवर्क पर स्नैपशॉट (rsync का उपयोग करके) की नकल करेंगे। और वास्तव में आप दर्पण को कैसे परिभाषित करते हैं , अगर LVM स्नैपशॉट एक नहीं है?

— टेडी

अभी भी यही समस्या है: इसमें कई दिन लगेंगे। इस दिनों में एक विशाल दलित होगा (यह नहीं कि हमें इसकी आवश्यकता होगी) इसलिए हमें पर्याप्त स्थान को फिर से तैयार करना होगा, और हमारे पास वह स्थान नहीं होगा। और एक दर्पण स्रोत की एक स्वतंत्र प्रति है। हमें ग्राहक के लिए उत्पादन से विकास तक के डेटा को कॉपी करना होगा।

— थॉमस बर्जर

@ थोमस बर्जर: मेरा मूल रूप से यह मतलब था कि आप वास्तविक स्नैपशॉट मात्रा में होंगे, स्नैपशॉट पर फाइल सिस्टम नहीं । हालाँकि, मैं अब स्नैपशॉट + डंप समाधान को बेहतर मानता हूं।

— टेडी