50GB बाइनरी फ़ाइल को 5GB या उससे कम के विखंडू में विभाजित करने का सबसे तेज़ और सबसे विश्वसनीय तरीका क्या है, और फिर बाद में इसे फिर से इकट्ठा करें?

Question

हमारे सर्वर उबंटू लिनक्स चला रहे हैं, और बाइनरी फ़ाइल एक बड़े MongoDB संग्रह का एक BSON डंप है। उपकरण कितना विश्वसनीय है split? क्या ऐसा करने का कोई तेज़ या बेहतर तरीका है?

Answer 1

विभाजित करने के लिए, विभाजन-बी

शामिल होने के लिए, बस cat।

AFAIK वे पूरी तरह से विश्वसनीय हैं, और मुझे संदेह है कि कुछ अधिक कुशल है।

Answer 2

विभाजन बहुत विश्वसनीय है। हम इसे बड़ी लॉग फ़ाइलों को पोर्ट करने के लिए उपयोग करते हैं, और इसने GB के एक जोड़े के लिए अच्छी तरह से काम किया (वैसे भी 50 gb नहीं)।

मेरा मानना ​​है कि आप अपनी आवश्यकता के लिए विभाजन का उपयोग करने की कोशिश कर सकते हैं, और हमें बता सकते हैं।

5GB फ़ाइलों में विभाजित करें

स्प्लिट - बाइट्स = 5G इनपुटफाइल

यह 5GB की कई फाइलों में विभाजित हो जाएगा और इसे xaa, xab, xac, .... और इतने पर नाम देगा।

CONCATENATE

बिल्ली x *> संगठन

इसके द्वारा आप दूसरे सिरे में सिंगल फाइल के रूप में कंसीनेट कर सकते हैं।

Comments

OS XI में 50 मेगाबाइट फाइल बनाने के लिए स्प्लिट -b50m का उपयोग करना पड़ता था। नोट नहीं के बराबर चिन्ह, नोट लोअरकेस।

— फन

Answer 3

यदि आपने आरएआर स्थापित किया है, तो यह मेरे लिए बहुत अच्छा काम करता है:

अलग होना

rar a -m0 -v5000m newfilename giantfile.foo

• a = संग्रह में फ़ाइलें जोड़ें
• m0 = कोई संपीड़न नहीं
• v5000m = 5000 मेगाबाइट के विखंडू में विभाजित

फिर से इकट्ठा करने के लिए:

unrar x newfilename.*

• एक्स = अर्क

लाभ:

• विभाजन संग्रह की सामग्री पर सीआरसी,
• विभाजन-फ़ाइल आदेश स्वचालित रूप से रखा गया,
• कई फाइलें और डायर शामिल किए जा सकते हैं।

Answer 4

splitऔर catपूरी तरह से विश्वसनीय हैं। आप इसके अतिरिक्त इन-लाइन को भी कंप्रेस कर सकते हैं। मान लीजिए कि आपकी इनपुट फाइल है dump.bson:

gzip < dump.bson | split -b 32M - dump.bson.gz.

और फिर इस के साथ पुनर्गठन:

cat dump.bson.gz.* | gunzip > dump.bson

टिप, यह काम करता है और साथ ही xz(dec)के स्थान परg(un)zip