इसलिए हाल ही में मैं इसके साथ करना चाहता था tar। कुछ जांच ने मुझे संकेत दिया कि यह एक छोटी सी बकवास से अधिक था जो मैं नहीं कर सकता था। मैं इस अजीब split --filter="cat >file; tar -r ..."बात के साथ आया था , लेकिन, ठीक है, यह बहुत धीमा था। और जितना मैंने पढ़ा था tarकि यह उतना ही निरर्थक था।
आप देखते हैं, tarसिर्फ रिकॉर्ड की एक संक्षिप्त सूची है। घटक फ़ाइलों को किसी भी तरह से बदला नहीं जाता है - वे पूरे संग्रह में हैं। लेकिन वे 512-बाइट ब्लॉक सीमाओं पर बंद कर दिए जाते हैं , और हर फ़ाइल से पहले एक हेडर होता है । बस। हेडर प्रारूप वास्तव में बहुत सरल है।
तो, मैंने अपना लिखा tar। मैं इसे कहते ... shitar।
z() (IFS=0; printf '%.s\\0' $(printf "%.$(($1-${#2}))d"))
chk() (IFS=${IFS#??}; set -f; set -- $(
printf "$(fmt)" "$n" "$@" '' "$un" "$gn"
); IFS=; a="$*"; printf %06o "$(($(
while printf %d+ "'${a:?}"; do a=${a#?}; done 2>/dev/null
)0))")
fmt() { printf '%s\\'"${1:-n}" %s "${1:+$(z 99 "$n")}%07d" \
%07o %07o %011o %011o "%-${1:-7}s" ' 0' "${1:+$(z 99)}ustar " %s \
"${1:+$(z 31 "$un")}%s"
}
यह वास्तव में मांस और आलू है। यह हेडर लिखता है और चक्षुम की गणना करता है - जो, अपेक्षाकृत बोलने वाला, केवल कठिन हिस्सा है। यह ustarहेडर प्रारूप करता है ... हो सकता है । कम से कम, यह tarसोचता है कि जीएनयू को लगता है कि ustarहेडर प्रारूप इस बिंदु पर है कि यह शिकायत नहीं करता है। और वहाँ यह करने के लिए और अधिक है, यह सिर्फ इतना है कि मैं वास्तव में अभी तक इसे समन्वित नहीं किया है। यहाँ, मैं आपको दिखाता हूँ:
for f in 1 2; do echo hey > file$f; done
{ tar -cf - file[123]; echo .; } | tr \\0 \\n | grep -b .
0:file1 #filename - first 100 bytes
100:0000644 #octal mode - next 8
108:0001750 #octal uid,
116:0001750 #gid - next 16
124:00000000004 #octal filesize - next 12
136:12401536267 #octal epoch mod time - next 12
148:012235 #chksum - more on this
155: 0 #file type - gnu is weird here - so is shitar
257:ustar #magic string - header type
265:mikeserv #owner
297:mikeserv #group - link name... others shitar doesnt do
512:hey #512-bytes - start of file
1024:file2 #512 more - start of header 2
1124:0000644
1132:0001750
1140:0001750
1148:00000000004
1160:12401536267
1172:012236
1179: 0
1281:ustar
1289:mikeserv
1321:mikeserv
1536:hey
10240:. #default blocking factor 20 * 512
वह है tar। सब कुछ \0nulls के साथ गद्देदार तो मैं सिर्फ पठनीयता के लिए ewlines emमें बदल जाते हैं \n। और shitar:
#the rest, kind of, calls z(), fmt(), chk() + gets $mdata and blocks w/ dd
for n in file[123]
do d=$n; un=$USER; gn=$(id --group --name)
set -- $(stat --printf "%a\n%u\n%g\n%s\n%Y" "$n")
printf "$(fmt 0)" "$n" "$@" "$(chk "$@")" "$un" "$gn"
printf "$(z $((512-298)) "$gn")"; cat "$d"
printf "$(x=$(($4%512));z $(($4>512?($x>0?$x:512):512-$4)))"
done |
{ dd iflag=fullblock conv=sync bs=10240 2>/dev/null; echo .; } |
tr \\0 \\n | grep -b .
आउटपुट
0:file1 #it's the same. I shortened it.
100:0000644 #but the whole first file is here
108:0001750
116:0001750
124:00000000004
136:12401536267
148:012235 #including its checksum
155: 0
257:ustar
265:mikeserv
297:mikeserv
512:hey
1024:file2
...
1172:012236 #and file2s checksum
...
1536:hey
10240:.
मैं कहता हूँ कि वहाँ की तरह क्योंकि यह उद्देश्य नहीं है shitar- tarपहले से ही है कि खूबसूरती से। मैं सिर्फ यह दिखाना चाहता था कि यह कैसे काम करता है - जिसका मतलब है कि मुझे इस पर छूने की जरूरत है chksum। अगर यह नहीं था कि मैं सिर्फ ddएक tarफ़ाइल के सिर से बाहर हो जाएगा और इसके साथ किया। यह कभी-कभी काम भी कर सकता है, लेकिन संग्रह में कई सदस्य होने पर यह गड़बड़ हो जाता है। फिर भी, चुक्सम वास्तव में आसान है।
सबसे पहले, इसे 7 रिक्त स्थान बनाएं - (जो एक अजीब गनु बात है, मुझे लगता है, जैसा कि कल्पना 8 कहती है, लेकिन जो भी - एक हैक एक हैक है) । फिर हेडर में हर बाइट के ऑक्टल वैल्यूज को जोड़ें। वह आपका चाकसूम है। इसलिए आपको शीर्षलेख करने से पहले फ़ाइल मेटाडेटा की आवश्यकता है, या आपके पास एक चक्सम नहीं है। और वह एक ustarसंग्रह है, ज्यादातर।
ठीक है। अब, इसका क्या करना है:
cd /tmp; mkdir -p mnt
for d in 1 2 3
do fallocate -l $((1024*1024*500)) disk$d
lp=$(sudo losetup -f --show disk$d)
sync
sudo mkfs.vfat -n disk$d "$lp"
sudo mount "$lp" mnt
echo disk$d file$d | sudo tee mnt/file$d
sudo umount mnt
sudo losetup -d "$lp"
done
यह तीन 500M डिस्क चित्र, प्रारूप और प्रत्येक बनाता है, और प्रत्येक के लिए एक फ़ाइल लिखता है।
for n in disk[123]
do d=$(sudo losetup -f --show "$n")
un=$USER; gn=$(id --group --name)
set -- $(stat --printf "%a\n%u\n%g\n$(lsblk -bno SIZE "$d")\n%Y" "$n")
printf "$(fmt 0)" "$n" "$@" "$(chk "$@")" "$un" "$gn"
printf "$(z $((512-298)) "$gn")"
sudo cat "$d"
sudo losetup -d "$d"
done |
dd iflag=fullblock conv=sync bs=10240 2>/dev/null |
xz >disks.tar.xz
नोट - जाहिर तौर पर ब्लॉक डिवाइस हमेशा सही तरीके से ब्लॉक होंगे। बहुत आसान है।
यह tarडिस्क डिवाइस फ़ाइलों की सामग्री को इन-स्ट्रीम करता है और आउटपुट को पाइप करता है xz।
ls -l disk*
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk1
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk2
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk3
-rw-r--r-- 1 mikeserv mikeserv 229796 Sep 3 01:05 disks.tar.xz
अब, सच्चाई का क्षण ...
xz -d <./disks.tar.xz| tar -tvf -
-rw-r--r-- mikeserv/mikeserv 524288000 2014-09-03 01:01 disk1
-rw-r--r-- mikeserv/mikeserv 524288000 2014-09-03 01:01 disk2
-rw-r--r-- mikeserv/mikeserv 524288000 2014-09-03 01:01 disk3
हुर्रे! निष्कर्षण ...
xz -d <./disks.tar.xz| tar -xf - --xform='s/[123]/1&/'
ls -l disk*
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk1
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk11
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk12
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk13
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk2
-rw-r--r-- 1 mikeserv mikeserv 524288000 Sep 3 01:01 disk3
-rw-r--r-- 1 mikeserv mikeserv 229796 Sep 3 01:05 disks.tar.xz
तुलना ...
cmp disk1 disk11 && echo yay || echo shite
yay
और माउंट ...
sudo mount disk13 mnt
cat mnt/*
disk3 file3
और इसलिए, इस मामले में, shitarठीक है, मुझे लगता है। मैं बल्कि उन सभी चीजों में नहीं जाना चाहूँगा जो यह अच्छा नहीं करेगी । लेकिन, मैं कहूंगा कि - कम से कम फाइलनाम में नई स्टोरीलाइन्स न करें।
आप भी कर सकते हैं - और हो सकता है कि मैंने जिन विकल्पों की पेशकश की है, उन्हें देखते हुए squashfs। न केवल आप स्ट्रीम से निर्मित एकल संग्रह प्राप्त करते हैं - लेकिन यहmount कर्नेल में सक्षम और अंतर्निहित है vfs:
से छद्म file.example :
# Copy 10K from the device /dev/sda1 into the file input. Ordinarily
# Mksquashfs given a device, fifo, or named socket will place that special file
# within the Squashfs filesystem, this allows input from these special
# files to be captured and placed in the Squashfs filesystem.
input f 444 root root dd if=/dev/sda1 bs=1024 count=10
# Creating a block or character device examples
# Create a character device "chr_dev" with major:minor 100:1 and
# a block device "blk_dev" with major:minor 200:200, both with root
# uid/gid and a mode of rw-rw-rw.
chr_dev c 666 root root 100 1
blk_dev b 666 0 0 200 200
आप btrfs (send|receive)जो भी stdinपसंद किए गए कंप्रेसर में एक सबवॉल्म को स्ट्रीम करने के लिए उपयोग कर सकते हैं । इससे पहले कि आप इसे संपीड़न कंटेनर के रूप में उपयोग करने का निर्णय लें, यह सबवोल्यूम मौजूद नहीं है।
फिर भी, के बारे में squashfs...
मुझे विश्वास नहीं होता कि मैं यह न्याय कर रहा हूँ। यहाँ एक बहुत ही सरल उदाहरण दिया गया है:
cd /tmp; mkdir ./emptydir
mksquashfs ./emptydir /tmp/tmp.sfs -p \
'file f 644 mikeserv mikeserv echo "this is the contents of file"'
Parallel mksquashfs: Using 6 processors
Creating 4.0 filesystem on /tmp/tmp.sfs, block size 131072.
[==================================================================================|] 1/1 100%
Exportable Squashfs 4.0 filesystem, gzip compressed, data block size 131072
compressed data, compressed metadata, compressed fragments,...
###...
###AND SO ON
###...
echo '/tmp/tmp.sfs /tmp/imgmnt squashfs loop,defaults,user 0 0'|
sudo tee -a /etc/fstab >/dev/null
mount ./tmp.sfs
cd ./imgmnt
ls
total 1
-rw-r--r-- 1 mikeserv mikeserv 29 Aug 20 11:34 file
cat file
this is the contents of file
cd ..
umount ./imgmnt
इसके लिए केवल इनलाइन -pतर्क है mksquash। आप अपनी -pfपसंद के अनुसार उनमें से कई के साथ एक फ़ाइल स्रोत कर सकते हैं। प्रारूप सरल है - आप नए संग्रह के फाइल सिस्टम में लक्ष्य फ़ाइल के नाम / पथ को परिभाषित करते हैं, आप इसे एक मोड और एक मालिक देते हैं, और फिर आप इसे बताते हैं कि किस प्रक्रिया को निष्पादित करना है और जिसमें से stdout पढ़ना है। आप जितने चाहें उतने बना सकते हैं - और आप LZMA, GZIP, LZ4, XZ ... हम्म का उपयोग कर सकते हैं ... आपकी पसंद के अनुसार कम्प्रेशन फ़ॉर्मेट हैं। और अंतिम परिणाम एक संग्रह है जिसमें आप cd।
प्रारूप पर अधिक हालांकि:
यह, निश्चित रूप से, न केवल एक संग्रह है - यह एक संकुचित, माउंटनीय लिनक्स फ़ाइल-सिस्टम छवि है। इसका प्रारूप लिनक्स कर्नेल है - यह एक वेनिला कर्नेल समर्थित फाइल सिस्टम है। इस तरह यह वैनिला लिनक्स कर्नेल के समान सामान्य है। इसलिए अगर आपने मुझसे कहा कि आप एक वेनिला लिनक्स सिस्टम चला रहे हैं, जिस पर tarप्रोग्राम स्थापित नहीं हुआ है तो मैं संदिग्ध हो जाऊंगा - लेकिन मैं शायद आपको विश्वास करूँगा। लेकिन अगर आपने मुझसे कहा कि आप एक वेनिला लिनक्स सिस्टम चला रहे हैं, जिस पर squashfsफाइल सिस्टम समर्थित नहीं था, तो मुझे विश्वास नहीं होगा।