मेरे पास एक linux software Raid6 array (mdadm) है। मैंने इसे 6x4TB डिस्क (16TB प्रयोग करने योग्य) से 7x4TB (20TB प्रयोग करने योग्य) तक बढ़ाया। रिशेप ठीक हो गया, लेकिन जब मैंने resize2fs किया, तो मुझे EXT4 16TB फाइलसिस्टम सीमा की काफी अच्छी तरह से ज्ञात मुद्दा मिल गया। मैंने जाँच की और फाइल सिस्टम में 64 बिट का झंडा नहीं है। इसलिए मैंने अतिरिक्त ड्राइव को पुनः प्राप्त करने के प्रयास में, जो मैंने अभी सरणी में जोड़ा था, मैंने यह किया:
johnny@debian:~$ sudo resize2fs /dev/md0 16000G
johnny@debian:~$ sudo mdadm --grow /dev/md0 --array-size=16000G
johnny@debian:~$ sudo mdadm --grow /dev/md0 --raid-devices=6 --backup-file=/tmp/backup
बैकअप फ़ाइल स्थान पर ध्यान दें। यह एक मिनट में महत्वपूर्ण होने जा रहा है, क्योंकि मैं डेबियन पर हूं।
तो चीजें ठीक चल रही थीं, धीमी लेकिन काम कर रही थीं। प्रगति 3.7% हो गई और यह एक क्रॉल में धीमी हो गई थी। मैंने यह मान लिया था क्योंकि मैं इस समय के दौरान कुछ अन्य सरणियों को फिर से तैयार कर रहा था। जब वे अन्य काम खत्म हो गए और यह तेजी नहीं आई, तो मैं वास्तव में चिंतित हो गया। चूंकि यह कहा था कि इसे खत्म होने में कई साल लगेंगे, मैंने फैसला किया कि मुझे फिर से शुरू करना चाहिए और देखना चाहिए कि क्या इसमें तेजी आएगी, इसलिए मैंने सिस्टम को फिर से शुरू किया।
यह तब होता है जब बुरी चीजें होने लगती हैं ...
मैं डेबियन पर हूं, और यह मेरी समझ है कि सिस्टम आने पर / tmp फ़ोल्डर को मिटा दिया जाता है, इसलिए मेरे बैकअप-फाइल को रिशेप से खो दिया गया था। इसके अलावा, क्योंकि मेरी / etc / fstab फ़ाइल md0 को माउंट करने की कोशिश कर रही थी, जो अब असेंबल नहीं हो रही थी, सिस्टम कुछ समय बाद आने में विफल रहा। मैंने एक लाइव सीडी से शुरू किया और fstab फ़ाइल को ठीक किया और सिस्टम को वापस आने के लिए मिला।
एक बार जब मैंने इसे हल किया, तो सिस्टम उठ गया था, और मैंने पहली बार देखा कि md0 ने केवल खुद को इकट्ठा नहीं किया था और फिर से चालू करना जारी रखा था। दहशत में सेट ...
मेरे पास निम्न कमांड्स का आउटपुट नहीं है, लेकिन मैं उन कमांड्स को खोजने में कामयाब रहा, जिन्हें मैंने टाइप किया था। फॉलो की गई संक्षिप्त जानकारी।
johnny@debian:~$ sudo mdadm --assemble /dev/md0
johnny@debian:~$ sudo mdadm --assemble --force /dev/md0
johnny@debian:~$ sudo mdadm --assemble --force /dev/md0 --backup-file=/tmp/backup
पहला कमांड विफल हो गया, इसलिए मैंने --फोर्स विकल्प की कोशिश की, जो भी विफल रहा, लेकिन त्रुटि संदेश ने मुझे विफलता बताई क्योंकि यह --बैक-फाइल विकल्प की आवश्यकता थी, इसलिए मैंने तीसरा कमांड चलाया। मुझे उम्मीद है कि बैकअप फ़ाइल अभी भी मौजूद है, लेकिन ऐसा नहीं था क्योंकि यह / tmp फ़ोल्डर में था और हटा दिया गया था। यह किसी भी समस्या का कारण नहीं लगता था, क्योंकि सरणी इकट्ठी हुई थी।
यहाँ md0 अब कैसा दिखता है। "हटाए गए" चिह्नित डिस्क पर ध्यान दें। मुझे संदेह है कि यह डिस्क है जिसे हटाया जा रहा था, sdj1।
johnny@debian:~$ sudo mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Fri Jan 11 09:59:42 2013
Raid Level : raid6
Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
Used Dev Size : 3906887168 (3725.90 GiB 4000.65 GB)
Raid Devices : 6
Total Devices : 6
Persistence : Superblock is persistent
Intent Bitmap : Internal
Update Time : Sat Mar 5 20:45:56 2016
State : clean, degraded, reshaping
Active Devices : 6
Working Devices : 6
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 512K
Reshape Status : 3% complete
Delta Devices : -1, (7->6)
Name : BigRaid6
UUID : 45747bdc:ba5a85fe:ead35e14:24c2c7b2
Events : 4339739
Number Major Minor RaidDevice State
11 8 224 0 active sync /dev/sdo
2 0 0 2 removed
6 8 80 2 active sync /dev/sdf
7 8 176 3 active sync /dev/sdl
12 8 16 4 active sync /dev/sdb
8 8 32 5 active sync /dev/sdc
9 8 128 6 active sync /dev/sdi
और यहाँ reshape की वर्तमान प्रगति है। सूचना यह पूरी तरह से 0K / sec पर अटक गई है।
johnny@debian:~$ cat /proc/mdstat
Personalities : [raid1] [raid6] [raid5] [raid4]
md0 : active raid6 sdo[11] sdi[9] sdc[8] sdb[12] sdl[7] sdf[6]
15627548672 blocks super 1.2 level 6, 512k chunk, algorithm 2 [6/5] [U_UUUU]
[>....................] reshape = 3.7% (145572864/3906887168) finish=284022328345.0min speed=0K/sec
bitmap: 5/30 pages [20KB], 65536KB chunk
unused devices: <none>
यहाँ व्यक्तिगत डिस्क अभी भी सरणी में हैं।
johnny@debian:~$ sudo mdadm --examine /dev/sd[oflbci]
/dev/sdb:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x5
Array UUID : 45747bdc:ba5a85fe:ead35e14:24c2c7b2
Name : BigRaid6
Creation Time : Fri Jan 11 09:59:42 2013
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 7813775024 (3725.90 GiB 4000.65 GB)
Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=688 sectors
State : clean
Device UUID : 99b0fbcc:46d619bb:9ae96eaf:840e21a4
Internal Bitmap : 8 sectors from superblock
Reshape pos'n : 15045257216 (14348.28 GiB 15406.34 GB)
Delta Devices : -1 (7->6)
Update Time : Sat Mar 5 20:45:56 2016
Checksum : fca445bd - correct
Events : 4339739
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 4
Array State : A.AAAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x5
Array UUID : 45747bdc:ba5a85fe:ead35e14:24c2c7b2
Name : BigRaid6
Creation Time : Fri Jan 11 09:59:42 2013
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 7813775024 (3725.90 GiB 4000.65 GB)
Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=688 sectors
State : clean
Device UUID : b8d49170:06614f82:ad9a38a4:e9e06da5
Internal Bitmap : 8 sectors from superblock
Reshape pos'n : 15045257216 (14348.28 GiB 15406.34 GB)
Delta Devices : -1 (7->6)
Update Time : Sat Mar 5 20:45:56 2016
Checksum : 5d867810 - correct
Events : 4339739
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 5
Array State : A.AAAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdf:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x5
Array UUID : 45747bdc:ba5a85fe:ead35e14:24c2c7b2
Name : BigRaid6
Creation Time : Fri Jan 11 09:59:42 2013
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 7813775024 (3725.90 GiB 4000.65 GB)
Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=688 sectors
State : clean
Device UUID : dd56062c:4b55bf16:6a468024:3ca6bfd0
Internal Bitmap : 8 sectors from superblock
Reshape pos'n : 15045257216 (14348.28 GiB 15406.34 GB)
Delta Devices : -1 (7->6)
Update Time : Sat Mar 5 20:45:56 2016
Checksum : 59045f87 - correct
Events : 4339739
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 2
Array State : A.AAAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdi:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x5
Array UUID : 45747bdc:ba5a85fe:ead35e14:24c2c7b2
Name : BigRaid6
Creation Time : Fri Jan 11 09:59:42 2013
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 7813775024 (3725.90 GiB 4000.65 GB)
Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=688 sectors
State : clean
Device UUID : 92831abe:86de117c:710c368e:8badcef3
Internal Bitmap : 8 sectors from superblock
Reshape pos'n : 15045257216 (14348.28 GiB 15406.34 GB)
Delta Devices : -1 (7->6)
Update Time : Sat Mar 5 20:45:56 2016
Checksum : dd2fe2d1 - correct
Events : 4339739
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 6
Array State : A.AAAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdl:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x5
Array UUID : 45747bdc:ba5a85fe:ead35e14:24c2c7b2
Name : BigRaid6
Creation Time : Fri Jan 11 09:59:42 2013
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 7813775024 (3725.90 GiB 4000.65 GB)
Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=688 sectors
State : clean
Device UUID : 8404647a:b1922fed:acf71f64:18dfd448
Internal Bitmap : 8 sectors from superblock
Reshape pos'n : 15045257216 (14348.28 GiB 15406.34 GB)
Delta Devices : -1 (7->6)
Update Time : Sat Mar 5 20:45:56 2016
Checksum : 358734b4 - correct
Events : 4339739
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 3
Array State : A.AAAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdo:
Magic : a92b4efc
Version : 1.2
Feature Map : 0x5
Array UUID : 45747bdc:ba5a85fe:ead35e14:24c2c7b2
Name : BigRaid6
Creation Time : Fri Jan 11 09:59:42 2013
Raid Level : raid6
Raid Devices : 6
Avail Dev Size : 7813775024 (3725.90 GiB 4000.65 GB)
Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
Used Dev Size : 7813774336 (3725.90 GiB 4000.65 GB)
Data Offset : 262144 sectors
Super Offset : 8 sectors
Unused Space : before=262064 sectors, after=688 sectors
State : clean
Device UUID : d7e84765:86fb751a:466ab0de:c26afc43
Internal Bitmap : 8 sectors from superblock
Reshape pos'n : 15045257216 (14348.28 GiB 15406.34 GB)
Delta Devices : -1 (7->6)
Update Time : Sat Mar 5 20:45:56 2016
Checksum : c3698023 - correct
Events : 4339739
Layout : left-symmetric
Chunk Size : 512K
Device Role : Active device 0
Array State : A.AAAAA ('A' == active, '.' == missing, 'R' == replacing
यहाँ / dev / sdj1 है, जो उस सरणी का एकमात्र सदस्य हुआ करता था जो "संपूर्ण डिस्क" सदस्य नहीं था। यह एक था जिसे पुनर्जीवन के दौरान सरणी से हटा दिया गया था। मुझे संदेह है कि यह अभी भी समाप्त करने के लिए आवश्यक है, हालांकि यह वर्तमान में सरणी का सदस्य नहीं है, क्योंकि इसके पास इस डेटा का पुनर्भरण से पहले से है।
johnny@debian:~$ sudo mdadm --examine /dev/sdj1
mdadm: No md superblock detected on /dev/sdj1.
तो यहाँ मेरी समस्याएं हैं ...
1. मैं खत्म करने के लिए नया आकार प्राप्त नहीं कर सकता।
2. मैं सरणी को माउंट नहीं कर सकता। जब मैं कोशिश करता हूं, मुझे यह मिलता है।
johnny@debian:~$ sudo mount /dev/md0 /media/BigRaid6
mount: wrong fs type, bad option, bad superblock on /dev/md0,
missing codepage or helper program, or other error
In some cases useful info is found in syslog - try
dmesg | tail or so.
johnny@debian:~$ sudo dmesg | tail
[42446.268089] sd 15:0:0:0: [sdk]
[42446.268091] Add. Sense: Unrecovered read error - auto reallocate failed
[42446.268092] sd 15:0:0:0: [sdk] CDB:
[42446.268093] Read(10): 28 00 89 10 bb 00 00 04 00 00
[42446.268099] end_request: I/O error, dev sdk, sector 2299575040
[42446.268131] ata16: EH complete
[61123.788170] md: md1: data-check done.
[77423.597923] EXT4-fs (md0): bad geometry: block count 4194304000 exceeds size of device (3906887168 blocks)
[77839.250590] EXT4-fs (md0): bad geometry: block count 4194304000 exceeds size of device (3906887168 blocks)
[78525.085343] EXT4-fs (md0): bad geometry: block count 4194304000 exceeds size of device (3906887168 blocks)
मुझे यकीन है कि यदि रेज़ैप समाप्त हो गया था, तो माउंटिंग सफल होगी, इसलिए शायद यही सबसे महत्वपूर्ण है। सिर्फ FYI करें, इस एरे पर डेटा बैकअप के लिए बहुत बड़ा है, इसलिए यदि मैं इसे खो देता हूं, तो डेटा चला जाता है। कृपया सहायता कीजिए!
संपादित करें 1:
मैं $ 1000 (या अधिक) खोल सकता हूं और सब कुछ कॉपी करने के लिए पर्याप्त डिस्क प्राप्त कर सकता हूं, लेकिन मुझे काम करने के लिए सरणी को माउंट करने में सक्षम होना चाहिए।
इसके अलावा, मैंने अभी देखा कि सरणी को माउंट करने की कोशिश करने पर मुझे मिलने वाली "खराब ज्यामिति" त्रुटि संदेश में कुछ दिलचस्पी वाली जानकारी है।
[146181.331566] EXT4-fs (md0): bad geometry: block count 4194304000 exceeds size of device (3906887168 blocks)
डिवाइस का आकार, 3906887168, md0 के सरणी आकार का 1/4, 15627548672 है। "mdadm --detail / dev / md0" से
Array Size : 15627548672 (14903.59 GiB 16002.61 GB)
मुझे नहीं पता कि 4194304000 नंबर कहां से आ रहा है ... लेकिन इसका मतलब यह नहीं है कि इन डिस्क पर फिट होने के लिए सरणी सही आकार है? या ये आकार mdadm मेटाडेटा के लिए नहीं हैं? क्या 4194304000 मेटाडेटा सहित है?
मैं कसम खा सकता हूं कि मैंने आकार को ठीक करने के लिए कुछ समय पहले प्रयास किया था, इससे पहले कि आकार भी शुरू हो जाए, इसलिए मैंने सोचा कि सब कुछ अच्छा था। संभवत: मुझसे गलती हुई।
zfs sendबैकअप के बजाय rsync.... नोट के लिए उपयोग कर सकते हैं , हालांकि, जब आप ZFS पूल का विस्तार कर सकते हैं तो वास्तव में प्रतिबंध हैं। यह कैसे किया जा सकता है (जैसे आप किसी मौजूदा RAIDZ vdev में अतिरिक्त डिस्क नहीं जोड़ सकते)।