înregistrare Logare
Puncte:2
lalmagor avatar Server

Reconstruirea unui RAID5 inactiv

drapel us
lalmagor

Am un RAID5 de 7 x 14TB în stația mea de lucru cu Centos 7. Săptămâna trecută, una dintre unități a fost marcată ca defecte de către SMART (/dev/sde). Am folosit mdadm pentru a marca această unitate ca fiind defectă și pentru a o scoate din matrice și... pe scurt... am ajuns să scot unitatea greșită!

Acum am Centos în modul de urgență (sistemul meu de operare se află pe o unitate din afara matricei) și pot rula mdadm pentru a analiza matricea. Se pare că matricea mea /dev/md127 este inactivă cu toate unitățile marcate ca rezervă.

cat /proc/mdstat
Personalitati:
md127 : inactiv sdc[6](S) sdf[9](S) sdg[10](S) sde[8](S) sdd[7](S) sdb[5](S) sdh[11]( S)
95705752576 blocuri super 1.2

dispozitive nefolosite: <niciunul>

Din anumite motive, aici se arată ca raid0:

mdadm -D /dev/md127

/dev/md127:
Versiune: 1.2
Nivel raid: raid0
Total dispozitive: 7
Persistență: Superblocul este persistent

Stare: inactiv
Dispozitive de lucru: 7

Nume: c103950:127
UUID: a6f44e2c:352b1ea0:bd25d626:cac0177c
Evenimente: 539502
Număr Major Minor RaidDevice

   - 8 16 - /dev/sdb
   - 8 32 - /dev/sdc
   - 8 48 - /dev/sdd
   - 8 64 - /dev/sde
   - 8 80 - /dev/sdf
   - 8 96 - /dev/sdg
   - 8 112 - /dev/sdh

Și când examinez unitățile individuale:


mdadm -E /dev/sdb
/dev/sdb:
Magie: a92b4efc
Versiune: 1.2
Hartă caracteristică: 0x0
UUID matrice: a6f44e2c:352blea0:bd25d626:cac0177c
Nume: c103950:127
Ora creării: joi, 26 iulie 12:21:27 2018
Nivel raid: raid5
Dispozitive raid: 7

Dimensiune Dev disponibilă: 27344500736 sectoare (13038,87 GiB 14000,38 GB)
Dimensiunea matricei: 82033502208 KiB (78233,24 GiB 84002,31 GB)
Offset de date: 264192 sectoare
Super Offset: 8 sectoare
Spațiu nefolosit: înainte de-264112 sectoare, după-0 sectoare
Stare: curat
UUID dispozitiv: 136b95a5:1589d83d:bdb059dd:e2e9e02f

Ora actualizării: joi, 15 iulie 12:47:37 2021
Jurnal de blocare greșit: 512 intrări disponibile la 32 de sectoare offset
Sumă de control: 4e727166 - corect
Evenimente: 539502

Aspect simetric stânga
Dimensiune bucată: 512K

Rolul dispozitivului: Dispozitiv activ 1
Starea matricei: AAAA..A ('A'== activ, '.' == lipsă, 'R' == înlocuire)

***** 

mdadm -E /dev/sdc
/dev/sdc:
Magie: a92b4efc
Versiune: 1.2
Hartă caracteristică: 0x0
UUID matrice: a6f44e2c:352b1ea0:bd25d626:cac0177c
Nume: c103950:127
Ora creării: joi, 26 iulie 12:21:27 2018
Nivel raid: raid5
Dispozitive raid: 7

Dimensiune Dev disponibilă: 27344500736 sectoare (13038,87 GiB 14000,38 GB)
Dimensiunea matricei: 82033502208 KiB (78233,24 GiB 84002,31 GB)
Offset de date: 264192 sectoare
Super Offset: 8 sectoare
Spațiu nefolosit: înainte de-264112 sectoare, după-0 sectoare
Stare: curat
UUID dispozitiv: 64cac230:bc1e2bf5:65323067:5439f101

Ora actualizării: joi, 15 iulie 12:47:37 2021
Jurnal de blocare greșit: 512 intrări disponibile la 32 de sectoare offset
Sumă de control: ecd93778 - corect
Evenimente: 539502

Aspect simetric stânga
Dimensiune bucată: 512K

Rolul dispozitivului: dispozitiv activ 6
Starea matricei: AAAA..A ('A'== activ, '.' == lipsă, 'R' == înlocuire)

*****

mdadm -E /dev/sdd
/dev/sdd:
Magie: a92b4efc
Versiune: 1.2
Hartă caracteristică: 0x0
UUID matrice: a6f44e2c:352b1ea0:bd25d626:cac0177c
Nume: c103950:127
Ora creării: joi, 26 iulie 12:21:27 2018
Nivel raid: raid5
Dispozitive raid: 7

Dimensiune Dev disponibilă: 27344500736 sectoare (13038,87 GiB 14000,38 GB)
Dimensiunea matricei: 82033502208 KiB (78233,24 GiB 84002,31 GB)
Offset de date: 264192 sectoare
Super Offset: 8 sectoare
Spațiu nefolosit: înainte de-264112 sectoare, după-0 sectoare
Stare: curat
UUID dispozitiv: 2dd7e6d6:6c035b33:0072796b:d3685558

Ora actualizării: joi, 15 iulie 12:47:37 2021
Jurnal de blocare greșit: 512 intrări disponibile la 32 de sectoare offset
Sumă de control: 2bda98d - corect
Evenimente: 539502

Aspect simetric stânga
Dimensiune bucată: 512K

Rolul dispozitivului: dispozitiv activ 0
Starea matricei: AAAA..A ('A'== activ, '.' == lipsă, 'R' == înlocuire)

*****

mdadm -E /dev/sde
/dev/sde:
Magie: a92b4efc
Versiune: 1.2
Hartă caracteristică: 0x0
UUID matrice: a6f44e2c:352b1ea0:bd25d626:cac0177c
Nume: c103950:127
Ora creării: joi, 26 iulie 12:21:27 2018
Nivel raid: raid5
Dispozitive raid: 7

Dimensiune Dev disponibilă: 27344500736 sectoare (13038,87 GiB 14000,38 GB)
Dimensiunea matricei: 82033502208 KiB (78233,24 GiB 84002,31 GB)
Offset de date: 264192 sectoare
Super Offset: 8 sectoare
Spațiu nefolosit: înainte de-264112 sectoare, după-0 sectoare
Stare: activ
UUID dispozitiv: 8e6bd6de:15483efa:82c1917d:569ee387

Ora actualizării: joi, 13 iulie 10:30:54 2021
Jurnal de blocare greșit: 512 intrări disponibile la 32 de sectoare offset
Sumă de control: c050eb4 - corect
Evenimente: 539489

Aspect simetric stânga
Dimensiune bucată: 512K

Rolul dispozitivului: dispozitiv activ 4
Starea matricei: AAAAAAA ('A'== activ, '.' == lipsă, 'R' == înlocuire)

*****

mdadm -E /dev/sdf
/dev/sdf:
Magie: a92b4efc
Versiune: 1.2
Hartă caracteristică: 0x0
UUID matrice: a6f44e2c:352b1ea0:bd25d626:cac0177c
Nume: c103950:127
Ora creării: joi, 26 iulie 12:21:27 2018
Nivel raid: raid5
Dispozitive raid: 7

Dimensiune Dev disponibilă: 27344500736 sectoare (13038,87 GiB 14000,38 GB)
Dimensiunea matricei: 82033502208 KiB (78233,24 GiB 84002,31 GB)
Offset de date: 264192 sectoare
Super Offset: 8 sectoare
Spațiu nefolosit: înainte de-264112 sectoare, după-0 sectoare
Stare: curat
UUID dispozitiv: 93452dc8:3fba28ce:c7d33d00:7c1838fd

Ora actualizării: joi, 15 iulie 12:47:37 2021
Jurnal de blocare greșit: 512 intrări disponibile la 32 de sectoare offset
Sumă de control: e995ceb8 - corect
Evenimente: 539502

Aspect simetric stânga
Dimensiune bucată: 512K

Rolul dispozitivului: dispozitiv activ 2
Starea matricei: AAAA..A ('A'== activ, '.' == lipsă, 'R' == înlocuire)

*****

mdadm -E /dev/sdg
/dev/sdg:
Magie: a92b4efc
Versiune: 1.2
Hartă caracteristică: 0x0
UUID matrice: a6f44e2c:352b1ea0:bd25d626:cac0177c
Nume: c103950:127
Ora creării: joi, 26 iulie 12:21:27 2018
Nivel raid: raid5
Dispozitive raid: 7

Dimensiune Dev disponibilă: 27344500736 sectoare (13038,87 GiB 14000,38 GB)
Dimensiunea matricei: 82033502208 KiB (78233,24 GiB 84002,31 GB)
Offset de date: 264192 sectoare
Super Offset: 8 sectoare
Spațiu nefolosit: înainte de-264112 sectoare, după-0 sectoare
Stare: curat
UUID dispozitiv: 48fe7b1b:751e6993:4eb73b66:a1313185

Ora actualizării: joi, 15 iulie 12:47:37 2021
Jurnal de blocare greșit: 512 intrări disponibile la 32 de sectoare offset
Sumă de control: f81be84f - corect
Evenimente: 539502

Aspect simetric stânga
Dimensiune bucată: 512K

Rolul dispozitivului: dispozitiv activ 3
Starea matricei: AAAA..A ('A'== activ, '.' == lipsă, 'R' == înlocuire)

*****

mdadm -E /dev/sdh
/dev/sdh:
Magie: a92b4efc
Versiune: 1.2
Hartă caracteristică: 0x0
UUID matrice: a6f44e2c:352b1ea0:bd25d626:cac0177c
Nume: c103950:127
Ora creării: joi, 26 iulie 12:21:27 2018
Nivel raid: raid5
Dispozitive raid: 7

Dimensiune Dev disponibilă: 27344500736 sectoare (13038,87 GiB 14000,38 GB)
Dimensiunea matricei: 82033502208 KiB (78233,24 GiB 84002,31 GB)
Offset de date: 264192 sectoare
Super Offset: 8 sectoare
Spațiu nefolosit: înainte de-264112 sectoare, după-0 sectoare
Stare: curat
UUID dispozitiv: 80448326:c8b82624:a8e31b97:18246b58

Ora actualizării: joi, 15 iulie 12:04:35 2021
Jurnal de blocare greșit: 512 intrări disponibile la 32 de sectoare offset
Sumă de control: 9800dd88 - corect
Evenimente: 539497

Aspect simetric stânga
Dimensiune bucată: 512K

Rolul dispozitivului: dispozitiv activ 5
Starea matricei: AAAA.AA ('A'== activ, '.' == lipsă, 'R' == înlocuire)******

/dev/sde este unitatea defectă, în timp ce /dev/sdh este cea pe care am tras din greșeală. Observați diferența dintre evenimente și orele de actualizare. Acum vreau să reasamblați matricea și să mă întreb care este cel mai sigur mod de a face acest lucru.

Te rog ajuta-ma! Vă mulțumesc că ați citit.

159
1 + 7
djdomi avatar
drapel za
djdomi
Oh, grozav, ai avut Raid ZERO - restabilește backupul, bine făcut :-)
1
Răspunde
shodanshok avatar
drapel ca
shodanshok
Puteți încerca cu `mdadm --incremental /dev/sd[abcdfgh]`?
2
Răspunde
Mike Andrews avatar
drapel ng
Mike Andrews
Mdadm ar trebui să vă împiedice să faceți o greșeală, atâta timp cât NU folosiți `--force`. Este folosirea lui „--force” în cazul în care oamenii au probleme. Cauți să asamblați matricea, inclusiv unitatea pe care ați extras-o, dar fără unitatea pe care ați eșuat-o. Apoi veți `--re-adăugați` unitatea pe care ați `--eșuat` odată ce matricea este pornită și rulată. Va trebui să puneți matricea în funcțiune. Sunt de acord cu @shodanshok, este posibil să puteți utiliza pur și simplu asamblarea incrementală pentru a reveni la funcționare.
1
Răspunde
lalmagor avatar
drapel us
lalmagor
Mulțumesc pentru răspunsuri. --incremental pare să fie exact ceea ce am nevoie, dar încă sunt îngrijorat că va încerca să construiască asta ca Raid0, deoarece asta arată acum când verific cu mdadm --D. Pot face „mdadm --incremental --level=5 /dev/sd[abcdfgh]”? sau ar trebui să fac "mdadm --create --verbose /dev/md127 --level=5 /dev/sdb /dev/sdc /dev/sdd /dev/sdf /dev/sdg /dev/sdh"?
0
Răspunde
shodanshok avatar
drapel ca
shodanshok
Cred că `--incremental` nu permite specificarea nivelului raidului. Oricum, superblocurile tale HDD par să descrie corect o matrice raid5, așa că aș încerca `--incremental` (***fără*** a forța nimic) pentru a porni matricea.
2
Răspunde
lalmagor avatar
drapel us
lalmagor
Am folosit „mdadm --stop /dev/md127” și apoi am putut rula „mdadm --incremental” la fiecare dintre cele șase unități bune, dar tot spune „nu este suficient pentru a porni”. Când rulez „mdadm --D /dev/md127”, este tot la fel, cu toate goale și crezând că este raid0.
0
Răspunde
lalmagor avatar
drapel us
lalmagor
ce zici de "mdadm --assemble /dev/md127 /dev/sdb /dev/sdc /dev/sdd /dev/sdf /dev/sdg /dev/sdh"? Crezi că asta ar funcționa? Pot să specific și aici nivelul raidului?
0
Răspunde
Puncte:0
lalmagor avatar Server
drapel us
lalmagor

Am reușit să rezolv asta rulând:

mdadm --assemble --force /dev/md127 /dev/sdb /dev/sdc /dev/sdd /dev/sdf /dev/sdg /dev/sdh

Care mi-a restaurat matricea într-o stare degradată cu unități 6/7. Nu a funcționat fără opțiunea --force. Cred că am avut noroc că nu au fost atât de multe diferențe de număr de evenimente între /dev/sdh și restul. După aceea, am putut adăuga noul disc la matrice cu:

mdadm --manage /dev/md127 --add /dev/sde

După 49 de ore de reconstrucție, matricea mea a fost din nou completă.

Cred că problema mea a fost asemănătoare cu: https://unix.stackexchange.com/questions/163672/missing-mdadm-raid5-array-reassembles-as-raid0-after-powerout

Am folosit si acest ghid: https://web.archive.org/web/20210302160944/http://www.tjansson.dk/2013/12/replacing-a-failed-disk-in-a-mdadm-raid/

0 + 0
drapel romania
SEF 777
întrebarea această in alte limbi:

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.