ZFS / Zpool cu ​​utilizare limitată a discului?

Am un server cu un JBOD de 36 x 14TB discuri care au o capacitate totală de utilizare de 12,7TB (Discurile sunt WUH721414AL5201)

Am creat două zpool-uri:

• zpool1 care conține 3 vdev-uri (fiecare dintre ele având 8 discuri și fiind raidz-1) cu pool-ul având 3 hot-spares.

  piscina: zpool1
 stare: ONLINE
config:

        NUME STAT CITEȘTE SCRIE CKSUM
        zpool1 ONLINE 0 0 0
          raidz1-0 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
          raidz1-1 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
          raidz1-2 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
        piese de schimb
          scsi-35000 DISPONIBIL
          scsi-35000 DISPONIBIL
          scsi-35000 DISPONIBIL

• zpool2 care conține 1 vdev (cu 9 discuri și fiind raidz-2)

piscina: zpool2
 stare: ONLINE
config:

        NUME STAT CITEȘTE SCRIE CKSUM
        zpool2 ONLINE 0 0 0
          raidz2-0 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0
            scsi-35000 ONLINE 0 0 0

După cum puteți vedea, conform zfs, dimensiunea totală utilizabilă a zpool1 este de ~306TB și zpool2 este de ~115tb, ambele grupuri pretinzând că au mai mulți TB de spațiu liber.

rădăcină:~# listă zpool
NUME DIMENSIUNE ALLOC FREE CKPOINT EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
zpool1 306T 296T 9,55T - - 47% 96% 1,00x ONLINE -
zpool2 115T 110T 4,46T - - 26% 96% 1,00x ONLINE -

Cu toate acestea, când rulez df -h, primesc următoarele:

rădăcină:~# df -h
Filesystem Size Used Avail Use% Montat pe
zpool1 250T 250T 5,5M 100% /zpool1
zpool2 85T 84T 684G 100% /zpool2

Acest lucru este susținut de sistemul de fișiere care aruncă excepții complete de disc atunci când încerc să adaug mai multe date la pool-uri.

Poate cineva să confirme, vă rog, dacă există o limită pentru a atinge fie Linux, fie zfs? Gândurile mele inițiale au fost că există o limită de 250 TB, dar asta nu explică de ce zpool2 este, de asemenea, la capacitate de 100% atunci când există doar 85 TB de date în pool.

Dacă calculele mele sunt corecte, atunci pool1 ar trebui să aibă cel puțin 266,7 TB de spațiu utilizabil, iar pool2 ar trebui să aibă 88,9 TB, care se bazează pe următoarele calcule:

piscina1: 3 x raidz-1 vdevs (8 discuri, 7 utilizabile) = 7 * 3 = 21 discuri * 12,7 TB fiecare = 266,7

piscina2: 1 x raidz-2 vdev (9 discuri, 7 utilizabile) = 7 * 12,7 TB fiecare = 88,9 TB

PS: Scuze pentru o postare atât de lungă, sunt destul de nou în stocare, așa că am încercat să explic cât mai multe (Poate prea multe!)

Adăugat pentru Zoredache:

root:~# listă zfs
NUME UTILIZAT DISPONIBIL REFERERE MOUNTPOINT
zpool1 249T 2,45M 249T /zpool1
zpool2 83.9T 683G 83.9T /zpool2

The df command is an ancient tool, and doesn't doesn't really understand ZFS, the output from df for a ZFS filessytem is close to worthless. ZFS has more complicated allocation then what the df command understands. ZFS has features like snapshots, compression, de-duplication and more that all impact the usage and available capacity but will not change the apparent usage from perspective of 'df'.

You should be using zfs list and zpool list to inspect pools and zfs filesystems. Your zpool output clearly shows you are nearing the maximum capacity. The zfs list command will give more you details per dataset.

Also consider datasets can have quotas. They will have certain amounts of space reserved for critical filesystem storage to prevent your system from crashing.

Related, you shouldn't let your pools get to the point where they are as full as your that full. It will hurt the performance of your pools.