Puncte:0

FIO de 17 ori mai lent pe ZFS decât dispozitivul brut

drapel in

Am ZFS pool RAIDZ-1 pe 4 x 3,84 TB SATA3 "enterprise" SSD.

zfs creează rpool/fio
zfs set primarycache=none rpool/fio

fio --ioengine=sync --filename=[X] --direct=1 --rw=citește --bs=4K --numjobs=1 --iodepth=1 --runtime=10 --time_based --name= fio

Rezultate:

--filename=/dev/sdg:        
  citiți: IOPS=25,1k, BW=98,2MiB/s (103MB/s)

--filename=/rpool/fio/testx
  citiți: IOPS=1408, BW=5634KiB/s (5769kB/s)

configurație zpool:

NUME PROPRIETATE VALOARE SURSA
sistem de fișiere de tip rpool/fio -
rpool/fio creation joi, 18 nov, 11:04 2021 -
rpool/fio folosit 30.5G -
rpool/fio disponibil 9.69T -
rpool/fio referit la 30.5G -
raport de compresie rpool/fio 1,05x -
rpool/fio montat da -
rpool/fio quota nici unul implicit
rpool/fio rezervare nici unul implicit
rpool/fio recordsize 128K implicit
rpool/fio mountpoint /rpool/fio implicit
rpool/fio sharenfs dezactivat implicit
rpool/fio checksum implicit
compresie rpool/fio lz4 local
rpool/fio atime off moștenit de la rpool
dispozitive rpool/fio implicite
rpool/fio exec implicit
rpool/fio setuid implicit
rpool/fio readonly off default
rpool/fio zoned off implicit
rpool/fio snapdir implicit ascuns
rpool/fio aclmode ignorare implicită
rpool/fio aclinherit restricționat implicit
rpool/fio createtxg 11836 -
rpool/fio se poate monta implicit
rpool/fio xattr implicit
rpool/fio copie 1 implicit
rpool/fio versiunea 5 -
rpool/fio utf8only off -
normalizare rpool/fio nici unul -
rpool/fio casesensibilitate sensibilă -
rpool/fio vscan dezactivat implicit
rpool/fio nbmand dezactivat implicit
rpool/fio sharesmb dezactivat implicit
rpool/fio refquota nici unul implicit
rpool/fio refreservation nici unul implicit
rpool/fio guid 11473612800347485365 -
rpool/fio primarycache nici unul local
rpool/fio secondarycache toate implicite
rpool/fio usedbysnapshots 0B -
rpool/fio usedbydataset 30.5G -
rpool/fio usedbychildren 0B -
rpool/fio folosit de rezervare 0B -
rpool/fio logbias latență implicită
rpool/fio objsetid 9843 -
rpool/fio dedup off implicit
rpool/fio mlslabel niciunul implicit
standardul de sincronizare rpool/fio moștenit de la rpool
rpool/fio dnodesize moștenire implicită
raport de refcomprimare rpool/fio 1,05x -
rpool/fio scris 30.5G -
rpool/fio logicused 32.0G -
rpool/fio logicalreferenced 32.0G -
rpool/fio volmod implicit implicit
rpool/fio filesystem_limit niciunul implicit
rpool/fio snapshot_limit niciunul implicit
rpool/fio filesystem_count niciunul implicit
rpool/fio snapshot_count niciunul implicit
rpool/fio snapdev implicit ascuns
rpool/fio acltype dezactivat implicit
context rpool/fio nici unul implicit
rpool/fio fscontext niciunul implicit
rpool/fio defcontext niciunul implicit
rpool/fio rootcontext niciunul implicit
rpool/fio relatime dezactivat implicit
rpool/fio redundant_metadata toate implicite
rpool/fio suprapunere implicită
criptare rpool/fio dezactivată implicit
rpool/fio keylocation nici unul implicit
rpool/fio keyformat niciunul implicit
rpool/fio pbkdf2iters 0 implicit
rpool/fio special_small_blocks 0 implicit

Este ceva în neregulă cu testul sau cu ZFS? Orice sfat/informații sunt apreciate! Mulțumiri.

ACTUALIZARE 1:

Am actualizat testul inițial la --bs=4K și povestea rămâne în general aceeași... Testarea pe dispozitivul brut este validă?

UPDATE 2:

Se pare că am o imagine diferită de zpool iostat la fio ieșire. Am ajustat fio testați la randion r/w cu 64 de joburi, ceea ce ar trebui să dezvăluie standardul SSD mai „realist”. NB sistemul nu are alt volum de lucru.

Pe SSD:

fio --ioengine=libaio --filename=/rpool/fio/testx --size=4G --time_based --name=fio --group_reporting --runtime=10 --direct=1 --sync=1 --iodepth =1 --rw=randrw --bs=4K --numjobs=64

citiți: IOPS=4022, BW=15,7 MiB/s (16,5 MB/s)
scrie: IOPS=4042, BW=15,8 MiB/s (16,6 MB/s)


# zpool iostat -vy rpool 5 1
                                                        lățimea de bandă a operațiunilor de capacitate 
pool alloc liber citire scrie citire scrie
--------------------------------------------- -- ----- ----- ----- ----- ----- -----
rpool 216G 27.7T 28.1K 14.5K 1.17G 706M
  raidz1 195G 13,8T 13,9K 7,26K 595M 358M
    ata-INTEL_SSDSC2KB038TZ_BTYI13730BAV3P8EGN-part3 - - 3,60K 1,73K 159M 90,3M
    ata-INTEL_SSDSC2KB038TZ_BTYI13730B9Q3P8EGN-part3 - - 3,65K 1,82K 150M 89,0M
    ata-INTEL_SSDSC2KB038TZ_BTYI13730B9G3P8EGN-part3 - - 3,35K 1,83K 147M 90,0M
    ata-INTEL_SSDSC2KB038TZ_BTYI13730BAT3P8EGN-part3 - - 3,34K 1,89K 139M 88,4M
  raidz1 21.3G 13.9T 14.2K 7.21K 604M 348M
    sde - - 3,39K 1,81K 149M 87,5M
    sdf - - 3,35K 1,90K 139M 86,3M
    sdg - - 3,71K 1,70K 163M 87,8M
    sdh - - 3,69K 1,81K 152M 86,4M
--------------------------------------------- -- ----- ----- ----- ----- ----- -----

Pe HDD:

citiți: IOPS=1382, BW=5531KiB/s
scrieți: IOPS=1385, BW=5542KiB/s

$ zpool iostat -vy rpool 5 1
                                    lățimea de bandă a operațiunilor de capacitate 
pool alloc liber citire scrie citire scrie
-------------------------------- ----- ----- ----- --- -- ----- -----
rpool 160G 18.0T 3.07K 2.71K 393M 228M
  oglindă 32,2G 3,59T 624 589 78,0M 40,2M
    scsi-35000c500de5c67f7-part3 - - 321 295 40,1M 20,4M
    scsi-35000c500de75a863-part3 - - 303 293 37,9M 19,7M
  oglindă 31,9G 3,59T 625 551 78,2M 49,9M
    scsi-35000c500de2bd6bb-part3 - - 313 274 39,1M 24,2M
    scsi-35000c500de5ae5a7-part3 - - 312 277 39,0M 25,7M
  oglindă 32,2G 3,59T 648 548 81,1M 45,9M
    scsi-35000c500de5ae667-part3 - - 320 279 40,1M 23,0M
    scsi-35000c500de2bd2d3-part3 - - 328 268 41,0M 23,0M
  oglindă 31,6G 3,59T 612 536 76,5M 45,5M
    scsi-35000c500de5ef20f-part3 - - 301 266 37,7M 22,7M
    scsi-35000c500de5edbfb-part3 - - 310 269 38,9M 22,8M
  oglindă 32,0G 3,59T 629 555 78,7M 46,5M
    scsi-35000c500de5c6f7f-part3 - - 318 283 39,8M 23,1M
    scsi-35000c500de5c6c5f-part3 - - 311 272 38,9M 23,4M
-------------------------------- ----- ----- ----- --- -- ----- -----

Performanța pe dispozitiv arată bine pe HDD-uri, iar SSD-urile par să fie de aproximativ 5 ori mai rapide decât HDD-urile în r/w aleatoriu. Este de așteptat? Ma asteptam de 10-100 de ori mai repede...

Vă mulțumim pentru atenție!

Nikita Kipriyanov avatar
drapel za
Sigur doriți să utilizați motorul I/O `sync`?
shodanshok avatar
drapel ca
Vă rugăm să vă recreați piscina cu `-o ashift=12`. De asemenea, vă rugăm să încercați cu `recordsize=16K`
simonw avatar
drapel in
Mulțumesc @shodanshok ashift este 12 și setarea recordsize la 16k dă aceleași rezultate.
simonw avatar
drapel in
Mulțumesc @NikitaKipriyanov aceleași rezultate cu libaio.
Romeo Ninov avatar
drapel in
Puteți încerca să eliminați compresia piscinei
simonw avatar
drapel in
Mulțumesc @RomeoNinov Am încercat asta, aceleași rezultate!...
batistuta09 avatar
drapel vn
21k IOPS pe blocuri de 128k nu este un rezultat valid pentru un singur SSD SATA. Înseamnă aprox. Debit de 2,6 GB/s, de 5 ori mai mult decât oferă un singur port SATA.
drapel us
Nu ar trebui să utilizați un RAID cu o singură paritate dacă doriți să vă păstrați datele în siguranță.

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.