I/O performanță ertică (teribilă) a discului (Debian/Proxmox)

rezumat

Văd performanțe I/O fluctuante dramatic pe o oglindă SSD ZFS în Proxmox VE 7 (Bullseye). Pur și simplu sunt prea începător pentru a-l putea găsi pe cont propriu.

Detalii

Aceasta este o performanță FOARTE slabă în sarcinile din lumea reală, deci nu sunt doar repere artificiale. Dar pentru a ajuta la diagnosticarea acesteia, rulez:

sysbench fileio --file-test-mode=rndrw run

Funcționează „bare-metal” de la terminalul Proxmox fără niciun VM activ. Rezultatele variază extrem de mult. Iată două exemple:

Operații cu fișiere:
    citește/s: 2316.07
    scrie/s: 1544.08
    fsyncs/s: 4949,70

Debit:
    citit, MiB/s: 36,19
    scris, MiB/s: 24,13

Statistici generale:
    timp total: 10.0062s
    numărul total de evenimente: 88040

Latență (ms):
         min: 0,00
         medie: 0,11
         max: 35,66
         Percentila 95: 0,65
         suma: 9947,54

Corectitudinea firelor:
    evenimente (avg/stddev): 88040.0000/0.00
    timp de execuție (avg/stddev): 9,9475/0,00

și

Operații cu fișiere:
    citeste/s: 22,60
    scrie/s: 15.07
    fsyncs/s: 56,98

Debit:
    citit, MiB/s: 0,35
    scris, MiB/s: 0,24

Statistici generale:
    timp total: 10,6162s
    numărul total de evenimente: 877

Latență (ms):
         min: 0,00
         medie: 11,43
         max: 340,62
         Percentila 95: 77,19
         suma: 10020,19

Corectitudinea firelor:
    evenimente (avg/stddev): 877,0000/0,00
    timp de execuție (avg/stddev): 10.0202/0.00

După cum vedeți, există o variație de 10.000 de ori a numărului total de evenimente și o creștere masivă a latenței. Aceste leagăne nu sunt „unice”. Fluctuează constant între aceste tipuri de extreme.

Am făcut tot posibilul să încerc să restrâng problemele hardware simple. Ambele SSD-uri sunt noi, cu toate cele 100 în smartctl. Am schimbat cablurile SATA. L-am rulat cu oglinda degradată pentru a încerca să izolez o singură problemă de unitate. Am mutat unitățile pe un controler SATA separat. Nimic nu-mi dă un rezultat diferit.

Am un al doilea server configurat într-un mod similar, deși cu SSD-uri mai vechi (și de neegalat) în oglindă. Nu văd această problemă. Hardware-ul serverului diferă, totuși. Rezultatele slabe provin din sistemul descris mai jos.Rezultatele aparent „normale” sunt de la un computer vechi convertit cu un E3-1275v2.

Ceea ce sper sunt sfaturi pentru a ajuta la diagnosticarea acestei probleme. Se pare că problema este cu latența. Ce poate cauza asta? Ce pași următori ar trebui să fac?

Mulțumesc anticipat!

Sistem (daca ajuta)

• MB: Supermicro X9DRi-F
• CPU: Dual Xeon E5-2650 v2
• RAM: 128 GB (8 x 16 GB)
• Controlere SATA: SATA 3 la bord (sata 2 separat, de asemenea, testat)
• SSD: 2x 1GB TeamGroup SATA (da, ieftin, dar ar trebui să fie bine)
• Carduri PCIe:
  • Mellanox MCX312B
  • LSI SAS9207-8i (HBA conectat la 8 discuri nemontate... trecut la VM)
  • Nvidia GTX 750 (transmis la VM)

Ceva asemănător mi s-a întâmplat ieri cu noua mea configurare: Proxmox VE 7 pe un Intel 11500 cu 32 GB RAM și 2x SSD Crucial BX500 (acestea sunt de gradul consumatorilor) configurate ca oglindă ZFS.

Am facut un benchmark folosind dd pentru a scrie 1 GB de zerouri pe SSD și rula la 5 MB/s (știu dd nu este bun pentru benchmarking dar totusi...). În timpul benchmark-ului, iostat a fost la 100% din utilizare. În cazul meu, am rezolvat problema de performanță prin tăierea SSD-urilor. Îl poți forța folosind zpool trim rpool și puteți activa autotrim cu zpool set autotrim=on rpool. După ce am tăiat discurile, am rulat din nou benchmark-ul și a rulat în 7s (153 MB/s).

În timpul procesului de a găsi cum să îmbunătățim performanța, am stabilit xattr la sa așa cum este recomandat în Wiki Proxmox și am reglat zfs_arc_min/zfs_arc_max și alți parametri ai nucleului.

Sper că acest lucru funcționează și pentru tine.