Puncte:0

Cel mai rapid mod de a copia fișiere local în linux

drapel in

Așa că din motive de performanță am decis să mut 2TB de fișiere mici, scrise aleatoriu în timpul câtva timp - de la un HDD SATA de 14TB la un SSD m.2 NVME de 4TB, ambele atașate local.

M-am luptat de 2 zile consecutiv să obțin performanțe rezonabile de copiere.

cp primește ~15MB/s, ceea ce îmi oferă o estimare de aproximativ două zile de copiere non-stop

rsync este chiar mai rău la ~5MB/s

Bănuiesc că performanța slabă se datorează unei locații fizice aleatorii pe platou, ceea ce mă aduce la o „citire aleatorie” a notelor de performanță.

Totuși, sunt destul de sigur că acești 2 TB de fișiere sunt o regiune semi-contiguă a unității de 14 TB, așa că pur și simplu ddDacă acționez în regiune, chiar și cu o supraîncărcare de 20%, mi-ar oferi o citire secvențială evaluată de aproape 200 MB/s.Voi „arunca” fișierele de care nu aveam nevoie - dar nu găsesc niciun software/metodă care să o facă așa.

Întrebarea mea este, care este cel mai rapid mod de a copia fișiere local în 2021?

Puncte:1
drapel in

Nu, nu se datorează fragmentării, fișierele mici de pe discul mecanic sunt copiate foarte lent. Este mai bine să așteptați. Nici un glonț magic de data asta.

drapel in
Din câte îmi pot da seama, există mai multe soluții care sunt mult mai rapide decât `cp` și `rsync`: [gcp](http://manpages.ubuntu.com/manpages/bionic/man1/gcp.1.html), [parcp](https://blogs.oracle.com/cloud-infrastructure/announcing-parallel-file-tools-for-file-storage), [parallel](https://www.gnu.org/software/parallel /), [fpsync](https://github.com/martymac/fpart), [Mutil](https://github.com/pkolano/mutil) și copierea fișierelor este o [problemă cunoscută în Linux](https: //lwn.net/Articles/789623/)

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.