Puncte:1

Comprimați fișierele de intrare din rsync înainte de a scrie pe disc

drapel vn

Trebuie să încarc fișiere text mari de pe o altă mașină printr-o legătură de 10 Gb, fișiere create de software extern/sursă închisă pe care nu am acces să le modific (de exemplu, pentru a face comprimarea fișierelor de ieșire)

În prezent, utilizarea rețelei și a discului IO este de 100% pe aceste mașini (mașini sursă și destinație), deci blocaj al sistemului.

Dacă mașina sursă ar putea avea fișiere text comprimate în primul rând, nu ar fi nicio problemă, dar nu am acces la mașina sursă (fișierele fiind sincronizate cu mașina destinație la care am acces)

Există ceva la mașina de destinație pe care să pot face pentru a reduce cel puțin presiunea pe discul mașinii de destinație.

Mi-a venit un fel de idee ridicolă care este: pentru a avea o unitate mapată cu memorie temporară cu câțiva GB, montați-o ca director de intrare al rsync de la mașina sursă, apoi scrieți un program pentru a comprima câteva fișiere text de fiecare dată, scrieți fișierul de ieșire comprimat (dimensiune de 10 ori mai mică în comparație cu fișierele originale) pe HDD și ștergeți fișierele originale de pe unitatea mapată cu memorie.

Există deja un instrument care face asta?! Alte recomandari?

Folosesc ubuntu 18.04.

Toate cele bune

drapel in
Recomandările de produse sunt în afara subiectului, dar [fusecompress pare promițător](https://www.systutorials.com/docs/linux/man/1-fusecompress/).
f.ald avatar
drapel vn
fusecompress arată ca un proiect abandonat (nu a fost actualizat de mult timp) și nu am putut găsi o modalitate de a-l instala pe Linux
Puncte:0
drapel cn
Bob

Există ceva la mașina de destinație pe care să pot face pentru a reduce cel puțin presiunea pe discul mașinii de destinație.

Când discul IO este blocajul, soluția evidentă este, desigur „obține discuri mai rapide”.

Alternativ, atunci când aveți o anumită capacitate a procesorului de rezervă: mai multe sisteme de fișiere Linux acceptă compresie „transparentă”, în care driverul sistemului de fișiere efectuează compresie din mers în timp ce scrie datele în blocul de stocare de bază și decompresează atunci când datele sunt citite din nou. Atunci nu trebuie să schimbați nimic la nivel de aplicație.

f.ald avatar
drapel vn
Dacă instalăm o unitate ZFS peste NFS și accesăm fișierele de la distanță, fișierele comprimate/mici ar fi trecute prin rețea și decomprimate pe o mașină la distanță sau invers?
djdomi avatar
drapel za
csn folosești tar și xz peste nc sau ssh

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.