Adăugarea unei cantități mari de spațiu de stocare (500 TB) la 1 VM

Care este cea mai bună modalitate de a adăuga o cantitate mare de spațiu de stocare la o singură gazdă Windows în VMware vSphere 7? Să zicem 500TB? În trecut, am creat o grămadă de depozite de date VMFS și le-am împărțit pe unitate în Windows, o unitate VMFS de 50 TB și o unitate Windows de 50 TB ori de 10. Cu toate acestea, o nouă aplicație ar funcționa mai bine dacă toate acestea ar fi combinate într-o singură unitate... Știu că le pot combina în Windows, dar asta pare o mizerie ineficientă.

Nu știu cât de serios să iau această întrebare, având în vedere bugetul masiv pe care, evident, l-ați combinat cu lipsa de experiență pe care o indică întrebarea dvs., dar vă voi răspunde de parcă ați vorbi serios.

Din câte știu, un singur hard disk virtual poate avea o dimensiune de până la 62 TB (https://docs.vmware.com/en/VMware-vSphere/7.0/com.vmware.vsphere.vm_admin.doc/GUID-BF2C8E24-B530-4C94-85F6-09E5AE781466.html).
Trebuie să configurați un RAID soft în Windows, format din mai multe discuri virtuale mai mici. Acest lucru ar deveni rapid complex în ceea ce privește întreținerea.

Probabil că ar fi mai bine să vă uitați la soluții scalabile de stocare open source sau proprietare - și nu uitați să faceți buget pentru backup-uri și recuperare în caz de dezastru.

În acel moment, ar trebui să discutați despre designul software-ului cu dezvoltatorii dvs.: cum va fi folosită această stocare? Poate fi împărțit în bucăți mai mici? Toate acestea trebuie să fie accesibile cu prioritate identică sau stocarea poate fi împărțită în pool-uri de înaltă performanță și, respectiv, cu costuri mai mici? Este găzduirea soluției cu un furnizor de cloud o opțiune? Și așa mai departe.

Cel mai bine ar fi să combinați toate acele sisteme de fișiere într-un singur sistem de fișiere și să montați un singur sistem de fișiere în Windows. Construirea unui fel de rețea JBOD nu este foarte prietenoasă cu performanța și are multe dezavantaje. Dacă insistați cu adevărat să faceți acest lucru, v-aș sugera următoarele.

Configurați fiecare dintre cele zece sisteme NAS de 50TB pentru a-și servi spațiul individual de disc combinat ca dispozitiv iSCSI pe un fel de server MasterNAS.

Serverul MasterNAS (ar trebui să fie un sistem Linux) ar trebui apoi să combine toate cele 10 dispozitive iSCSI ca un super sistem de fișiere btrfs.

O să ai nevoie sudo apt install open-iscsi btrfs-progs (pentru serverul ubuntu/debian) pentru asta.

1. Vă configurați toate cele 10 NAS pentru a servi întregul spațiu pe disc ca un dispozitiv iSCSI combinat. Exemplu: serverele dumneavoastră NAS folosesc un controler raid hardware care mapează toate unitățile de disc la o unitate logică. Această unitate logică 1 este propagată de un inițiator iSCSI.

2. Utilizați noul dvs. server MasterNAS, performant și independent, care „colectează/montează” toate cele 10 ținte iSCSI de pe toate cele 10 servere NAS. Sugerez că acest MasterNAS folosește un Linux modern și folosește btrfs ca sistem de fișiere pentru unitățile iSCSI-NAS.Apoi creați un sistem de fișiere super btrfs în modul unic (ceea ce este esențial un fel de dispozitiv JBOD grozav care folosește codificarea datelor la nivel de sistem de fișiere). Puteți face acest lucru așa:

sudo mkfs.btrfs --data single /dev/sda /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf /dev/sdg /dev/sdh /dev/sdi /dev/sdj (aceasta combină toate cele 10 unități la un sistem de fișiere liniar btrfs asemănător JBOD)

Puteți monta acel sistem de fișiere super btrfs doar folosind oricare dintre dispozitivele sale, astfel: montare /dev/sda /mnt.

Avantajul unui dispozitiv asemănător btrfs JBOD este că, în cazul în care unul dintre serverele NAS se defectează, sistemul dvs. de fișiere nu se va prăbuși, veți „doar să pierdeți” fișierele de pe serverul NAS offline. (Ok, se va bloca în setările implicite, dar recuperarea datelor este mult mai ușoară, deoarece eliminarea fișierelor are loc la nivel de sistem de fișiere cu btrfs)

După ce faci toate aceste lucruri, instalezi un server samba pe MasterNAS-ul tău și partajezi acest sistem de fișiere super btrfs la WindowsVM-ul tău.

PS există și un driver btrfs gratuit pentru Windows, dar nu am experiență cu el --> https://github.com/maharmstone/btrfs

Probabil că nu este ceea ce vrei să auzi, dar te-ai gândit să folosești o formă de stocare publică în cloud pentru asta? 500TB va dura ceva timp pentru a se umple, așa că de ce să plătiți pentru el până când știți cu siguranță că aveți nevoie de el. Evident, ar trebui să-ți alegi cloud-ul și ce serviciu, dar am vrut doar să te gândești la asta înainte de a te împinge și a arunca o grămadă de bani din prima zi.