Intenționăm să facem cercetări AI folosind un HPC. Acest HPC va folosi seturile de date pe care le-am creat. Aceste seturi de date sunt subseturi destul de mari ale întregului set de date (~1TB). Toate datele pe care le-am adunat din experimente vor fi stocate într-o bază de date SQL. Dorim să folosim interogări SQL pentru a prelua subseturi relevante din baza de date care sunt relevante la un moment dat - așa că pentru asta am dezvoltat un serviciu RESTful, care permite oamenilor să trimită interogări igienizate.
Există unele limitări care ne opresc în prezent configurarea.
Avem o gazdă pentru serviciul RESTful, dar folosirea spațiului de stocare de ~ 1 TB este o ultimă soluție și am prefera să găsim o modalitate alternativă de a face lucrurile. Mă întrebam dacă este posibil să găzduiești baza de date pe un server, dar datele reale se află pe un alt server? Astfel, atunci când cercetătorul trimite o interogare către serviciul RESTful, serverul SQL selectează ce fișiere să trimită, le returnează serviciului restful, serviciul restful returnează link-uri de descărcare către toate seturile de date.
Momentan, folosim MySQL pentru a stoca datele și o instanță de Flask pentru a permite cercetătorilor să trimită noi experimente și să le preia.
