Puncte:3

Care este cea mai bună măsură pentru scalarea automată a instanțelor GPU pentru inferența învățării automate în cloud?

drapel ps

Avem un API în AWS cu o instanță GPU care face inferențe. Avem o configurație de scalare automată cu numărul minim și maxim de instanțe, dar nu suntem siguri ce măsurătoare (utilizarea GPU/CPU, utilizarea RAM, latența medie etc.) sau combinația de valori ar trebui utilizată pentru a determina când un nou instanța trebuie lansată pentru a ține pasul cu cererile primite.

Există cele mai bune practici cu privire la ce valori ar trebui utilizate în acest scenariu? Inferența în cazul nostru necesită foarte mult GPU.

Postează un răspuns

Majoritatea oamenilor nu înțeleg că a pune multe întrebări deblochează învățarea și îmbunătățește legătura interpersonală. În studiile lui Alison, de exemplu, deși oamenii își puteau aminti cu exactitate câte întrebări au fost puse în conversațiile lor, ei nu au intuit legătura dintre întrebări și apreciere. În patru studii, în care participanții au fost implicați în conversații ei înșiși sau au citit transcrieri ale conversațiilor altora, oamenii au avut tendința să nu realizeze că întrebarea ar influența – sau ar fi influențat – nivelul de prietenie dintre conversatori.