Găzduirea sarcinilor de lucru inconsistente în Azure

În compania noastră avem o mulțime de algoritmi care trebuie să proceseze seturi mari de date. Timpul de rulare a acestor algoritmi diferă de la câteva minute la ore. De asemenea, trebuie să fie executate ad-hoc de mai multe ori într-o săptămână până la o dată pe lună. Am dori să declanșăm acești algoritmi cu un eveniment, cum ar fi încărcarea unui fișier în stocarea blob Azure sau un apel API.

Pentru a rezolva acest lucru, am început să caut procesarea în coadă a sarcinilor în Azure. La început m-am gândit că funcțiile Azure ar putea fi o soluție bună, deoarece se plătește pe măsură ce folosești.Problema cu aceasta este că nu sunt destinate operațiunilor de lungă durată. Așa am început să caut în altă parte. Am găsit două alternative destul de bune și anume Azure WebJobs sau Jobs în Azure Kubernetes Services. Problema cu ambele este că au încă nevoie de un server activ, chiar dacă nu rulează nimic pe ei. Acest lucru ar putea fi destul de costisitor pentru sarcini care trebuie executate doar o dată pe lună.

Întrebarea mea este astfel: există o soluție în Azure pentru a găzdui joburi de lungă durată fără a avea nevoie de un server dedicat care rulează 24-7?

Separați componenta de depunere a postului de lucrătorii care le procesează. Poate că trimiterea este implementată ca și în cazul Funcțiilor și Cozilor Azure, încărcând intrările în stocare undeva și făcând un indicator către asta. O parte a funcției este de a mări lucrătorii de la zero, poate prin seturi de scară VM.

Poate fi o muncă de dezvoltare, dacă nu folosiți un sistem de programare a locurilor de muncă existent.

Sau cheltuiți costul rulării Kubernetes tot timpul. Da, AKS necesită rularea a cel puțin un nod. Poate fi util, mai ales dacă rulează și alte aplicații container.

Poate că o altă soluție la ceea ce a sugerat John ar fi utilizarea mașinilor virtuale Azure Spot: https://azure.microsoft.com/en-us/services/virtual-machines/spot/