Cloud GPU Seeweb: cosa sono le Istanze Spot e quando conviene utilizzarle

L’accesso alla potenza di calcolo necessaria per addestrare un modello AI, elaborare grandi dataset o completare un rendering complesso non deve necessariamente tradursi nell’allocazione permanente di costose risorse hardware. Molte attività richiedono capacità computazionale elevata soltanto per alcune ore, durante specifiche fasi del progetto oppure quando una coda di elaborazione raggiunge determinate dimensioni.

Seeweb introduce le Istanze Spot proprio per rispondere a questa esigenza: permettere a sviluppatori, data scientist e aziende di utilizzare le medesime risorse hardware disponibili sui Cloud Server GPU on-demand, ma a un prezzo ridotto. La condizione è che il carico di lavoro sia progettato per tollerare l’eventuale revoca della macchina virtuale.

Il servizio non nasce come alternativa alle istanze tradizionali: rappresenta piuttosto uno strumento di ottimizzazione per attività flessibili, distribuibili e interrompibili. Si tratta di workload nei quali il risultato dell’elaborazione può essere salvato progressivamente, il lavoro ripreso su un’altra macchina oppure più nodi possono essere aggiunti e rimossi senza compromettere il funzionamento dell’applicazione.

Che cosa sono le Istanze Spot di Seeweb

Un’Istanza Spot Seeweb è una macchina virtuale creata utilizzando capacità infrastrutturale che, in quel momento, non è impiegata da istanze on-demand. Il provider può quindi mettere a disposizione tali risorse applicando condizioni economiche più convenienti.

Nel caso dell’offerta Seeweb, lo sconto è determinato quando l’istanza viene creata e resta invariato per tutta la sua durata. Non si tratta, pertanto, di un prezzo soggetto a variazioni continue o a un meccanismo d’asta: il cliente conosce fin dall’attivazione il costo orario applicato all’istanza.

La fatturazione continua a essere basata sull’utilizzo effettivo, secondo la modalità già prevista per i Cloud Server GPU. Seeweb indica infatti che le proprie istanze GPU possono essere create e rimosse secondo necessità, pagando soltanto le ore durante le quali restano attive.

La differenza principale rispetto a una normale istanza on-demand riguarda la garanzia di permanenza. Se la capacità utilizzata dall’Istanza Spot diventasse necessaria per soddisfare una richiesta on-demand, Seeweb può revocare l’istanza inviando un preavviso di 2 minuti. Al termine di tale intervallo, la macchina viene terminata automaticamente e le risorse tornano disponibili per assolvere le nuove richieste.

Due minuti possono non risultare sufficienti per completare un’attività lunga o trasferire dataset di grandi dimensioni. Sono però un margine utile per interrompere i processi in esecuzione, completare le ultime scritture e registrare lo stato dal quale riprendere successivamente il lavoro. La documentazione Seeweb specifica infatti che il preavviso è veicolato via mail e può essere rilevato programmaticamente interrogando mediante polling l’API spot-status.

Nessuna riduzione delle risorse hardware

Il prezzo più basso non deriva dall’assegnazione di una GPU meno potente o dalla limitazione artificiale delle prestazioni. Le Istanze Spot mantengono le caratteristiche hardware delle corrispondenti istanze on-demand: ciò che cambia è il livello di disponibilità garantito.

Il cliente può quindi sfruttare la stessa capacità di calcolo per AI, machine learning, computer vision, big data processing e applicazioni HPC. I Cloud Server GPU Seeweb sono concepiti per gestire calcoli complessi e attività altamente parallele, sfruttando, nelle configurazioni NVIDIA compatibili, anche le unità Tensor Core dedicate all’accelerazione dei workload AI.

La distinzione tra Spot e on-demand è dunque soprattutto operativa: l’istanza on-demand rimane disponibile finché il cliente decide di mantenerla attiva; quella Spot utilizza capacità temporaneamente libera e può essere recuperata dal provider quando sopraggiungono richieste con priorità superiore.

In cambio di tale flessibilità, il cliente ottiene una riduzione dei costi che può diventare rilevante nei progetti caratterizzati da un numero elevato di ore GPU.

Come sfruttare al massimo le Istanze Spot di Seeweb

Non tutte le applicazioni sono adatte a essere eseguite su un’Istanza Spot. Un database primario, un servizio transazionale o un’applicazione che deve rispondere senza interruzioni agli utenti richiedono risorse stabili: la revoca improvvisa del nodo potrebbe causare indisponibilità, perdita delle operazioni in corso o problemi di coerenza.

Lo scenario cambia quando il lavoro può essere suddiviso in unità indipendenti oppure ripreso da uno stato precedentemente salvato. Un esempio evidente è l’addestramento di modelli di intelligenza artificiale con checkpoint periodici.

Durante le attività di training, il sistema può memorizzare a intervalli regolari i pesi del modello, lo stato dell’ottimizzatore, l’avanzamento raggiunto e le altre informazioni necessarie per continuare l’elaborazione. Dopo la revoca di un’istanza, il processo può essere ripreso su un’altra macchina senza ricominciare dall’inizio.

Le Istanze Spot risultano adatte anche alle code batch, nelle quali ogni elemento rappresenta un’attività autonoma: conversione di file multimediali, rendering di scene, elaborazione di immagini, trasformazioni ETL, analisi di dataset o generazione di embedding. Se un worker scompare, il job non completato può tornare in coda ed essere assegnato a un altro nodo.

Lo stesso principio si applica ai worker stateless, che non conservano localmente informazioni indispensabili alla continuità del servizio. Le nuove macchine possono essere aggiunte per assorbire un picco di richieste e rimosse quando la domanda diminuisce, mentre lo stato applicativo resta su database, object storage o servizi esterni.

Tra gli altri impieghi possibili rientrano le pipeline CI/CD, le compilazioni massive, i test automatizzati, gli ambienti di staging temporanei e le attività di sperimentazione. In tutti questi casi, la disponibilità continua della singola macchina è meno importante della capacità del sistema di ricrearla rapidamente.

Il ruolo fondamentale dello storage persistente

La natura temporanea di un’Istanza Spot non implica che dataset, modelli e risultati debbano essere conservati sulla stessa macchina. Al contrario, per utilizzare efficacemente questa modalità è opportuno separare la capacità di calcolo dalla persistenza dei dati.

I file necessari alla ripresa del lavoro dovrebbero risiedere su uno storage che sopravvive alla terminazione dell’istanza. È il caso dei dataset di addestramento, dei checkpoint, degli artefatti prodotti dalle pipeline, dei log, dei modelli esportati e dei risultati intermedi.

L’istanza può quindi essere considerata un nodo di calcolo sostituibile: riceve il lavoro, legge i dati persistenti, completa una parte dell’elaborazione e salva frequentemente i risultati al di fuori dello storage locale della macchina virtuale. Quando viene avviata una nuova macchina, un processo di bootstrap può reinstallare le dipendenze, recuperare la configurazione e riprendere l’attività dall’ultimo stato valido.

La frequenza dei salvataggi deve essere scelta tenendo conto del costo computazionale del lavoro perduto. Un checkpoint ogni molte ore riduce le operazioni di scrittura, ma può costringere a ripetere una porzione consistente del training. Salvataggi troppo frequenti, al contrario, possono incidere sulle prestazioni e generare una quantità eccessiva di dati. La soluzione dipende dal tipo di modello, dalla durata dei singoli passaggi e dal valore economico del tempo GPU.

Convertire una macchina Spot e passare all’on-demand

Non tutti i carichi di lavoro restano temporanei per l’intera durata del progetto. Un esperimento può trasformarsi in un servizio da mantenere attivo; un modello in fase di addestramento può diventare improvvisamente prioritario; una pipeline può entrare in una fase nella quale l’interruzione non è più accettabile.

Per gestire questa evoluzione, Seeweb consente di promuovere un’Istanza Spot a istanza on-demand mentre è ancora attiva: in questo modo, la macchina sulla quale si sta lavorando non è più soggetta alla revoca prevista per le Spot. L’operazione non può essere effettuata quando il preavviso di terminazione fosse già partito.

La conversione permette di iniziare un’attività sfruttando il prezzo ridotto della modalità Spot e stabilizzarla quando le esigenze cambiano, senza dover necessariamente predisporre da zero una seconda istanza.

Con le Istanze Spot vogliamo offrire ai nostri clienti uno strumento in più per ottimizzare il rapporto tra prestazioni e costi, soprattutto nei progetti di AI e high performance computing.

Molti workload moderni sono progettati per essere distribuiti, resilienti e interrompibili.

In questi scenari è possibile ottenere un risparmio significativo senza rinunciare alle stesse risorse hardware disponibili nelle istanze on-demand, mantenendo la possibilità di convertirle in qualsiasi momento quando diventano critiche. — Marco Cristofanilli, Head of Cloud AI di Seeweb.

Finché la macchina resta in modalità Spot, non sono disponibili Template, Snapshot e piani Reserved. Tali funzionalità tornano utilizzabili dopo la promozione a istanza on-demand.

Un modello ibrido per bilanciare continuità e risparmio

Per molte infrastrutture, la soluzione più equilibrata consiste nel combinare un nucleo di risorse on-demand con capacità Spot aggiuntiva.

I nodi permanenti possono occuparsi del coordinamento, della coda, dei servizi di controllo e delle attività che non devono interrompersi. Le istanze temporanee possono invece essere utilizzate come worker, aumentando la capacità disponibile durante i picchi di elaborazione.

In una pipeline di machine learning, ad esempio, un’istanza on-demand può gestire orchestrazione, monitoraggio e storage dei metadati, mentre più nodi Spot eseguono training, preprocessing o valutazioni parallele. La revoca di uno dei worker non compromette l’intera piattaforma: il coordinatore assegna nuovamente il lavoro e, se necessario, richiede una nuova istanza.

Un’altra strategia consiste nel distribuire lo stesso carico su più macchine di dimensioni inferiori, evitando che l’interruzione di un singolo nodo cancelli una parte troppo ampia del lavoro.

Le nuove Istanze Spot ampliano quindi le possibilità offerte a chi utilizza i Cloud Server GPU Seeweb.

Le istanze on-demand restano la scelta naturale per i servizi continuativi e per le elaborazioni che non possono essere interrotte; le macchine Spot diventano invece uno strumento particolarmente interessante per assorbire picchi di calcolo, accelerare attività batch e aumentare la capacità disponibile senza sostenere il costo delle risorse permanenti.

In collaborazione con Seeweb