OpenAI annuncia la modalità Ultrafast per GPT-5.6 Sol

OpenAI ha annunciato la modalità Ultrafast per GPT-5.6 Sol. Permette di aumentare fino a 14 volte la velocità di elaborazione tramite API, ottenendo fino a 750 token al secondo in output grazie alla tecnologia di Cerebras. L’accesso in anteprima è riservato però ad un gruppo limitato di partner. GPT-5.6 Sol è diventato famoso perché agenti AI basati sul modello hanno effettuato un attacco informatico contro i server di Hugging Face.

Come sfruttare la modalità Ultrafast di GPT-5.6 Sol

Cerebras è un’azienda californiana che sviluppa semiconduttori, supercomputer e software di intelligenza artificiale. La modalità Ultrafast di GPT-5.6 Sol viene fornita con la sua architettura Wafer-Scale Engine. L’inferenza dei modelli di grandi dimensioni è limitata dalla larghezza di banda della memoria delle GPU, in quanto i pesi del modello devono essere trasferiti ripetutamente tra la memoria on-chip e la memoria off-chip per generare token successivi all’interno di una risposta.

Cerebras elimina questo inefficiente trasferimento di dati integrando 44 GB di SRAM su ogni chip. I pesi rimangono sul chip e i token fluiscono senza interruzioni attraverso i livelli del modello. Questa soluzione ha permesso di incrementare fino a 14 volte la velocità di generazione delle risposte.

OpenAI ha elencato cinque scenari che possono beneficiare della modalità Ultrafast:

• Risposta agli incidenti e affidabilità: quando un sistema critico si guasta, analizza i log delle applicazioni, le recenti modifiche al codice e i report degli ingegneri per identificare la causa probabile e contribuire a preparare una soluzione mentre l’interruzione è ancora in corso
• Ricerca e sicurezza finanziaria: analizza i segnali di mercato, valuta le transazioni e identifica attività sospette mentre le condizioni sono ancora in evoluzione
• Assistenza clienti e comunicazione vocale: risolve i problemi complessi dei clienti in tempo reale senza interrompere la conversazione, anche quando trovare la soluzione richiede più passaggi o sistemi
• Commercio: risponde alle domande sui prodotti, verifica la disponibilità, personalizza i consigli e risolve i problemi di pagamento mentre l’acquirente sta ancora decidendo, prima che l’esitazione si trasformi in un carrello abbandonato
• Ricerca e sperimentazione in tempo reale: trasforma la ricerca che prima richiedeva una lunga sessione notturna in una sessione di lavoro interattiva, consentendo ai team di testare un’idea, esaminare i risultati, adattare l’approccio e condurre un altro esperimento senza interrompere il flusso di lavoro

La modalità Ultrafast è disponibile per un numero limitato di clienti. Le aziende interessate possono richiedere l’accesso tramite un form online.