Stability AI lancia generatore audio AI per smartphone

Stability AI rilascia Stable Audio Open Small, un nuovo generatore audio AI che funziona anche sugli smartphone. Oltre a funzionare sui dispositivi mobili, promette di battere ogni record di velocità, almeno secondo l’azienda.

Il generatore audio AI Stable Audio Open Small di Stability AI può creare musica sul telefono

Stable Audio Open Small nasce da una collaborazione tra Stability AI e Arm, il produttore di chip che realizza molti dei processori all’interno di tablet, telefoni e altri dispositivi mobili. La maggior parte dei generatori audio AI, come Suno o Udio, permettono già di creare musica, ma si basano sull’elaborazione cloud. Ciò significa che non possono essere utilizzati offline.

Stability sostiene che il set di addestramento di Stable Audio Open Small è composto interamente da brani provenienti dalle librerie audio royalty-free Free Music Archive e Freesound. Diversamente dai già citati Suno e Udio, che a quanto pare includono brani protetti da copyright, Stability evita i problemi legali legati alla proprietà intellettuale.

Stable Audio Open Small è un modello text-to-audio da 341 milioni di parametri, ed è ottimizzato per funzionare su CPU Arm. Progettato per generare rapidamente brevi campioni audio ed effetti sonori (ad esempio, riff di batteria e strumenti), il modello può produrre fino a 11 secondi di audio su uno smartphone in meno di 8 secondi.

I limiti da considerare

Il modello ha comunque dei limiti, in primis, supporta solo i prompt scritti in lingua inglese. Inoltre, non può generare voci realistiche o canzoni di alta qualità. Come avverte Stability, il generatore non funziona in modo ugualmente efficace su tutti gli stili musicali (è stato addestrato principalmente con musica di origine occidentale).

Un’altra potenziale complicazione per gli sviluppatori è che Stable Audio Open Small ha termini di utilizzo alquanto restrittivi. È gratuito per ricercatori, hobbisti e aziende con meno di 1 milione di dollari di fatturato annuo, ma gli sviluppatori e chi fattura oltre 1 milione di dollari sono tenuti a pagare la licenza enterprise di Stability.