Luma Ray3 Modify: genera video da fotogramma iniziale e finale

Luma ha appena lanciato Ray3 Modify, un modello che promette di modificare filmati esistenti mantenendo intatta l’interpretazione degli attori. Si può fornire immagini di riferimento dei personaggi, trasformare l’aspetto di un attore in qualcos’altro, e l’AI preserva tutto il resto, movimenti, tempistica, espressività. Oppure si può dare al modello un fotogramma iniziale e uno finale, e lui genera il video di transizione tra i due.

Ray3 Modify risolve un problema concreto, quando si usa l’AI per modificare video o aggiungere effetti, di solito si perde qualcosa dell’interpretazione umana originale. I movimenti diventano meno fluidi, le espressioni meno credibili, e il risultato finale sembra artificiale, anche quando non dovrebbe esserlo. Luma sostiene che il suo nuovo modello evita questa trappola.

Ray3 Modify trasforma gli attori in personaggi

Con Ray3 Modify, basta fornire un’immagine di riferimento del personaggio e il modello trasforma l’aspetto dell’attore nel filmato originale. L’attore diventa il personaggio, ma la sua interpretazione resta intatta: movimenti, linea dello sguardo, espressività emotiva.

Questo sistema consente anche di preservare dettagli come costumi, somiglianza e identità durante le riprese. Gli studi possono catturare una performance umana e poi modificarla in post-produzione per adattarla a qualsiasi contesto narrativo, senza dover rifare le riprese. Un attore può recitare una scena una volta, e poi quella performance può essere riutilizzata in contesti diversi cambiando solo l’ambiente visivo o l’aspetto del personaggio.

Fotogrammi iniziale e finale: l’AI riempie il vuoto

L’altra funzione interessante di Ray3 Modify è la possibilità di fornire un fotogramma iniziale e uno finale per creare un video di transizione. Immaginiamo di avere due immagini statiche: nella prima il personaggio è seduto, nella seconda è in piedi dall’altra parte della stanza. Ray3 Modify genera il video che collega quei due punti, creando il movimento intermedio.

Questo è utile per dirigere transizioni senza dover pianificare ogni singolo fotogramma, o per controllare il comportamento dei personaggi mantenendo la continuità tra le scene.

Amit Jain, co-fondatore e CEO di Luma AI, ha spiegato il problema che Ray3 Modify cerca di risolvere: I modelli video generativi sono incredibilmente espressivi, ma anche difficili da controllare. Possono generare cose sorprendenti, ma spesso non si può dire esattamente cosa si vuole.

Disponibile su Dream Machine

Ray3 Modify è disponibile attraverso Dream Machine, la piattaforma di Luma. L’azienda compete con Runway e Kling nel settore sempre più affollato della generazione video AI. Il lancio arriva sulla scia di un round di finanziamento sostanzioso da 900 milioni di dollari, guidato da Humain, società di AI di proprietà del Fondo di investimento pubblico dell’Arabia Saudita, annunciato a novembre. Anche investitori storici come a16z, Amplify Partners e Matrix Partners hanno partecipato.