L'IA che fa parlare il Tom Hanks di Forrest Gump in giapponese

Cinema e IA: così Tom Hanks parla giapponese

Un'intelligenza artificiale per un approccio inedito al doppiaggio delle pellicole cinematografiche: è quanto proposto da Flawless AI.
Un'intelligenza artificiale per un approccio inedito al doppiaggio delle pellicole cinematografiche: è quanto proposto da Flawless AI.

Sappiamo tutti bene come la mancata sincronizzazione tra il labiale di un attore e quanto pronunciato dal suo doppiatore in un'altra lingua possa rovinare l'esperienza di coinvolgimento offerta da un film. C'è chi ha pensato di risolvere il problema facendo ricorso all'intelligenza artificiale. È il caso di Flawless AI, realtà fondata dal regista britannico Scott Mann proprio con questo obiettivo.

Flawless AI per il doppiaggio nel cinema

La tecnologia messa a punto, battezzata TrueSync, non è poi così diversa rispetto a quella alla base dei deepfake, capace di intervenire in modo selettivo e coerente su una porzione dei fotogrammi, per alterare elementi specifici, in questo caso le labbra. Il risultato è parecchio convincente, almeno stando alle prime demo rilasciate. Una di queste vede il Tom Hanks di Forrest Gump recitare in giapponese.

Qui sotto la stessa scena, ma in spagnolo.

Scott Mann ha avuto creare un'intelligenza artificiale di questo tipo dopo aver visto i risultati poco soddisfacenti, in termini qualitativi, ottenuti con le versioni internazionali di “Bus 657 (Heist)”, pellicola d'azione del 2015 con protagonista Robert De Niro che lo ha visto dietro la macchina da presa. Queste le sue parole affidate alla redazione di Reuters.

Odio il doppiaggio, così com'è. Bisogna cambiare così tanti dettagli per provare a sincronizzare i dialoghi. Si sostituiscono parole che registi e attori hanno pensato in modo profondo. Ci si mette alla ricerca di un altro termine che possa andar bene, ma non accade mai.

Il regista ha basato il proprio lavoro su un whitepaper di Christian Theobalt del Max Planck Institute for Informatics. Da verificare se e in che modo il sistema prenderà piede tra gli addetti ai lavori nel mondo del cinema. Stando alle previsioni, la prima pellicola a farne uso arriverà sul grande schermo già il prossimo anno.

Fonte: Reuters
Link copiato negli appunti

Ti potrebbe interessare

Link copiato negli appunti