Frame Forward di Adobe per modificare video intero da un fotogramma

Immaginiamo di editare un video dove una persona cammina attraverso la scena per 30 secondi. Ora immaginiamo di poterla cancellare dal primo fotogramma, uno solo, un singolo frame, e vederla sparire magicamente dall’intero video. Non frame per frame, non con maschere complicate che richiedono ore di lavoro certosino. Semplicemente modificando un fotogramma. l’AI fa il resto. Questa è l’idea di Adobe.

Frame Forward di Adobe per modificare un video intero, da un singolo fotogramma

Adobe Max, la conferenza annuale dove l’azienda mostra cosa bolle in pentola nei suoi laboratori, ha presentato una serie di strumenti sperimentali chiamati “sneaks” che fanno sembrare il video editing attuale primitivo come disegnare nelle caverne. Non sono prodotti finiti, ma offrono un assaggio di dove stiamo andando. E dove stiamo andando sembra un posto dove l’editing è più simile a dare istruzioni vocali a un assistente che a smanettare con timeline e livelli.

Il progetto più impressionante visivamente è Frame Forward, che risolve uno dei problemi più frustranti del video editing: rimuovere oggetti o persone dalle riprese. Attualmente, se si vuole eliminare qualcuno da un video si devono usare le maschere. Ciò significa, che bisogna tracciare manualmente il soggetto in ogni singolo fotogramma, o almeno in fotogrammi chiave, e sperare che il software faccia un buon lavoro nel riempire gli spazi vuoti.

Nella demo di Frame Forward, Adobe mostra una donna nel primo fotogramma di un video. L’editor la identifica, la seleziona, la rimuove. L’AI genera uno sfondo dall’aspetto naturale al suo posto, tipo riempimento contestuale di Photoshop ma per il video. E poi, ecco la magia, applica quella rimozione automaticamente all’intero video. La donna sparisce da tutti i fotogrammi, sostituita da uno sfondo coerente che sembra essere sempre stato lì.

Inoltre, è possibile anche aggiungere oggetti. Basta disegnare dove si vogliono mettere, descrivere cosa si vuole con un semplice prompt, un gatto nero, una macchina rossa, un dinosauro gigante, e l’AI li inserisce nel video. E non sono oggetti statici buttati lì a caso, sono sensibili al contesto. La demo mostra una pozzanghera generata che riflette il movimento di un gatto già presente nel filmato. L’AI capisce la fisica della scena e crea riflessi, ombre, interazioni che sembrano reali.

Light Touch: ridisegnare la luce come un pittore

Project Light Touch è l’altro strumento eccezionale. Permette di manipolare le fonti di luce nelle foto usando l’AI generativa. Non stiamo parlando di regolare luminosità e contrasto, quello lo facciamo da decenni. Stiamo parlando di cambiare completamente la direzione dell’illuminazione, far sembrare che lampade spente fossero accese, controllare la diffusione della luce e dell’ombra come se stesse spostando fisicamente le luci in una scena 3D.

La demo più spettacolare mostra una zucca illuminata dall’interno, con la luce che trasforma l’ambiente circostante da giorno a notte. È possibile anche controllare il colore delle fonti luminose, modificando il calore o creando effetti RGB vivaci.

Clean Take, corregge le pronunce senza registrare di nuovo

Project Clean Take affronta un problema che chiunque abbia mai editato audio o video conosce bene: l’errore nella registrazione perfetta. Dopo 20 riprese, quella che è tecnicamente migliore ha una pronuncia sbagliata. Normalmente si dovrebbe registrare di nuovo.

Clean Take usa i prompt AI per cambiare il modo in cui viene pronunciato il discorso. E fa anche qualcos’altro di straordinariamente utile, separa automaticamente i rumori di fondo in singole fonti. Quel rumore di traffico, quel ronzio dell’aria condizionata, quei passi in lontananza, vengono isolati così si può regolare o silenziare selettivamente senza eliminare l’audio complessivo. Per chi fa podcast, video YouTube, documentari, questa funzione può aiutare a risparmiare ore e ore di lavoro tedioso.

Gli altri progetti di Adobe

Gli sneaks includono anche:

• Project Surface Swap: cambia istantaneamente il materiale o la texture di oggetti e superfici. Quella giacca di pelle? Ora è velluto. Quel pavimento di legno? Diventa marmo. Senza dover rimodellare niente, solo scambiando la superficie.
• Project Turn Style: ruota oggetti nelle immagini come se fossero modelli 3D.
• Project New Depths: modifica fotografie come se fossero spazi 3D. L’AI capisce la profondità della scena e quando inserisci oggetti, sa automaticamente se devono essere parzialmente oscurati da quello che c’è davanti. È editing spaziale che rispetta le leggi della fisica visiva.

Ogni progetto risolve problemi specifici che gli editor affrontano quotidianamente, ma che fino ad ora richiedevano lavoro manuale intensivo o compromessi creativi.

Disponibilità

Purtroppo, questi sono esperimenti. Non sono disponibili pubblicamente, almeno per il momento. Molte funzioni attuali di Photoshop, come Distraction Removal e Harmonize, sono nate proprio come progetti in anteprima agli eventi Max precedenti. Quindi c’è una buona probabilità che alcune versioni di questi strumenti sperimentali arriveranno ai creativi.