3D-GPT: nuovo strumento AI per generare scene 3D

Un nuovo sistema di intelligenza artificiale, chiamato “3D-GPT”, è in grado di creare scene 3D a partire da semplici descrizioni testuali. Il sistema è stato sviluppato da un team internazionale di ricercatori dell’Australian National University, dell’Università di Oxford e dell’Accademia di Intelligenza Artificiale di Pechino.

3D-GPT, presentato in uno studio su arXiv, permette di creare contenuti 3D in modo più efficace e naturale rispetto ai metodi tradizionali di modellazione 3D. Il sistema, infatti, sfrutta diversi agenti AI che si occupano di aspetti differenti della modellazione 3D a partire da un prompt di testo. Come spiegato nello studio, 3D-GPT è in grado di “scomporre le attività procedurali di modellazione 3D in segmenti gestibili e assegnare l’agente appropriato per ogni segmento”.

Gli agenti chiave includono un “task dispatch agent” che analizza le istruzioni di testo, un “conceptualization agent” che aggiunge i dettagli mancanti nella descrizione iniziale e un “modeling agent” che imposta i parametri e genera il codice per gestire software 3D come Blender.

Suddividendo il processo di modellazione e assegnando agenti AI specializzati, 3D-GPT è in grado di interpretare le richieste di testo, migliorare le descrizioni con ulteriori dettagli e infine generare risorse 3D che corrispondono a ciò che l’utente ha immaginato.

3D-GPT genera scene 3D realistiche basate su descrizioni testuali

Il sistema è stato testato su richieste come “una nebbiosa mattina di primavera, dove fiori baciati dalla rugiada punteggiano un prato lussureggiante circondato da alberi in erba“. 3D-GPT è stato in grado di generare scene 3D complete con una grafica realistica che rifletteva accuratamente gli elementi descritti nel testo.

Anche se la qualità della grafica non è ancora fotorealistica, i primi risultati suggeriscono che questo approccio basato su agenti è promettente per semplificare la creazione di contenuti 3D. L’architettura modulare potrebbe anche consentire di migliorare ciascun componente dell’agente in modo indipendente.

“Le nostre indagini empiriche confermano che 3D-GPT non solo interpreta ed esegue le istruzioni, fornendo risultati affidabili, ma collabora anche efficacemente con i progettisti umani“, scrivono i ricercatori.

Il sistema di intelligenza artificiale 3D-GPT, invece di costruire i modelli da zero, il sistema genera codice per controllare il software 3D esistente, come Blender o Maya. Questo permette al sistema di avere una base flessibile e adattabile, che può essere migliorata con il progredire delle tecniche di modellazione.

Le potenzialità di 3D-GPT

Come hanno dichiarato i ricercatori: “il nostro lavoro mostra il potenziale dei modelli di linguaggio nell’ambito della modellazione 3D, fornendo un framework di base per i futuri sviluppi nella generazione di scene e nell’animazione”.

Questa ricerca potrebbe avere un impatto rivoluzionario sul settore della modellazione 3D, rendendo il processo più veloce e accessibile. Con l’avvento del metaverso, in cui la creazione di contenuti 3D è fondamentale, strumenti come 3D-GPT potrebbero essere molto utili in vari settori, come i giochi, la realtà virtuale, il cinema e le esperienze multimediali.

Il sistema 3D-GPT è ancora in fase sperimentale e presenta alcune limitazioni, ma il suo sviluppo rappresenta un importante passo avanti nella modellazione 3D guidata dall’intelligenza artificiale e apre nuove possibilità per futuri progressi.