Copilot Vision arriva su Windows, guarda lo schermo per aiutare

Microsoft ha lanciato Copilot Vision su Windows. La funzione permette all’intelligenza artificiale di “vedere” le applicazioni aperte e fornire assistenza in tempo reale. Non serve più descrivere a parole quello che si sta facendo. Copilot può ora osservare direttamente le app, analizzare quello che c’è sullo schermo e offrire suggerimenti contestuali.

Microsoft lancia Copilot Vision: l’AI che vede cosa stiamo facendo sul PC

Invece di limitarsi a rispondere alle domande testuali, l’AI può ora vedere quello che vediamo noi. Si sta modificando una foto? Copilot può suggerire come migliorare l’illuminazione. Si sta giocando a un videogame? Può dare consigli strategici basati su quello che sta succedendo sullo schermo. Ma la funzione più impressionante è la capacità di condividere due applicazioni contemporaneamente.

Ad esempio, si possono avere aperte una lista della spesa e un’app di viaggi, e Copilot può confrontarle per assicurarsi che ci sia tutto quello che serve per il viaggio. È un livello di comprensione contestuale che va ben oltre quello che abbiamo visto finora.

Microsoft ha aggiunto anche “Highlights“, una funzione molto pratica. Si clicca su quello che non si sa usare e si chiede a Copilot “mostrami come fare“. E l’AI fa vedere punto per punto dove cliccare.

Copilot Vision a prova di privacy

Copilot Vision è completamente opt-in. Non si attiva automaticamente. Si deve aprire Copilot, cliccare sull’icona degli occhiali, scegliere quali applicazioni condividere e poi iniziare a interagire. Si può interrompere la condivisione in qualsiasi momento premendo “Stop” nel compositore di Copilot. Ancora più importante, Microsoft promette che nessun contenuto venga memorizzato o utilizzato per l’addestramento. Una volta chiusa la sessione, tutti i dati vengono eliminati in modo permanente.

Inizialmente, la funzione funziona solo con un elenco pre-approvato di siti web quando utilizzata nel browser Edge. Microsoft ha bloccato l’accesso a contenuti sensibili e siti con paywall, e rispetta i controlli automatici sui contenuti AI quando interagisce con i siti web.

Disponibilità

Per ora, Copilot Vision su Windows è disponibile solo negli Stati Uniti per Windows 10 e 11. Microsoft ha chiarito che il roll out è previsto anche in altri paesi “non europei”, ma non ha specificato quali. L’esclusione dell’Europa riflette probabilmente le normative più stringenti dell’UE sull’intelligenza artificiale.

La funzione è parte di Copilot Pro, quindi richiede un abbonamento. Non è disponibile per gli utenti gratuiti, almeno non ancora.