Gemini capisce da solo cosa si sta guardando sullo schermo

Fino a oggi, per chiedere a Gemini qualcosa su ciò che si sta visualizzando sullo smartphone Android, servivano almeno due passaggi: aprire l’assistente e toccare “Chiedi informazioni sullo schermo”. Ma Google sta testando una nuova funzione che potrebbe semplificare tutto. Gemini sarà in grado di capire da solo quando si sta facendo una domanda relativa a ciò che si vede sullo schermo, senza bisogno di istruzioni manuali.

Gemini deduce automaticamente il contesto dello schermo, come funziona la nuova opzione

Nella versione 16.37.46.sa.arm64 dell’app Google è stata individuata una nuova impostazione chiamata “Contesto schermo“. Una volta attivata, Gemini potrà accedere automaticamente ai contenuti visibili sullo schermo, dedurre il contesto e rispondere in modo più preciso. Apparirà un messaggio come “Recupero dei contenuti dell’app…” seguito da un avviso che spiega cosa è appena successo, utile se l’attivazione è stata involontaria.

A prova di privacy, serve il consenso dell’utente

Google non vuole che Gemini sbirci sullo schermo senza permesso. Per questo, l’accesso ai contenuti visivi sarà subordinato a due autorizzazioni: quella per gli screenshot e quella per il contesto schermo. Solo se entrambe sono attive, Gemini potrà “guardare” e rispondere alle domande in modo più fluido. Al momento si tratta di un’interfaccia ancora in fase di sviluppo, lo dimostra anche il nome “gemini” scritto in minuscolo, ma che dovrebbe rendere l’interazione molto più naturale.

Gemini diventa più intuitivo

Se Google riuscirà a migliorare il riconoscimento del contesto, potremo dire addio ai passaggi inutili sullo schermo, e ottenere risposte più veloci e precise. Un piccolo cambiamento che potrebbe fare una grande differenza nell’uso quotidiano.