Dopo l'addio a OpenAI, Leike passa ad Anthropic

All’inizio di questo mese, il ricercatore Jan Leike si è dimesso da OpenAI, prima di rilasciare dichiarazioni pubbliche in cui criticava l’approccio superficiale dell’azienda guidata da Altman. In particolare, Leike riteneva che OpenAI non stesse dando sufficiente priorità agli aspetti di sicurezza e alle potenziali conseguenze negative delle tecnologie IA che stava sviluppando.

Dopo aver lasciato OpenAI, Jan Leike è stato assunto da Anthropic, la startup diretta concorrente di OpenAI. Qui Leike guiderà un nuovo team “Superalignment“, che si dedicherà specificamente allo sviluppo di AI sicure e controllabili dall’uomo (concetto chiamato “allineamento” in ambito AI).

I'm excited to join @AnthropicAI to continue the superalignment mission!

My new team will work on scalable oversight, weak-to-strong generalization, and automated alignment research.

If you're interested in joining, my dms are open.

— Jan Leike (@janleike) May 28, 2024

Secondo una fonte informata, Jan Leike riporterà direttamente a Jared Kaplan, Chief Science Officer dell’azienda e responsabile di tutta la ricerca. Inoltre, i ricercatori di Anthropic che già lavorano sulla supervisione scalabile (per sviluppare metodi per monitorare e controllare il comportamento delle AI su larga scala, in modi prevedibili e desiderabili per l’uomo), passeranno sotto la guida di Leike man mano che il suo team crescerà e si strutturerà.

La somiglianza con il team Superalignment di OpenAI

La missione del team è simile a quella del team Superalignment di OpenAI, recentemente sciolto, anche se l’azienda ha appena annunciato di averne formato un nuovo team per la sicurezza guidato da Sam Altman.

Il team Superalignment, di cui Leike era co-direttore, aveva l’ambizioso obiettivo di risolvere le principali sfide tecniche per il controllo delle IA entro 4 anni, in particolare delle AGI. Tuttavia, il team si è spesso trovato ostacolato dalla leadership di OpenAI, che non ne supportava pienamente la missione e l’approccio.

Anthropic è più orientata alla sicurezza rispetto a OpenAI

Anthropic ha spesso cercato di posizionarsi come più orientata alla sicurezza rispetto a OpenAI. L’amministratore delegato Dario Amodei, in passato è stato vicepresidente della ricerca di OpenAI. Secondo quanto riferito, Amodei ha deciso di lasciare da OpenAI in seguito a un disaccordo sulla direzione dell’azienda, in particolare sul crescente orientamento commerciale di OpenAI.

Amodei ha portato con sé una serie di ex dipendenti di OpenAI per lanciare Anthropic, tra cui l’ex responsabile delle politiche di OpenAI Jack Clark. Con l’arrivo di Jan Leike e la creazione del nuovo team di superallineamento, Anthropic sembra voler rafforzare ulteriormente il proprio impegno nella ricerca sulla sicurezza delle AI e nell’allineamento delle IA superintelligenti.