Un ricercatore di Anthropic ha deciso di lasciare l’azienda perché non vuole partecipare allo sviluppo di modelli AI che potrebbe sterminare l’umanità. Una ex collega ha confermato che c’è una probabilità superiore al 10%. I pericoli maggiori derivano dall’auto-apprendimento e dal problema dell’allineamento (che nessuna azienda ha ancora risolto, come evidenziato da OpenAI).
Le aziende AI scommettono con le nostre vite
Jacob Coxon ha lasciato OpenAI all’inizio dell’anno per passare ad Anthropic, nota per il suo impegno nella sicurezza dei modelli. Il ricercatore ritiene tuttavia che nessuna azienda possa sviluppare in modo responsabile un’AI capace di superare le prestazioni umane in svariate attività, senza un intervento governativo o un rallentamento coordinato dell’intero settore.
Anche Anthropic partecipa alla corsa e rilascia modelli sempre più potenti (gli ultimi sono Mythos 5.1 e Fable 5.1). Come OpenAI, anche l’azienda guidata da Dario Amodei suggerisce di rallentare lo sviluppo, ma senza un accordo globale non avverrà mai. Vengono spesi miliardi di dollari e tutte le aziende vogliono ottenere un profitto (la situazione peggiorerà con la quotazione in Borsa).
Coxon ha quindi deciso di lasciare anche Anthropic, dopo aver partecipato all’addestramento dei modelli. Con una serie di post su X ha evidenziato i rischi:
Nessuna delle due aziende sta agendo in modo responsabile. Stanno correndo a tutta velocità verso una superintelligenza capace di auto-migliorarsi, scommettendo sulle nostre vite. Presto ci saranno sistemi sovrumani capaci di violare qualsiasi cosa, rivoluzionare ogni settore e acquisire potere e risorse reali.
Il ricercatore afferma che gli umani perderanno il controllo dell’AI, esattamente come succede nel film Terminator, entro il 2030:
Chi sviluppa l’AI crede sinceramente che essa possa ucciderci tutti entro la fine del decennio. Non si tratta di una trovata pubblicitaria. Semmai, molti dirigenti e ricercatori di alto livello scelgono con cura le parole da usare con la stampa per apparire ragionevoli, ma in privato sento le stesse persone esprimere timore. Nessun’altra attività umana comporta un tale livello di pericolo.
Senza un coordinamento tra aziende AI, l’unica soluzione è imporre il blocco dello sviluppo per legge. Una ex collega (Evan Hubinger), che lavora ancora per Anthropic, ha confermato le paure di Coxon:
Jacob ha ragione: crediamo davvero, e sinceramente, che l’AI possa causare l’estinzione dell’umanità! Personalmente, ritengo che la probabilità sia superiore al 10% nel prossimo decennio. Credo che Anthropic stia facendo del suo meglio, ma non abbiamo ancora un piano per risolvere il problema dell’allineamento della superintelligenza, né siamo chiaramente sulla strada giusta per riuscirci.
Come direbbe la Sora Lella: “Annamo bene, proprio bene“…