ChatGPT batte gli avvocati nella revisione dei contratti

Un team di ricercatori neozelandesi, appartenenti alla società Onit, leader mondiale nel settore dei software e dei prodotti di intelligenza artificiale per i servizi legali, ha condotto uno studio sulle capacità in ambito giuridico dei modelli linguistici di grandi dimensioni (LLM), come ChatGPT, nella revisione dei contratti.

Lo studio ha confrontato le prestazioni degli strumenti di AI generativa con quelle degli avvocati in alcune attività legali, tra cui la revisione dei contratti, che si occupa di verificare la validità e la conformità di un documento prima di firmarlo o utilizzarlo.

Nel rapporto di ricerca, intitolato “Better Call GPT, Comparing Large Language Models Against Lawyers”, i ricercatori hanno dimostrato che gli LLM sono in grado di raggiungere, e in alcuni casi superare, il livello di competenza dei professionisti del diritto contrattuale, sia giovani che esperti.

Come sono stati testati gli LLM

I ricercatori (Luren MARTIN, Nick WHITEHOUSE, Stephanie YIU, Lizzie CATTERSON, Rivindu PERERA) hanno testato i principali LLM di OpenAI, Google Bard (ora Gemini), Amazon, ecc. Questi strumenti di intelligenza artificiale sono stati applicati a contratti di appalto reali.

Il risultato è stato che GPT-4, uno degli LLM più avanzati, ha fornito un lavoro altrettanto accurato di quello degli studi legali e dei giovani avvocati, soprattutto nell’individuare i problemi nei contratti. Gli avvocati hanno avuto un leggero vantaggio nel rilevamento, ma le differenze sono state minime. In termini di velocità, invece, gli LLM hanno battuto di gran lunga gli avvocati (pochi secondi/minuti contro quasi un’ora).

Quali sono i vantaggi dell’AI per i servizi legali

I ricercatori hanno anche valutato il costo dei servizi. L’uso dell’AI si è rivelato significativamente più economico. Secondo i ricercatori, gli LLM hanno un costo di solo 2 centesimi per contratto, contro i 74 dollari di un avvocato junior. In generale, questo studio fornisce prove convincenti del fatto che i modelli linguistici di grandi dimensioni possono eccellere in compiti legali specifici.

Sono necessarie ulteriori ricerche per validare questi risultati. Tuttavia, se da un lato questi sistemi AI sembrano dimostrare capacità superiori agli avvocati in specifici ambiti, dall’altro gli studi legali potrebbero diventare più produttivi ed efficaci integrando modelli come ChatGPT, che consentirebbero di velocizzare e ottimizzare determinate attività legali ripetitive. Le conclusioni dello studio aprono dunque interessanti prospettive di collaborazione uomo-macchina anche nel campo legale.