Microsoft Orca 2: piccolo modello IA che sfida gli LLM

Microsoft sfrutta i modelli di OpenAI nei suoi servizi, tra cui Copilot e Bing Image Creator, ma sviluppa anche modelli proprietari. Uno di essi è Orca, giunto recentemente alla seconda generazione. Si tratta di un SLM (Small Language Model) in grado di competere con i LLM (Large Language Model) più noti, come Llama 2 di Meta.

Orca 2 sfida i modelli più grandi

Orca, annunciato nel mese di giugno, è un modello con 13 miliardi di parametri che imita il processo di ragionamento dei modelli linguistici di grandi dimensioni (GPT-4 in particolare). Orca 2 è la versione aggiornata che offre prestazioni superiori a quelle dei modelli di simili dimensioni e paragonabili a quelle di modelli fino a 10 volte più grandi.

Orca 2 è disponibile in due versioni (7 e 13 miliardi di parametri). Entrambi sono stati creati ottimizzando e personalizzando i corrispondenti modelli Llama 2. Gli SLM, come Orca 2, non possono fornire risposte a domande complesse, come gli LLM. Microsoft ha quindi adottato varie tecniche in base all’attività.

Per valutare le prestazioni sono stati utilizzati 15 benchmark per un totale di circa 100 attività e 36.000 prompt unici. Tra le attività ci sono comprensione del linguaggio, risoluzione di problemi matematici e identificazione di contenuti tossici. I risultati dimostrano che Orca 2 supera non solo i corrispondenti modelli Llama 2, ma anche il modello Llama 2 con 70 miliardi di parametri.

Orca 2 conferma che si possono ottenere risultati simili a quelli dei LLM, utilizzando diverse tecniche di ragionamento e identificando la soluzione ottimale per varie attività. Un SLM richiede inoltre meno risorse di calcolo a vantaggio dei consumi e dell’impatto ambientale.

I 5 prodotti TOP del Black Friday di Amazon