Llama 3
Llama 3 è l’ultima generazione di grandi modelli linguistici (LLM) open source di Meta, rilasciata nell’aprile 2024. Rappresenta un notevole progresso rispetto alle versioni precedenti, stabilendo nuove prestazioni all’avanguardia per LLM a 8 miliardi e 70 miliardi di parametri.
Le principali innovazioni di Llama 3 includono un’architettura di modello migliorata con un vocabolario token più efficiente di 128K, query attention raggruppata per un’inferenza più rapida e l’apprendimento su sequenze fino a 8.192 token. Anche i dati di pre-addestramento sono stati notevolmente ampliati a oltre 15 trilioni di token da fonti pubbliche, compresi più dati non in inglese per abilitare le future capacità multilingue.
L’addestramento massivamente parallelo su fino a 24.000 GPU con alta efficienza ha permesso di scalare a dimensioni di modello senza precedenti oltre i 400 miliardi di parametri.
Le versioni rilasciate da 8B e 70B dimostrano risultati all’avanguardia in benchmark standard e valutazioni “real world” in aree come ragionamento, codifica, risposta a domande aperte e completamento di attività. Si prevede che Llama 3 acquisirà ulteriori capacità come la multimodalità, il supporto multilingue, finestre di contesto più lunghe e prestazioni complessive migliori quando verranno rilasciate dimensioni di modello più grandi.
Llama 3 enfatizza lo sviluppo responsabile dell’AI, con miglioramenti del filtro contenuti Llama Guard, nuovi strumenti come Code Shield per la generazione di codice sicuro e linee guida complete per le pratiche di implementazione sicura. I modelli sono resi disponibili in open source per favorire un ecosistema guidato dalla comunità per la ricerca, le applicazioni e gli strumenti.
Meta posiziona Llama 3 come motore principale degli assistenti AI leader come Meta AI, consentendo allo stesso tempo la personalizzazione tra i casi d’uso attraverso tecniche come il fine-tuning. Come fondamenta open source per la strategia di intelligenza artificiale generativa di Meta, Llama 3 mira a dare il via alla prossima ondata di innovazione nelle capacità e nelle pratiche responsabili dell’AI.