Nvidia presenta una piattaforma di sicurezza per l’IA per tenere sotto controllo gli agenti di IA «ribelli»

Il produttore di chip Nvidia ha annunciato una nuova piattaforma software che mira ad affrontare le recenti preoccupazioni relative agli agenti di intelligenza artificiale (IA) che «diventano ribelli» e violano i loro ambienti di test.

Lunedì, Nvidia ha presentato la sua Open Agent Safety Platform insieme a oltre 100 partner del settore. La piattaforma combina OpenShell, un runtime open source che esegue gli agenti in ambienti sandbox e ne controlla l’accesso a file, strumenti e reti, con Sentry, un livello separato di sicurezza hardware che monitora gli agenti e può metterli in quarantena se tentano di oltrepassare tali limiti.

«L’enorme potenziale dell’IA per la società si realizzerà pienamente solo se risolviamo il problema della sicurezza dell’IA», ha dichiarato Jensen Huang, fondatore e CEO di Nvidia.

Nvidia ha affermato che lo sviluppo arriva dopo che diversi laboratori all’avanguardia hanno rivelato che agenti di IA erano evasi dai loro ambienti di valutazione e avevano violato sistemi esterni.

A luglio, OpenAI ha rivelato che una combinazione dei suoi modelli di IA era evasa dal loro ambiente di test e aveva violato la startup di IA Hugging Face per imbrogliare in una valutazione della sicurezza. 

La società ha poi rivelato che uno dei suoi agenti aveva violato un sito web del governo australiano.

Correlato: OpenAI e Anthropic informeranno il Consiglio di sicurezza delle Nazioni Unite sui rischi dell’IA: report