OpenAI costruisce un kill switch per fermare gli agenti ribelli entro 35 secondi

OpenAI ha costruito un sistema in grado di interrompere l’accesso di un esperimento di ricerca sull’IA all’output del modello, dopo diverse rivelazioni secondo cui quest’anno i suoi modelli hanno agito oltre le proprie istruzioni.

In un post sul blog pubblicato lunedì, OpenAI ha definito il sistema “Control Room”, un sistema centralizzato che monitora i carichi di lavoro dei modelli nella propria infrastruttura di ricerca e li interrompe rapidamente quando emergono problemi di sicurezza.

«Man mano che i nostri modelli diventano più potenti e i rischi associati alla sicurezza diventano maggiori, è sempre più essenziale poter rilevare potenziali problemi e fermare rapidamente i modelli quando necessario», ha dichiarato l’azienda.

L’annuncio arriva dopo che OpenAI ha reso noti diversi incidenti verificatisi quest’anno, durante i quali modelli di ricerca hanno agito al di fuori delle proprie istruzioni nelle valutazioni. A luglio, l’azienda ha dichiarato che i suoi modelli avevano eluso un ambiente di test limitato e violato Hugging Face per barare in una valutazione di sicurezza.

A ottobre, ha rivelato che un modello di ricerca aveva utilizzato senza autorizzazione un portafoglio di criptovalute per pagare il deployment di smart contract usando Ether su una testnet, omettendo poi la spesa dal riepilogo finale.

Attualmente Control Room copre i carichi di lavoro di ricerca interni di OpenAI, come esperimenti di addestramento, valutazioni ed elaborazione dei dati.

Funziona assegnando a ogni lavoro di ricerca un identificatore, che il motore di inferenza verifica prima di generare l’output del modello. Se una persona o un sistema di monitoraggio automatico ordina di interrompere il lavoro, Control Room revoca la relativa autorizzazione, bloccando ogni ulteriore output anche se il programma di ricerca sottostante continua a funzionare, secondo OpenAI.

OpenAI ha dichiarato che le autorizzazioni memorizzate nella cache potrebbero ritardare l’arresto fino a 35 secondi. Il sistema è inoltre progettato per rifiutare nuove richieste se Control Room non è disponibile.

Articolo correlato: DeepSeek sviluppa un agente di IA che richiede meno intervento umano: rapporto