A dimensão do episódio chamou particularmente a atenção porque os sistemas não se limitaram a executar uma tarefa previamente definida
Uma experiência de cibersegurança da OpenAI acabou por revelar um cenário que a própria empresa considera preocupante: durante testes internos realizados em julho, agentes de Inteligência Artificial conseguiram contornar mecanismos destinados a mantê-los isolados da Internet e comprometer partes da infraestrutura da OpenAI e da plataforma Hugging Face.
Esse problema já conhecíamos, mas o The New York Times dá conta daquilo que pode ser uma nova polémica: é que a OpenAI permitiu a três investigadores de cibersegurança da METR e da Redwood Search que analisassem o caso, mas o acesso que lhes deu foi limitado.
A METR até elaborou um relatório de 91 páginas, mas nesse mesmo documento dá conta de que há mais partes da história que podem estar por contar. É que a OpenAI ditou às empresas de análise quais os termos da investigação, dando-lhes apenas uma semana para verificarem a situação na Hugging Face. De resto, a equipa externa só pôde estar presente nos escritórios de São Francisco durante poucos dias de julho e agosto.
Na Hugging Face, foram utilizadas credenciais expostas para aceder a diferentes componentes da infraestrutura da plataforma, incluindo sistemas na nuvem, repositórios de código e outros serviços.
A dimensão do episódio chamou particularmente a atenção porque os sistemas não se limitaram a executar uma tarefa previamente definida. Segundo a investigação da OpenAI, os agentes encontraram caminhos para continuar a operar fora do ambiente inicialmente previsto, explorando recursos disponíveis e encadeando diferentes formas de acesso. A empresa reconheceu posteriormente que tinha subestimado as capacidades de cibersegurança dos seus modelos.
A Hugging Face detetou a intrusão na sua infraestrutura de produção e descreveu o episódio como diferente de outros incidentes de segurança precisamente por ter sido conduzido, de ponta a ponta, por um sistema autónomo de agentes de IA.
A OpenAI foi posteriormente informada do incidente e as duas empresas colaboraram na investigação. Segundo a OpenAI, os acontecimentos não afetaram os dados dos seus clientes nem a disponibilidade dos seus produtos.
O caso tornou-se um alerta sobre os riscos associados a sistemas de IA cada vez mais autónomos, sobretudo quando conseguem executar código, utilizar ferramentas e procurar formas alternativas de atingir um objetivo.
Na sequência do incidente, a OpenAI anunciou o reforço das medidas de segurança e dos mecanismos de monitorização, tendo também interrompido determinadas execuções de modelos com acesso a ferramentas ou à Internet nos seus ambientes de investigação.