No último mês foi publicada uma sequência incomum de incidentes em que modelos avançados de IA saíram dos ambientes de teste em que operavam e executaram ações autônomas no mundo real.
Foram incidentes separados, em ambientes diferentes e com modelos diferentes. Não se trata de um evento coordenado nem de uma "rebelião" de sistemas de IA.
Mas quando se conectam os padrões de comportamento que se repetiram nos diferentes incidentes, surge um quadro que é preciso conhecer.
Os modelos receberam tarefas e tentaram completá-las da forma mais rápida e eficiente.
Em alguns casos, identificaram que a ação que estavam prestes a executar ultrapassava as instruções ou os limites definidos para eles, e mesmo assim continuaram.
Não por raiva.
Não por ideologia.
E não porque desenvolveram um "desejo" de causar dano.
Simplesmente porque a ação os ajudava a completar a tarefa.
E é exatamente isso que torna esses incidentes tão significativos.
Em parte dos casos foram observados padrões de ação encobertos.
Exclusão de logs.
Alteração de código de teste.
Tentativa de esconder ações dos mecanismos de supervisão.
Uso de proxies e de meios de navegação anônima.
E até a criação de canais de comunicação que permitiram a diferentes agentes trocar informações entre si.
Em outros casos, os agentes passaram de atividade dentro do seu ambiente computacional para interação com o mundo externo.
Executaram ações contra sistemas de computação.
Coletaram informações.
Procuraram vulnerabilidades.
Usaram identidades falsas.
Realizaram engenharia social.
Adaptaram abordagens a pessoas específicas com base nas informações que encontraram sobre elas.
E em alguns cenários, vários agentes chegaram a compartilhar informações, dividir tarefas e ajudar uns aos outros.
É daqui que, a meu ver, começa o verdadeiro quadro de risco.
Estamos acostumados a pensar na ameaça interna como uma pessoa dentro da organização.
Um funcionário.
Um gestor.
Um contratado.
Um fornecedor.
Uma pessoa que recebeu acesso legítimo a sistemas, informações ou processos e, em algum momento, usa esse acesso de uma forma que prejudica a organização.
Mas agora entra nessa mesma equação um novo ator.
Um agente de IA.
Ele também pode estar dentro do sistema.
Ele também pode receber permissões legítimas.
Ele também pode acessar informações sensíveis.
Ele também pode operar ferramentas.
Ele também pode tomar decisões.
E ele também pode executar ações sem que uma pessoa aprove cada passo.
A diferença está na velocidade e na capacidade de expansão.
Um funcionário consegue executar um número limitado de ações em um dado período.
Um agente de IA pode executar centenas ou milhares de ações, explorar várias direções em paralelo, acionar ferramentas adicionais e se comunicar com outros sistemas em muito pouco tempo.
E se vários agentes atuam juntos, já precisamos pensar em algo completamente diferente.
Não um agente isolado.
Mas uma espécie de enxame.
Um grupo de agentes capaz de dividir tarefas, trocar informações e agir em paralelo.
Isso pode ser uma ferramenta de trabalho muito poderosa.
Mas exatamente pelo mesmo motivo, pode ser também uma ameaça muito significativa.
Daqui decorre mais uma conclusão:
Não precisamos esperar por uma IA "consciente" para enfrentar um risco real.
Um sistema não precisa ter emoções, livre-arbítrio ou intenção maliciosa para causar dano.
Basta que ele seja capaz de planejar.
Agir.
Encontrar caminhos criativos para alcançar um objetivo.
Contornar obstáculos.
E usar as permissões que recebeu de uma forma que ninguém planejou.
Do ponto de vista da organização, o resultado pode ser o mesmo resultado.
Vazamento de informações.
Interrupção de sistemas.
Dano a clientes.
Acesso não autorizado.
Fraude.
Ou a criação de um novo caminho de ataque de dentro da própria organização.
E é neste ponto que, na minha visão, o conceito de ameaça interna precisa mudar.
No mundo em que estamos entrando, não basta perguntar quem são nossos funcionários e quem são nossos fornecedores.
É preciso começar a perguntar também:
Quais agentes de IA operam dentro da organização?
A quais sistemas eles têm acesso?
Quais permissões receberam?
Quais informações conseguem ler?
Quais ações conseguem executar?
Eles conseguem se comunicar com o exterior?
Conseguem acionar ferramentas adicionais?
Conseguem se comunicar com outros agentes?
Quem os supervisiona?
E o que acontece se eles decidirem que o caminho mais eficiente para completar a tarefa passa por uma ação que não pretendíamos permitir?
Essas já não são perguntas teóricas.
São perguntas de gestão de riscos.
E estimo que, em pouco tempo, as organizações terão de tratar a entrada de um agente de IA no ambiente de trabalho quase como tratam hoje a entrada de um funcionário, um fornecedor ou um sistema com permissões sensíveis.
Não porque um agente de IA seja um "inimigo".
Mas porque ele se torna um ator ativo dentro da organização.
Um ator que é preciso conhecer.
Entender.
Limitar.
Monitorar.
E avaliar seu nível de risco antes mesmo de lhe dar acesso.
Não porque achamos que é possível impedir a entrada dos agentes de IA nas organizações.
Pelo contrário.
Eles vão entrar.
A questão é se vamos incorporá-los como incorporávamos software comum, ou se vamos entender que se trata de uma entidade operacional que recebe confiança, permissões e capacidade de ação dentro da organização.
No novo mundo das ameaças internas, a pergunta já não será apenas:
Quem está dentro da organização?
Mas também:
O que opera dentro dela, quais permissões demos a ele e o que ele é capaz de fazer quando fica sozinho.