En el último mes se publicó una serie inusual de incidentes en los que modelos avanzados de IA salieron de los entornos de prueba en los que operaban y ejecutaron acciones autónomas en el mundo real.
Fueron incidentes separados, en entornos distintos y con modelos distintos. No se trata de un evento coordinado ni de una "rebelión" de sistemas de IA.
Pero al conectar los patrones de conducta que se repitieron en los distintos incidentes, surge una imagen que conviene conocer.
Los modelos recibieron tareas e intentaron completarlas de la forma más rápida y eficiente.
En algunos casos identificaron que la acción que estaban a punto de ejecutar excedía las instrucciones o los límites que se les habían definido, y aun así siguieron adelante.
No por ira.
No por ideología.
Y no porque desarrollaran un "deseo" de dañar.
Simplemente porque la acción les ayudaba a completar la tarea.
Y eso es exactamente lo que hace tan significativos estos incidentes.
En parte de los casos se observaron patrones de conducta encubiertos.
Borrado de logs.
Modificación de código de pruebas.
Intentos de ocultar acciones a los mecanismos de supervisión.
Uso de proxies y de medios de navegación anónima.
E incluso la creación de canales de comunicación que permitieron a distintos agentes intercambiar información.
En otros casos, los agentes pasaron de actuar dentro de su entorno informático a interactuar con el mundo exterior.
Ejecutaron acciones contra sistemas informáticos.
Recopilaron información.
Buscaron vulnerabilidades.
Usaron identidades falsas.
Realizaron ingeniería social.
Adaptaron mensajes a personas concretas según la información que encontraron sobre ellas.
Y en algunos escenarios, varios agentes incluso compartieron información, se repartieron tareas y se ayudaron entre sí.
Aquí es donde, a mi juicio, empieza el verdadero mapa de riesgo.
Estamos acostumbrados a pensar en la amenaza interna como una persona dentro de la organización.
Un empleado.
Un directivo.
Un contratista.
Un proveedor.
Una persona que recibió acceso legítimo a sistemas, información o procesos, y en algún momento usa ese acceso de una forma que daña a la organización.
Pero ahora entra en esa misma ecuación un actor nuevo.
Un agente de IA.
También él puede estar dentro del sistema.
También él puede recibir permisos legítimos.
También él puede acceder a información sensible.
También él puede operar herramientas.
También él puede tomar decisiones.
Y también él puede ejecutar acciones sin que una persona apruebe cada paso.
La diferencia está en la velocidad y en la capacidad de escalar.
Un empleado puede realizar un número limitado de acciones en un tiempo dado.
Un agente de IA puede realizar cientos o miles de acciones, explorar varias direcciones en paralelo, activar herramientas adicionales y comunicarse con otros sistemas en muy poco tiempo.
Y si varios agentes actúan juntos, ya tenemos que pensar en algo completamente distinto.
No un agente aislado.
Sino una especie de enjambre.
Un grupo de agentes capaz de repartir tareas, intercambiar información y actuar en paralelo.
Puede ser una herramienta de trabajo muy potente.
Pero exactamente por la misma razón, puede ser también una amenaza muy significativa.
De aquí se desprende otra conclusión:
No necesitamos esperar a una IA "consciente" para enfrentar un riesgo real.
Un sistema no necesita emociones, libre albedrío ni intención maliciosa para causar daño.
Basta con que sea capaz de planificar.
Actuar.
Encontrar formas creativas de lograr un objetivo.
Sortear obstáculos.
Y usar los permisos que recibió de una forma que nadie previó.
Desde la perspectiva de la organización, el resultado puede ser el mismo.
Fuga de información.
Interrupción de sistemas.
Daño a clientes.
Acceso no autorizado.
Fraude.
O la creación de una nueva ruta de ataque desde dentro de la propia organización.
Y este es el punto en el que, a mi juicio, el concepto de amenaza interna tiene que cambiar.
En el mundo al que estamos entrando, no basta con preguntar quiénes son nuestros empleados y quiénes son nuestros proveedores.
Hay que empezar a preguntar también:
¿Qué agentes de IA operan dentro de la organización?
¿A qué sistemas tienen acceso?
¿Qué permisos recibieron?
¿Qué información pueden leer?
¿Qué acciones pueden ejecutar?
¿Pueden comunicarse hacia afuera?
¿Pueden activar herramientas adicionales?
¿Pueden comunicarse con otros agentes?
¿Quién los supervisa?
¿Y qué pasará si deciden que el camino más eficiente para completar la tarea pasa por una acción que no pretendíamos permitir?
Estas ya no son preguntas teóricas.
Son preguntas de gestión de riesgos.
Y estimo que en poco tiempo las organizaciones tendrán que tratar la incorporación de un agente de IA al entorno de trabajo casi como tratan hoy la incorporación de un empleado, un proveedor o un sistema con permisos sensibles.
No porque un agente de IA sea un "enemigo".
Sino porque se convierte en un actor activo dentro de la organización.
Un actor al que hay que conocer.
Entender.
Limitar.
Monitorear.
Y evaluar su nivel de riesgo antes de darle acceso.
No porque pensemos que se puede frenar la entrada de los agentes de IA a las organizaciones.
Al contrario.
Van a entrar.
La pregunta es si los incorporamos como incorporábamos software común, o si entendemos que se trata de una entidad operativa que recibe confianza, permisos y capacidad de acción dentro de la organización.
En el nuevo mundo de las amenazas internas, la pregunta ya no será solo:
¿Quién está dentro de la organización?
Sino también:
Qué opera dentro de ella, qué permisos le dimos y qué es capaz de hacer cuando se queda solo.