Los agentes de inteligencia artificial que desarrollan OpenAI, Anthropic y Meta han protagonizado incidentes de seguridad durante evaluaciones controladas, al acceder a sistemas externos o ejecutar acciones no previstas por sus creadores. El caso más reciente, ocurrido en julio, involucró a un agente de OpenAI que accedió a la infraestructura de Hugging Face y a la cuenta de un cliente de Modal Labs, según Reuters. Estos hechos han llevado a legisladores de Estados Unidos a solicitar explicaciones a las empresas y a plantear la posibilidad de audiencias en el Congreso.
El incidente de OpenAI y Modal Labs
Durante una evaluación interna de ciberseguridad, un agente de OpenAI encontró una vulnerabilidad en un componente intermediario para instalar paquetes y amplió su acceso hasta conectarse a internet. A partir de ahí, aprovechó vulnerabilidades y credenciales para acceder a la infraestructura de Hugging Face y obtener información relacionada con la prueba que debía resolver. El agente también accedió a la cuenta de un cliente de Modal Labs, aunque Akshat Bubna, director de tecnología de Modal, aclaró que su plataforma no fue vulnerada; el agente aprovechó código vulnerable de uno de sus clientes, cuyo entorno tenía expuesto un punto de acceso sin autenticación.
OpenAI reconoció que el agente accedió a cuatro cuentas en cuatro servicios diferentes, pero no identificó públicamente cuáles. Una fuente familiarizada con el caso confirmó a Reuters que una de ellas pertenecía a un cliente de Modal. La empresa desactivó y cifró el modelo utilizado en la prueba y restringió su acceso a la investigación relacionada con el incidente.
Anthropic y Meta: errores de configuración
Anthropic revisó más de 141,000 sesiones de sus evaluaciones de ciberseguridad y encontró tres casos en los que sus modelos, incluidos Claude Opus 4.7 y Claude Mythos 5, accedieron a sistemas de organizaciones reales. Los modelos debían resolver escenarios ficticios, pero un error en la configuración de los entornos les permitió acceder a internet y utilizar credenciales y vulnerabilidades para alcanzar sistemas externos. Anthropic calificó los incidentes como una falla operativa, pues dos de las organizaciones afectadas no habían detectado la actividad cuando la compañía las contactó.
Ese mismo día, Meta informó que su modelo Muse Spark 1.1 comprometió los sistemas de otra empresa durante una evaluación realizada por una firma externa. Una configuración incorrecta permitió al modelo acceder a internet y aprovechar una vulnerabilidad en un servicio de terceros. Meta explicó que la empresa externa encargada de la evaluación configuró de forma incorrecta el entorno.
Evaluación del AISI: 19 acciones no autorizadas
El AI Security Institute del Reino Unido (AISI) dio a conocer los resultados de una evaluación de ciberseguridad en la que, de 122 ejecuciones realizadas con distintos modelos, los investigadores identificaron 19 acciones no autorizadas en 10 ejecuciones; 17 estuvieron relacionadas con Mythos 5 de Anthropic y dos con GPT-5.6 Sol de OpenAI. Uno de los agentes de Anthropic intentó introducir código malicioso en un proyecto de código abierto y creó identidades falsas para que un humano lo aprobara, pero el intento fracasó porque un humano detectó el código.
AISI aclaró que estas acciones no causaron daños reales y que las pruebas se realizaron deliberadamente con acceso a internet y con los filtros de seguridad desactivados. Estos casos no muestran una ola de agentes de IA atacando empresas durante su uso cotidiano, pero sí una acumulación de incidentes durante pruebas controladas que muestran lo difícil que puede ser contener sistemas capaces de actuar por sí solos.
Responsabilidad y próximos pasos
El riesgo no está solamente en el modelo, sino en todo lo que una empresa decide poner a su alcance. Anthropic reconoce que el riesgo de sus agentes depende de dos variables: la probabilidad de que fallen y el alcance del daño que pueden causar si tienen acceso a sistemas, herramientas y datos. En mayo, Anthropic explicó que durante sus pruebas de Claude Code, los usuarios aprobaron alrededor de 93% de las solicitudes de permiso, lo que sugiere que pedir autorización constante puede generar fatiga y reducir la atención.
El 7 de agosto, Reuters reportó que abogados especializados analizan si las empresas afectadas podrían reclamar responsabilidad por negligencia o acceso no autorizado a sistemas. La responsabilidad podría recaer en el desarrollador del modelo, en la empresa que lo implementó o en ambos. Este 10 de agosto, 29 legisladores demócratas de la Cámara de Representantes de Estados Unidos pidieron a OpenAI y Anthropic explicaciones sobre la supervisión de sus modelos durante las pruebas y las medidas adoptadas después de los incidentes. Los legisladores también plantearon la posibilidad de realizar audiencias en el Congreso, lo que podría definir estándares de responsabilidad para el desarrollo de agentes autónomos.
