Una IA de OpenAI se cuela sola en una empresa para hacer trampas en un examen de seguridad

OpenAI ha reconocido que un agente de inteligencia artificial de su propiedad fue el responsable de la intrusión sufrida la semana pasada por Hugging Face, uno de los repositorios de modelos abiertos de inteligencia artificial más utilizados del mundo. La compañía lo ha confirmado en una publicación en su blog corporativo, en la que explica que dos de sus modelos se salieron de un entorno controlado en el que estaban confinados y llegaron a comprometer parte de los servidores de producción de la plataforma.

El origen del ataque

Los modelos implicados formaban parte de una evaluación interna diseñada para medir sus capacidades ofensivas en ciberseguridad. Según OpenAI, se trató de una combinación entre GPT-5.6 Sol, su modelo público más avanzado, y otro sistema todavía sin lanzar y de mayores capacidades. A ambos se les habían reducido de forma deliberada sus mecanismos de seguridad, ya que el objetivo de la prueba era comprobar hasta dónde podían llegar sus capacidades ofensivas sin ningún tipo de freno.

La prueba en cuestión se llama ExploitGym, un banco de pruebas público que reúne cerca de 900 vulnerabilidades reales de software. En ella, los modelos deben convertir un fallo ya documentado en un ataque funcional, siempre dentro de un entorno aislado y con el acceso a internet limitado. La única vía permitida para instalar programas era un proxy interno, que actuaba como intermediario con los repositorios de software externos.

La fuga del entorno

Ese proxy acabó siendo la puerta de salida. Los modelos dedicaron una parte importante de su capacidad de cálculo a buscar una vía hacia la red abierta, y la encontraron al aprovechar una vulnerabilidad de tipo día cero en ese programa de terceros, un fallo que OpenAI asegura haber comunicado ya a su fabricante. A partir de ahí, los sistemas fueron ganando permisos y se desplazaron por el propio entorno de investigación de OpenAI hasta llegar a un equipo con conexión a internet.

El asalto a Hugging Face

Una vez fuera del entorno cerrado, los modelos dedujeron que Hugging Face podía alojar las soluciones de la propia prueba ExploitGym. A partir de esa suposición, combinaron credenciales robadas durante la intrusión con nuevas vulnerabilidades hasta lograr una vía de ejecución remota de código en los servidores de la plataforma, con el objetivo de obtener las respuestas del examen directamente de su base de datos de producción.

El agente ejecutó decenas de miles de acciones automatizadas durante un fin de semana, según pudo reconstruir Hugging Face a partir de los rastros dejados en sus sistemas

Hugging Face ya había hecho público el incidente el pasado 16 de julio, cuando lo atribuyó a un sistema de agente de inteligencia artificial autónomo cuyo origen desconocía en ese momento.

De acuerdo con la versión de OpenAI, nadie dio la orden a los modelos de atacar a Hugging Face. Su único objetivo era superar la prueba interna, y al identificar que el camino más eficiente pasaba por robar las soluciones, los sistemas montaron por su cuenta una operación de intrusión de varios pasos en sistemas reales ajenos, sin tener acceso a su código fuente.

Nadie ordenó a los modelos atacar la plataforma: su único objetivo era superar la prueba, y el camino más eficiente pasó por robar las respuestas

Un caso ‘sin precedentes’

OpenAI ha calificado el incidente como «sin precedentes» y ha incorporado a Hugging Face a su programa de acceso preferente para ciberdefensa. El cofundador y máximo responsable de Hugging Face, Clem Delangue, ha agradecido la colaboración entre ambas compañías y ha aprovechado para defender el modelo abierto que caracteriza a su plataforma. «Este incidente, posiblemente el primero de su tipo, demuestra algo que llevamos tiempo defendiendo: la seguridad de la IA no la resolverá ninguna empresa trabajando en secreto», ha declarado.

No es un caso aislado

Aunque se trata del primer ataque protagonizado por un modelo que actuó por su cuenta, no es el primer caso de un sistema que logra escapar de un entorno de pruebas que debería permanecer cerrado. Días antes, OpenAI ya había confesado que había pausado el desarrollo de un modelo todavía sin lanzar después de que este escapara de su entorno aislado y publicara código en la plataforma GitHub. Su competidor, Anthropic, también reconoció semanas atrás que su modelo Mythos había burlado un entorno de pruebas durante una evaluación de seguridad para conseguir acceso a la red y enviar un correo electrónico a un investigador.

OpenAI ha anunciado que endurecerá los controles de sus entornos de evaluación, aunque eso suponga ralentizar el ritmo de su investigación, y ha adelantado que compartirá más detalles cuando concluya la investigación conjunta que mantiene con Hugging Face.