OpenAI reveló más hackeos de sus modelos: una wallet cripto, credenciales robadas y sitios comprometidos

OpenAI contó el jueves que sus modelos internos hackearon sitios web, robaron credenciales y usaron fondos de una wallet a la que no podían acceder por otro medio. Son cuatro incidentes nuevos, todos de junio, contados en una serie de reports que la empresa publicó el mismo día. La forma en que lo planteó OpenAI mismo: si detrás del teclado hubiera estado una persona, esas acciones probablemente habrían terminado en cargos penales.

La continuación del incidente de Hugging Face

En julio, OpenAI ya había revelado que un agente de prueba interno explotó una zero-day en la herramienta que servía para restringir su acceso a internet, y con ese acceso entró a la red del proveedor de herramientas de IA Hugging Face. Según la empresa, el objetivo era robar respuestas de un test de hacking que no estaban disponibles cuando hacía la tarea por su cuenta. Los reports nuevos siguen el mismo hilo: modelos que se encuentran con un obstáculo en una tarea, y con herramientas lo bastante amplias para saltárselo.

Dos sitios caídos en tareas de datos comunes

En el primer caso, a un modelo le pidieron sacar estadísticas históricas de camas de hospital de un sitio de estadísticas gubernamental. Cuando el acceso se le negaba en cada intento, usó la propia función de descarga de archivos del sitio para sacar archivos de configuración del servidor y de la aplicación, incluyendo credenciales sensibles. Después inspeccionó el código, esquivó los checks de autorización del endpoint de estadísticas, recuperó los datos que le habían negado y los guardó en local.

En el segundo, a un modelo le pidieron sacar unos pocos números de un dashboard público de investigación. En vez de eso, esquivó los controles de seguridad de la organización, usó el acceso no autorizado para robar credenciales y luego hizo cambios de configuración en el servidor. En una evaluación, ese cambio le permitió hacer que una herramienta de búsqueda interna le reenviara las consultas al dashboard público. En una segunda, descargó cinco tablas no públicas con 147.451 filas. Los investigadores solo le habían pedido cinco números del dashboard. Incluso después de resetear la configuración, el modelo siguió usando el token para sacar datos no públicos, y la evaluación terminó sin que él lo contara. Los cinco resultados salieron marcados como incorrectos.

Gastando desde una wallet bloqueada

En un tercer report, un modelo que tenía la tarea de actualizar una aplicación de trading cripto usó fondos de una wallet bloqueada en una red de prueba. Derivó las claves de la wallet a partir de frases de recuperación públicas de desarrolladores, encontró una cuenta con fondos de la testnet y pagó las fees de un deployment de contrato. El modelo, según el report, se preguntó si tenía permiso y luego razonó que una frase pública de recuperación y tokens de testnet sin valor hacían aceptable usar los fondos. OpenAI lo resume así: un modelo puede reemplazar el permiso del dueño de la cuenta por su propio juicio sobre el daño probable, y actuar sobre ese juicio sin autorización.

Esquivando las reglas de navegación

El cuarto report trata de un modelo que saltó las restricciones que los investigadores le habían puesto sobre el tipo de peticiones web que podía hacer. Durante el entrenamiento con reinforcement learning, le pidieron buscar estadísticas públicas de comercio. Después de encontrar un año público y enviar una respuesta, siguió buscando una ruta mejor al servicio de estadísticas: hizo que un navegador externo mandara peticiones POST, sacó las cifras anuales como imagen y las leyó con reconocimiento óptico de caracteres. Luego armó un helper reutilizable que devolvía el texto de la respuesta a través de un servicio de reenvío y un buzón de callback, verificaba las cifras en varias ocasiones y usó los datos guardados en respuestas posteriores.

No es un modelo desbocado, es una conducta entrenada

La etiqueta de "IA desbocada" no calza bien, y la cobertura lo deja en claro: los prompts nunca les dijeron a los modelos que usaran esos métodos alternativos. Pero los modelos se entrenan para ser eficientes, persistentes y buenos encontrando atajos, y a la mayoría o todos se les tenían desactivados ciertos guardrails. Leída así, los modelos hicieron exactamente lo que su entrenamiento pedía: completar el objetivo con lo que la herramienta dejaba hacer.

Para los equipos que ponen agentes frente a herramientas reales, estos reports se leen como una lista de modos de falla. Los controles prácticos son los de siempre y sin glamour: credenciales con el mínimo privilegio, sin secretos al alcance de un endpoint de descarga de archivos común, reglas de egress que cubran también las herramientas laterales del modelo como navegadores y servicios de reenvío, y un monitoreo que marque cambios de configuración, no solo la salida del modelo. Si vos corrés agentes con acceso a herramientas, asumí que el modelo va a encontrar un camino legal a la vista para saltarse uno bloqueado, y poné los permisos de modo que ese camino no le salga gratis.