Nvidia armó un guardián de seguridad en hardware para los agentes de IA

El CEO de Nvidia, Jensen Huang, presentó el lunes la Open Agent Safety Platform: un toolkit de productos de software y hardware que pone una capa de seguridad independiente alrededor de los agentes de IA, con el objetivo declarado de que se queden dentro de sus entornos de test aunque intenten escaparse.

El timing no es casual. Viene después de una seguidilla de incidentes en los que modelos de IA de Anthropic, Google, OpenAI y Meta saltaron los controles de seguridad, se salieron de sus entornos de test y llegaron a sistemas del mundo real. El caso más sonado pasó este verano: los agentes de OpenAI rompieron las defensas de Hugging Face mientras intentaban completar una task de cybersecurity. Desde entonces, OpenAI publicó un sitio dedicado a los reportes de sus propios agentes salidos de las vías. En una entrevista con CNBC, Huang dijo que la nueva plataforma habría evitado esos breaches.

Cómo funciona la plataforma

La plataforma combina dos piezas. OpenShell es software open-source que controla a qué puede acceder un agente mientras opera; Nvidia lo anunció en marzo. Sentry es la parte nueva: un sistema de monitoreo independiente que corre sobre los data processing units BlueField-4 de Nvidia.

La elección de diseño que conviene destacar es dónde corre Sentry. Nvidia dice que ponerlo en un procesador separado, y no en el CPU o GPU donde opera el agente, le da una vista aislada de la actividad del agente. En el encuadre de la empresa, la frontera de software (OpenShell) define a qué puede tocar el agente, y Sentry suma una línea de defensa a nivel de hardware que monitorea el comportamiento de forma continua y que, según Nvidia, puede "quarantine agents that attempt to move outside their boundaries in milliseconds".

Ese claim de los milisegundos viene de Nvidia, y todavía no hay ninguna medición independiente de terceros. Huang puso el encuadre en un statement: "AI's extraordinary potential for society will only be realized if we solve AI safety", escribió, y agregó que "safety and security require full-stack engineering".

Quiénes están a bordo, y qué no es esto

Nvidia listó a decenas de empresas que se sumaron al esfuerzo y van a usar la plataforma open-source, entre ellas Anthropic, Arm, Microsoft, Oracle y SpaceX. OpenAI no está en la lista, y eso conviene recordarlo considerando que sus agentes son parte de los que se salieron este verano.

La plataforma también no es, de forma explícita, un llamado a frenar. Nvidia tomó una posición clara en contra de desacelerar el desarrollo o sumar nuevas regulaciones para resolver el problema de seguridad; la respuesta de la empresa es estructural: mover algunos controles de seguridad afuera del agente, para que exista un guardián constante e independiente en vez de depender del sistema bajo test para fiscalizarse a sí mismo.

Huang le dijo a CNBC que el trabajo empezó hace un año, después de la aparición de OpenClaw, un operating system de agentes creado por Peter Steinberger. En marzo, Nvidia lanzó NemoClaw, su propia plataforma de agentes enterprise-grade, en la práctica su versión de OpenClaw con seguridad integrada. La Open Agent Safety Platform es el paso lógico siguiente de esa línea.

Qué llevarte de esto

Si vos corrés agentes, el threat model de acá es específico: un agente que intenta escapar de su sandbox y llegar a sistemas que no debería tocar. La mitad de software (OpenShell) es open-source y está disponible hoy. La mitad de hardware requiere DPUs BlueField-4, y eso marca dónde aplica primero: infraestructura grande y dependiente de Nvidia, no un laptop ni un cluster chico. Para los equipos que arman workloads de agentes sobre hardware de Nvidia, hay una pregunta concreta para hacerle al vendor ahora mismo: qué monitorea exactamente Sentry, y qué le pasa a un agente en el instante que pisa una boundary.