Qwen-CUA de Alibaba maneja software solo con capturas de pantalla

El equipo Qwen de Alibaba publicó el 3 de agosto Qwen-CUA, un agente de computer use nativo construido sobre un backbone Qwen mixture-of-experts de 397B-A17B. Según el technical report de 24 páginas, el modelo observa solo capturas de pantalla y actúa mediante eventos de teclado y mouse. No usa árboles DOM, ni metadatos de accesibilidad, ni APIs por tarea. El equipo plantea esta interfaz mínima como una que funciona igual en navegadores y aplicaciones de escritorio.

La interfaz: píxeles adentro, clics afuera

La mayoría de los agentes de computer use apalanca la estructura de la página: leen el DOM de un sitio, tiran de metadatos de accesibilidad o llaman a APIs de cada software, y recurren a los píxeles solo cuando no hay estructura. Qwen-CUA se queda sin todo eso. Su único canal de percepción es el flujo de capturas de pantalla y su espacio de acciones completo es teclado y mouse, con el esquema de acciones detallado en el apéndice del report.

Como la entrada son solo imágenes, el mismo modelo corre con el mismo protocolo sobre una pestaña del navegador, una aplicación de escritorio o un sistema legacy que no expone nada programático. El report describe el tradeoff de una interfaz pensada para humanos: el estado es parcialmente observable y no legible por máquina, las acciones requieren grounding en píxeles y los errores se acumulan en workflows largos.

Mantener 20 capturas en el contexto

Las tareas largas inflan la ventana de contexto porque cada paso suma una imagen. El scaffold de Qwen-CUA mantiene hasta 20 capturas activas. Cuando el historial visual supera ese presupuesto, el límite avanza de a 10 pasos y las capturas detrás se reemplazan por un placeholder de texto fijo. El razonamiento y las acciones de esos pasos quedan en la conversación, y las capturas recientes siguen siendo píxeles. El procedimiento es determinístico y no pide un modelo de resumen aparte.

El diseño tiene en cuenta la caché: como el límite avanza recién cada 10 pasos, los pasos 21 a 30 extienden el mismo prefijo de request en vez de reescribirlo, y el KV cache se reutiliza entre llamadas. El mismo operador de pliegue hace slicing de trayectorias en el entrenamiento: un episodio completo se renderiza como varias slices acotadas por contexto, cada una hereda el reward terminal del episodio, y solo contribuyen a la loss los tokens generados por el modelo.

Entrenamiento con una flota de 100.000 vCPUs

El report describe la infraestructura de entrenamiento en detalle. El equipo armó una flota de rollout sobre Alibaba Cloud ECS con acceso a casi 100.000 vCPUs y decenas de miles de entornos concurrentes. El pool de entornos combina servicios web mock controlables con aplicaciones de escritorio cotidianas, de long tail y profesionales.

Sobre esa base construyeron unas 40.000 tareas verificables que cubren operación de entornos, interacción con usuarios simulados y workflows de larga duración armados con lo que el report llama verifiable phase-state chaining, más trayectorias humanas desde desktops personalizados como supervisión complementaria.

La optimización usa rewards de resultado ejecutable, sobre el diseño de entornos y tareas de su trabajo anterior CUA-Gym. Soft Adaptive Policy Optimization, o SAPO, también un método del propio equipo, estabiliza las actualizaciones en secuencias largas de razonamiento y acción, y el slicing de trayectorias preserva el reward de nivel de episodio en historias cargadas de imágenes. El entrenamiento va por iteraciones: cada modelo resultante expone queries sin resolver y dominios débiles, que guían rerolls del teacher, nuevas trayectorias humanas y recalibración de las tareas RL para la corrida siguiente.

Los números

Todos los resultados siguientes son propios del equipo, medidos bajo lo que el report llama un protocolo nativo de computer use con teclado y mouse. Qwen-CUA supera a Qwen3.7 en la métrica de tarea de los ocho benchmarks.

En OSWorld-Verified llega a 86,2, contra 73,3 de Qwen3.7, 78,7 de GPT-5.5 y 83,4 de Claude Opus 4.8. En OSWorld 2.0, la completion binaria/parcial pasa de 2,5/22,5 con Qwen3.7 a 18,5/48,4. En RedTeamCUA, el benchmark adversarial, el éxito de ataques contra el agente baja de 36,6 a 16,4 en relación con Qwen3.7, mientras el task success mejora.

Escalar la misma receta a un modelo con más de un billón de parámetros totales da Qwen-CUA-Max, que lleva OSWorld-Verified a 87,6 y OSWorld 2.0 a 21,2/53,3.

Dónde lo deployean y dónde tropieza

El report incluye un deployment de navegador donde el agente opera la página activa con capturas de pantalla y acciones nativas de mouse y teclado, mostrando su trayectoria al usuario. Un showcase de punta a punta compra y configura una máquina virtual en la nube a través del navegador, pidiendo confirmación al usuario antes de operaciones con consecuencias.

Una sección del report merece atención: el experimento con Bash. Darle acceso a shell acorta las trayectorias de forma consistente, de 63,6 a 49,1 turnos promedio en Qwen-CUA, pero el task performance también baja, de 58,7 a 55,1. El equipo lo lee como un gap de optimización en el ruteo de herramientas, no como una limitación de la interfaz híbrida: los modelos todavía no aprendieron cuándo cambiar de píxeles a comandos, y una policy que elija el modality correcto por operación podría combinar la generalidad del computer use con la velocidad de la terminal.