OpenAI publicó los primeros benchmarks de Jalapeño, su chip de inferencia

OpenAI publicó en la conferencia Hot Chips, el martes, los primeros resultados de benchmark de Jalapeño, su chip de inferencia propio. Probado en el benchmark InferenceX de SemiAnalysis, el sistema registró más tokens por usuario y más throughput por kilowatt que los procesadores de inferencia state-of-the-art disponibles hoy, según los resultados que presentó la empresa. El sistema de comparación es un Nvidia Blackwell.

Richard Ho, a cargo de hardware en OpenAI, llamó a los resultados "un avance de performance muy, muy significativo sobre el state of the art" en una press call. Describió a Jalapeño como capaz de servir más trabajo de IA por unidad de potencia y de responder más rápido: eficiente para atender muchos clientes y capaz de baja latencia a la vez.

Cómo está construido el chip

Hot Chips es la conferencia anual donde los grandes diseñadores de chips muestran sus arquitecturas en detalle. Es el punto donde un diseño deja de ser un anuncio y pasa a ser una especificación.

Jalapeño se anunció por primera vez el octubre pasado y se desarrolló en estrecha colaboración con Broadcom. OpenAI dice que sus propios modelos asistieron en el proceso de desarrollo, y la empresa planea convertir a Jalapeño en una plataforma multigeneracional, con productos, modelos, chips y memoria desarrollados en conjunto.

El foco de los benchmarks sale de ese enfoque full-stack. OpenAI apuntó a las fases de la inferencia que suelen ser cuello de botella: la fase de prefill y la comunicación entre componentes. En un post del blog donde presenta los resultados, la empresa explicó que el chip está diseñado para minimizar el movimiento de datos y los retrasos de comunicación, de modo que el estado del modelo, incluida la KV cache que se usa al generar la respuesta, se pueda colocar explícitamente y mantener local, mientras el sistema activa la combinación correcta de compute, memoria y red para cada fase de la inferencia.

Para un equipo que corre inferencia a escala, ese diseño se traduce en dos números que importan: el throughput por kilowatt, que mueve el costo de energía del datacenter, y los tokens por usuario, que mueven el tiempo de respuesta percibido.

Cuándo llega

Ho estima que el despliegue de Jalapeño arranca en cantidades muy chicas a fines de 2026, con un despliegue más importante en 2027. Para esa fecha, la comparación con Blackwell va a haber envejecido. Los números son una foto del hardware de inferencia de hoy, no una previsión del gap de dentro de un año.

Lo que se ve en los resultados es concreto: la arquitectura apunta a la KV cache y al movimiento de datos, justo las partes donde los aceleradores genéricos gastan energía moviendo estado. Lo que no está verificado: si el gap medido se sostiene contra la próxima generación de hardware de servidor. Los benchmarks son de OpenAI, corridos sobre una suite de benchmark de un tercero, y detalles como qué modelos se probaron o qué longitudes de contexto no estaban en la presentación.

Para un equipo que decide hoy el compute para workloads de inferencia, Jalapeño no cambia la decisión: todavía no está disponible en ninguna cantidad. Lo que cambia es el panorama a largo plazo. OpenAI ahora tiene su propia trayectoria de silicio para los workloads que sirve, y el costo por token de la inferencia self-hosted pasa a tener un segundo diseño que la empuje para abajo.