Volver a Modelos LLM

OpenAI abre al público su Decisions API sobre GPT-6 Luna

OpenAI sacó la Decisions API de la beta el 22 de octubre y la abrió al público sobre GPT-6 Luna, con un endpoint dedicado. La API apunta a una tarea chica: preguntas con respuesta acotada, esas clasificaciones, ruteos y scorings pequeños que una app o un agente hace decenas de veces dentro de un workflow. Según OpenAI, responde esas preguntas hasta 10 veces más rápido que GPT-6 Luna a través de la Responses API, y trabaja con texto, imágenes y datos estructurados.

La apuesta del producto es simple. Cada una de esas llamadas, en soledad, es trivial. A escala, su latencia y su costo se acumulan más rápido que los de cualquier llamada grande de un solo modelo.

Tres tipos de respuesta

Definís una pregunta y sus respuestas posibles, y le pasás el contexto como texto, imágenes o JSON nativo. La API devuelve uno de tres tipos de respuesta. Un predicate devuelve una probabilidad entre 0 y 1 de que se cumpla una condición, por ejemplo si una foto de un producto muestra daños. Un choice devuelve uno de los valores que vos definís, con las probabilidades por opción y un score de confianza. Un score evalúa el input contra un rubro ordenado y devuelve el promedio ponderado de los niveles.

Desde la beta, OpenAI sumó prompt caching para contexto reutilizado, JSON nativo, imágenes dentro de las instrucciones de la pregunta, y duplicó el límite de preguntas por request a 400. La residencia de inferencia está disponible en EE. UU. y en la UE, y la empresa dice que agregó capacidad en varias regiones de Asia para bajar aún más la latencia.

Los números de los clientes, con atribución

La mayoría de las cifras de rendimiento del anuncio viene de clientes midiendo sus propios workloads, y son concretas. Box dice que la API le cortó el tiempo de selección de ruta unos 5 veces en una evaluación de 30 certificados de seguro, con la misma precisión que la Responses API. Datadog reporta una p95 40 veces más rápida que los modelos frontier que compara, y usa Decisions para medir el riesgo de comandos de shell generados por agentes antes de ejecutarlos. Ramp dice que la atribución de costos de su uso de IA corre 4 veces más rápido y 30% más barato que con GPT-6 Luna, sin perder precisión. Sierra la corre con p95 por debajo de 280 ms, unos 3x más rápido y 90% menos costo por llamada que su enfoque anterior. Speak, que arma apps de aprendizaje de idiomas, reporta que la integración con GPT-Live bajó el tiempo hasta la siguiente acción más de 90%, de 1,4 segundos a 0,13.

Ninguna de esas cifras fue reproducida de forma independiente. Cada una es la medición de la propia empresa sobre su propio tráfico, y esa es la forma honesta de leer la lista.

OpenAI también la corre adentro. El equipo dots la usa para reducir los tiempos de respuesta de su app, el equipo de finanzas personales categoriza descripciones de transacciones, y el de comunicaciones clasifica la cobertura de noticias por temas y puntúa si refuerza o desafía sus narrativas clave.

Voz: Decisions dentro de GPT-Live

La integración nativa con GPT-Live es la novedad más nueva. Durante una sesión de voz en vivo, los updates del transcript pueden disparar una decisión, y la sesión emite un event que la aplicación lee. El ejemplo de OpenAI elige la expresión facial de un avatar según el último mensaje del usuario. Un agente de soporte puede usar el mismo mecanismo para decidir si pregunta, rutea o escala un caso.

Precio, y a quién le conviene

La Decisions API cuesta USD 0,10 por millón de tokens de entrada, y la entrada cacheada cuesta USD 0,01 por millón. No hay cargo por tokens de salida, y eso importa cuando la respuesta es un número o una sola opción. Las escrituras en cache vienen en tiers de 30 minutos y 12 horas, y el Zero Data Retention está disponible para clientes elegibles.

El contexto competitivo es el dato de fondo. Jev, el modelo de Vercel enfocado en decisiones que este sitio cubrió en octubre, llegó al 35% de los equipos de pago del gateway en dos semanas. El d1-ultra de Liquid AI se vende como un modelo de decisiones que devuelve probabilidades en vez de tokens. Que OpenAI entre a esa cancha con un endpoint dedicado y un precio solo por entrada la convierte en una opción real de la categoría.

Si tu app hace llamadas chicas de alto volumen, sobre todo clasificación y ruteo, el paso práctico es apuntar una decisión recurrente al Decisions Playground, medirla contra tu modelo actual con tus propios ejemplos, y recién ahí derivar el tráfico de producción. Las cifras de velocidad y costo del anuncio son de OpenAI y de sus propios clientes. El que tiene que cruzar la barra es tu workload.

Fuente: openai.com

Más noticias

Volver a Modelos LLM

¿Tenés algo en mente?

Empecemos a hablar