Claude 3 en tres niveles: Haiku, Sonnet y Opus

Anthropic anunció el 4 de marzo de 2024 la familia de modelos Claude 3, dividida en tres niveles en orden ascendente de capacidad: Claude 3 Haiku, Claude 3 Sonnet y Claude 3 Opus. Opus y Sonnet estaban disponibles desde el lanzamiento en claude.ai y por la API de Claude, que la empresa pasó a general availability en 159 países al mismo tiempo; Haiku iba a llegar poco después.

Tres niveles, tres precios

La división por niveles es el corazón práctico del anuncio. Los tres modelos salen con un context window de 200K tokens, y los precios por millón de tokens (input / output) son:

Claude 3 Opus: 15 / 75 dólares
Claude 3 Sonnet: 3 / 15 dólares
Claude 3 Haiku: 0,25 / 1,25 dólares

Anthropic ubica cada nivel por tipo de workload: Opus para tareas complejas y abiertas (revisión de investigación, análisis avanzado de gráficos y mercados, coding interactivo), Sonnet para workloads enterprise de alto volumen (RAG y búsqueda sobre grandes bases de conocimiento, automatización de ventas, code generation), y Haiku para respuestas casi instantáneas (soporte en vivo, traducción, moderación de contenido). Según la empresa, los tres modelos también aceptan inputs de más de 1 millón de tokens para clientes selectos que necesiten ese margen extra.

Los números de los benchmarks

Anthropic dice que Opus supera a los modelos competidores en la mayoría de los benchmarks comunes de evaluación, entre ellos MMLU (conocimiento de nivel universitario), GPQA (razonamiento de nivel posgrado) y GSM8K (matemática básica), y que la familia completa mejoró en conversación en idiomas no ingleses, code generation y análisis y proyecciones.

En precisión, la empresa probó los modelos contra un conjunto de preguntas factuales complejas que apuntan a las debilidades conocidas de los modelos actuales, clasificando las respuestas en correctas, incorrectas (alucinaciones) o "no sé". Por los números de Anthropic, Opus duplicó la tasa de respuestas correctas frente a Claude 2.1 y a la vez bajó el nivel de respuestas erróneas. La nota al pie del anuncio conviene tenerla en cuenta: los ingenieros que corren estas evaluaciones optimizan prompts y few-shot samples, y reportaron puntajes más altos para un modelo nuevo de GPT-4T.

Velocidad, visión y recall

Tres áreas de capacidad llaman la atención para uso en producción:

Velocidad. Anthropic afirma que Haiku puede leer un paper de investigación denso en información de unos 10.000 tokens, con gráficos, en menos de tres segundos, y que Sonnet es 2x más rápido que Claude 2 y Claude 2.1 en la gran mayoría de los workloads, con mayor capacidad.
Visión. Todos los modelos Claude 3 procesan fotos, gráficos, tablas y diagramas técnicos. La empresa destaca que algunos de sus clientes enterprise tienen hasta el 50% de su conocimiento en formatos como PDFs, flowcharts o slides de presentación.
Recall en contexto largo. En la prueba "needle in a haystack" (medir si el modelo recupera un dato enterrado en un corpus grande), Anthropic reporta a Opus con una precisión superior al 99%: en algunos casos el modelo hasta señaló que la "aguja" parecía insertada artificialmente en el texto.

Menos refusals, un rating de seguridad

Según Anthropic, los modelos Claude 3 se niegan significativamente menos a responder prompts inofensivos que rozan los guardrails, y las puntuaciones de bias mejoraron en el benchmark BBQ frente a los modelos anteriores. La familia se mantiene en AI Safety Level 2 (ASL-2) bajo el Responsible Scaling Policy de la empresa, y su red teaming concluyó que los modelos presentan un riesgo catastrófico despreciable por el momento, por debajo del umbral ASL-3. Las citas que apuntan a frases específicas del material de referencia venían en camino.

Qué te llevás de esto

Si tenés que elegir modelo para un workload, el criterio quedó explícito: tareas simples de alto volumen y sensibles a la latencia apuntan a Haiku, a una fracción del costo de una llamada a un modelo de frontera; los workloads de producción general apuntan a Sonnet, donde el balance precio-capacidad es el más fuerte; y Opus es para los problemas que de verdad necesitan la máxima inteligencia, a un precio que conviene medirse. Anthropic también adelantó que Tool Use (function calling), coding interactivo (REPL) y capacidades agentic más avanzadas llegarían a la familia en los meses siguientes; vale la pena estar atentos si tu stack depende de structured output y de llamadas a herramientas.