Modelos LLM

← Todas las noticias

xAI libera el modelo base de Grok-1, pero el código de entrenamiento queda cerrado

xAI abrió el modelo base de Grok (el Mixture-of-Experts de 314 mil millones de parámetros que, según la empresa, está detrás del chatbot) y publicó los pesos en GitHub bajo la Apache License 2.0. Una parte queda deliberadamente afuera: no hay código de entrenamiento, y xAI describe el stack de entrenamiento como "custom", sin dar detalles.

Qué se publicó de verdad

En un post de su blog, xAI dice que el release cubre los pesos base del modelo, no un assistant listo para usar. La empresa aclara que el modelo "no fue tuneado para ninguna aplicación en particular", y ahí entra también la conversación. En la práctica, lo que te llevás es un modelo base: el trabajo de fine-tuning o de instrucción que lo hace comportarse como el Grok que tal vez hayas visto es cosa tuya.

La licencia importa si estás armando un producto. Apache 2.0 permite uso comercial, así que sirve para software que se entrega, no solo para investigación (la misma familia de licencias de muchos otros modelos open-weights). El post no publica números de benchmarks. La nota de TechCrunch trae el dato de los 314 mil millones de parámetros, pero no cuántos quedan activos por token (suele ser el número que define el costo de servir un modelo mixture-of-experts, y el que conviene pedir antes de presupuestar compute).

Qué falta

Tres cosas no están en el release. Primera, el código de entrenamiento y los detalles del pipeline: xAI lo llama "custom" y se queda ahí. Segunda, cualquier vínculo con X: el chatbot Grok, que llegó a los suscriptores Premium+ el año pasado, puede tocar parte de los datos de la red; el modelo abierto no tiene conexión a la red social. Tercera, el ajuste de capa de aplicación que convierte al modelo base en un chatbot para empezar.

Esa división (los pesos afuera, el pipeline de entrenamiento y las conexiones de datos en la casa) es un movimiento más acotado que un release abierto completo, y más amplio que el acceso solo por API que ofrecen la mayoría de los labs de frontera.

Dónde queda Grok-1 entre los modelos abiertos

Con este release, xAI se suma a una lista que crece de labs que publicaron modelos open-weights: el LLaMA de Meta, Mistral, Falcon, los modelos de AI2, y, en febrero, la Gemma 2B y la Gemma 7B de Google. La diferencia práctica para vos es la cuenta habitual del open-weights: si querés self-hostear, hacer fine-tuning o construir sobre el comportamiento de un modelo, que los pesos estén disponibles es el requisito previo, y Grok-1 recién lo cumple bajo una licencia permisiva.

Al menos un equipo ya tiene plan. Aravind Srinivas, CEO de Perplexity, posteo en X que la empresa va a hacer fine-tuning de Grok para búsqueda conversacional, optimizar la inference y ponerlo a disposición de los usuarios Pro de Perplexity. Si eso se sostiene bajo una revisión de la licencia, es un problema de Perplexity, no de xAI.

Por qué ahora

Musk había anticipado el movimiento: la semana pasada señaló en X que xAI iba a abrir el modelo de Grok esa misma semana. El timing también cae en medio del pleito de Musk contra OpenAI (demandó a la empresa a principios de mes por lo que llamó una traición a los fines nonprofit de su fundación, y desde entonces viene cargando en público contra OpenAI y Sam Altman varias veces). La demanda es una historia aparte; no cambia lo que xAI publicó, pero tiñe cómo se lee el release.

Qué significa si estás eligiendo un modelo base

Si estás evaluando modelos base para fine-tuneo o para servir, Grok-1 agrega una opción con Apache 2.0 en la cima de la escala que uno puede self-hostear. Sin benchmarks públicos ni una receta de entrenamiento de referencia, el camino sensato es medirlo contra las alternativas que ya estás considerando antes de comprometer compute. Los pesos son la entrada; el código de entrenamiento que falta significa que xAI publica que podés construir sobre el modelo, no cómo se hizo el modelo.

Fuente: techcrunch.com

Más noticias

← Todas las noticias