La primera familia open-weights de Google: Gemma 7B y 2B

El 13 de marzo de 2024, Google DeepMind publicó el paper detrás de Gemma, su primera familia de modelos open-weights. Está construida a partir de la investigación y la tecnología con las que se crearon los modelos Gemini, y llega en dos tamaños (7 mil millones y 2 mil millones de parámetros), con checkpoints pretrained y fine-tuned. Para una empresa cuyos modelos más capaces siempre estuvieron al alcance solo vía sus propias APIs, es una apertura notable.

Lo que dice el paper

El Gemma Team (el grupo de investigación de Google DeepMind detrás del lanzamiento) describe a los modelos como "a family of lightweight, state-of-the-art open models". Ese framing de state-of-the-art es de la empresa. El dato concreto de benchmarks del paper: Gemma supera a modelos abiertos de tamaño similar en 11 de 18 tareas de texto, en evaluaciones de comprensión del lenguaje, razonamiento y seguridad. Dos cosas valen la pena fijarse en ese número. La clase de comparación son otros modelos abiertos de tamaño parecido, no sistemas cerrados de frontera, y la evaluación la corrió la empresa que los construyó.

Google publica checkpoints pretrained y fine-tuned de cada tamaño. Los pretrained son para seguir entrenando o para investigación; los fine-tuned apuntan al uso directo, como instruction-following o chat. El paper dice además que incluye evaluaciones completas de los aspectos de seguridad y responsabilidad de los modelos, junto con una descripción detallada de cómo se desarrollaron.

Una clase apretada

Marzo de 2024 era un momento movido para la clase open de tamaño medio. Los modelos Llama de Meta habían fijado el baseline de los LLMs abiertos instruction-tuned durante 2023, Mistral había lanzado su modelo 7B a principios del año, y Microsoft había publicado Phi-2 en febrero. En ese campo, la comparación interesante no es "Gemma contra el modelo cerrado más grande"; es Gemma contra los otros modelos abiertos que podías descargar ese mismo día. El propio framing del paper hace exactamente eso: 11 de 18 tareas de texto contra modelos abiertos de tamaño similar, que es la comparación más justa disponible dentro de la clase open.

Por qué importa

Lo que más destaca es el origen. Los modelos Gemini, los sistemas de frontera de Google, se entrenaron en casa y se servían solo a través de la infraestructura de Google. Gemma es la primera vez que esa investigación se convierte en pesos que cualquiera puede descargar y correr por su cuenta. El paper lo dice directo: el equipo cree que liberar LLMs de forma responsable es clave para mejorar la seguridad de los modelos de frontera y para habilitar la siguiente ola de innovación en LLMs.

Para un equipo que decide dónde correr sus workloads, lo práctico es el tamaño. Un modelo 7B está en el tope de lo que podés servir en un GPU moderno individual; el 2B es chico para entrar en hardware mucho más acotado. Si tu pregunta es si un modelo self-hosted puede cargar un workload real (clasificación, extracción, summarization, un endpoint de chat que no necesita razonamiento de frontera), Gemma pasa a ser el reference point de lo que hay disponible en la clase open de tamaño medio.

No reemplaza a una API de frontera para las tareas más difíciles; eso es otra clase de modelo. Y si ponés Gemma frente a tráfico real, corre la evaluación con tus datos antes de fiarte de los números publicados: sirven, pero son del vendor.