SEA-LION v4.8 apunta a los idiomas del Sudeste Asiático con modelos abiertos sobre Nemotron

Un equipo grande y multi-institucional publicó un technical report sobre Nemotron-SEA-LION-v4.8, el próximo release de la familia de modelos SEA-LION (Southeast Asian Languages In One Network). Los modelos se arman sobre NVIDIA Nemotron 3 y apuntan de lleno a los idiomas del Sudeste Asiático, un terreno donde la mayoría de los LLM de frontera venía rindiendo por debajo de lo esperado.

El reporte entrega la familia en dos tamaños, un 30B-A3B y un 120B-A12B, y en cada tamaño los autores proveen tanto base checkpoints de continued pretraining como variantes post-train. Ese mix importa para cómo los vas a usar: los base checkpoints son para equipos que quieren seguir preentrenando o hacer fine-tuning sobre sus propios datos, mientras que las variantes post-train están más cerca de listas para deploy.

Cómo se construyeron los modelos

Según los autores, los modelos se adaptaron con una mezcla de datos del Sudeste Asiático, de reasoning, de code y paralelos multilingües, y luego se post-entrenaron con supervised fine-tuning y online on-policy distillation. El paso de on-policy distillation es el menos común de la receta. Significa que los modelos post-train aprenden de salidas generadas por su propia policy, y no solo de un dataset fijo, algo que los autores plantean como una forma de mantener estables las capacidades entre los idiomas que atacan.

El equipo dice que la familia cubre siete idiomas del Sudeste Asiático. En vez de un modelo por idioma, el enfoque SEA-LION los trata como un único objetivo multilingüe, de ahí el nombre "In One Network". Esa decisión de diseño es lo que separa este release de un modelo multilingüe estándar al que le diste unos pocos ejemplos regionales.

Los números reportados

En el benchmark SEA-HELM, los autores reportan mejoras claras sobre la generación anterior. El modelo 30B-A3B sube el score SEA general de 46.06 a 51.57, y el 120B-A12B lo lleva de 49.30 a 63.44. Son las cifras propias de los autores del reporte, y atribuyen el salto mayor al modelo más grande.

El trabajo también nota mejoras amplias de capacidad a lo largo de los siete idiomas, con el 120B-A12B mostrando mejoras más consistentes entre tareas que el más chico. Como pasa con cualquier benchmark self-reported, los números salen de la evaluación propia del equipo, y el report es el lugar principal para revisar la metodología y las tareas concretas detrás de SEA-HELM antes de tomar decisiones sobre esos números.

Qué significa si estás construyendo para la región

Si tu workload toca los idiomas del Sudeste Asiático, este release te da una opción open-weights explícitamente tuneada para ellos, en vez de un modelo generalista que tenés que convencer. La pregunta práctica es si te alcanza con el 30B-A3B o si necesitás el 120B-A12B según tu presupuesto de serving. El más chico es el default realista para la mayoría de los equipos por costo y latencia, y los números del report sugieren que igual trae una ventaja notable sobre la versión anterior.

El modelo grande es el caso donde tenés margen y las tareas son lo suficientemente duras como para que la capacidad extra se note en el benchmark. Si esa diferencia justifica el costo de serving es algo que vas a decidir sobre tus propios datos, no sobre el report. Lo que hace concreto este release es que ahora existe una familia documentada y versionada para la región, y los base checkpoints te dejan espacio para iterar en vez de quedarte atado a un endpoint fijo.