FLUX.3 Image Klein llega a Diffusers con layout control por bounding boxes

El FLUX.3 Image Klein de Black Forest Labs ya está disponible, y corre en Diffusers desde el primer día. Dos checkpoints abiertos, un solo modelo que cubre text-to-image, image-to-image multi-referencia y una capacidad nueva: layout control, donde escribís bounding boxes en el prompt para decir dónde va cada parte de la imagen, o qué parte de una imagen de referencia se mueve.

Qué puede hacer

El checkpoint destilado genera una imagen de 1024 por 1024 en 16 pasos por defecto, sin classifier-free guidance. El checkpoint base corre 50 pasos con guidance, y es el que está pensado para fine-tuning.

La edición multi-referencia funciona pasando varias imágenes y referirlas en el prompt como <ref_image_0>, <ref_image_1>, y así en adelante. El prompt se escribe como una descripción de la imagen que querés, con el cambio incluido. La pieza nueva es el layout control: le agregás al prompt una lista JSON de regiones, cada una con un id, una bounding box y una descripción corta, y el modelo dibuja la descripción de cada región dentro de su caja. Las cajas usan una escala normalizada de 0 a 1000, así que las mismas coordenadas sirven para cualquier tamaño de salida. Para ediciones, cada región lleva una caja de origen en la referencia y una de destino en la salida: si las dos coinciden, la región queda fija; si cambian, se mueve y el resto de la escena se mantiene.

Qué te cuesta correrlo

Hugging Face midió el checkpoint destilado sobre una H100 sin offloading: 1,93 segundos para una generación text-to-image de 1024 por 1024, 3,87 segundos con una imagen de referencia, y 23,8 GiB de memoria pico en los tres casos. Una imagen de referencia duplica el tiempo, porque sus tokens se suman a la misma secuencia que el texto y la imagen que se genera: una referencia de 1024 por 1024 agrega 4.096 tokens a cada llamada del transformer.

Si tu GPU es más chica, Black Forest Labs también trae el transformer como archivo único en bf16 y en formatos cuantizados FP8 y NVFP4. El build en FP4 picoa en unos 15 GiB sobre una RTX 6000, y Diffusers tiene CPU offloading automático para lo que quede por debajo.

Fine-tuning y la arquitectura

Diffusers trae scripts de entrenamiento DreamBooth LoRA para text-to-image y para edición de imágenes, con flags para ahorrarse memoria (gradient checkpointing, caché de latents, Adam de 8 bits) para tarjetas más chicas.

Por dentro, FLUX.3 es un flow model en espacio latente que usa el mismo VAE que Flux.2, donde un token cubre un parche de 16 por 16 píxeles, así que una imagen de 1024 por 1024 es una grilla de 4.096 tokens. El text encoder es Qwen3-VL, y el modelo lee los hidden states de ocho de sus 36 capas, no solo de la última. El transformer trabaja en dos etapas: cinco bloques por modo, donde los streams de texto, imagen y referencia solo atienden entre sí, y después 28 bloques joint donde todo atiende a todo. Un cambio notable frente a FLUX.1 y FLUX.2: cada token tiene su propio timestep, así que las imágenes de referencia quedan marcadas como contexto limpio, no como algo a denoise. El pipeline sale como Modular Diffusers pipeline, es decir que los bloques se pueden sacar o extender.

La lectura práctica

Es una opción sólida para equipos que generan imágenes en local o quieren una base de pesos abiertos para hacer fine-tuning. Dos cosas para revisar antes de comprometerte: si tu GPU supera los 24 GiB (o si te bancás la cuantización FP4 y el camino de offload), y si el layout control a nivel de prompt rinde con tu contenido, porque las bounding boxes guían al modelo pero no garantizan colocación exacta al píxel. Algunos lo van a llamar el mejor modelo de imagen abierto del mercado; ese claim no está en el artículo, y los números de arriba son mediciones propias de Hugging Face sobre una sola H100.