Qué es RAG y cuándo no lo necesitás

Cada tanto nos preguntan lo mismo: "¿cómo hace el modelo para saber cosas?" La respuesta que suele esperarse involucra magia: un fine-tuning, un modelo más grande, un dataset que no tienen. En la mayoría de los casos la respuesta real es más simple: recuperación.

Qué es RAG, en un párrafo

RAG (retrieval-augmented generation) es un patrón: antes de responder, el sistema busca en tus documentos las partes que importan, y les pasa esos pedazos al modelo como contexto. El modelo responde desde ese contexto, con fuente, en muchos casos. El modelo no "aprende" tu empresa; lee la página relevante, cada vez, justo antes de hablar.

El patrón quedó formalizado en el paper original de RAG, pero se convirtió en el punto de partida por defecto para los proyectos de "IA sobre tus documentos", y con razón.

Por qué es el punto de partida por defecto

• Tu conocimiento vive en documentos, no en pesos. Precios, políticas, procedimientos, tickets: nada de eso entra al entrenamiento del modelo. La recuperación lee lo que ya escribiste.
• Se actualiza sola. Cuando cambia la política, entra el documento nuevo y sale el viejo. Sin reentrenar, sin esperar.
• Se puede auditar. "Acá está la respuesta, acá está la página de donde salió" es algo que tu equipo puede verificar. Una respuesta sin fundamento es una esperanza; una recuperada es una cita.
• Se mantiene barato. El modelo lee unos pocos párrafos, no tu corpus entero.

Cuándo no lo necesitás

RAG es la herramienta justa cuando la respuesta depende de datos que viven en tus archivos y cambian con el tiempo. Es la herramienta equivocada cuando:

• El "conocimiento" en realidad es comportamiento: tono, criterio, un estilo de razonamiento. Para eso sirven el fine-tuning o el prompting simple.
• El set de documentos es chico y entra entero en la ventana de contexto. Si podés poner todo delante del modelo, no necesitás el paso de recuperación.
• No limpiaste los documentos antes. La recuperación encuentra el texto más similar, no el más correcto. Si el índice está sucio, la respuesta también.

Nuestra regla general

Arrancá con lo más simple que pueda responder la pregunta: el documento en el prompt. Sumá recuperación cuando el corpus deje de caber, o cuando la respuesta necesite una fuente. Sumá fine-tuning solo cuando el problema sea el comportamiento del modelo, no su conocimiento.

La mayoría de los proyectos de "asistente de IA" con los que charlamos necesitan los dos primeros. El tercero pasa menos de lo que sugiere el hype.