¿Comprar una GPU o alquilar los tokens? La pregunta de hardware detrás de cada proyecto de IA
Toda conversación de IA termina antes o después en la misma pregunta: "¿compramos una GPU o alquilamos?" La respuesta honesta: depende de la cuenta, y la cuenta es menos aterradora de lo que parece.
Dos formas de costo muy distintas
Alquilar inferencia a un proveedor de modelos es un costo operativo: se paga por token, escala con el tráfico, y arranca en lo que cuesta la primera petición. No hay hardware que comprar, parchear, enfriar o reemplazar, y no hay depreciación en el libro.
Comprar o leasing de aceleradores es un costo de capital: un número grande, fijo, que se amortiza pase lo que pase con el workload. También te compromete a correr el modelo vos: updates, seguridad, disponibilidad, todo.
Ninguno es el por defecto. El correcto es el donde la aritmética funciona.
Cuándo alquilar es la respuesta correcta
Para la mayoría de las PyMEs, alquilar inferencia es el punto de partida correcto:
- El workload es intermitente, o está arrancando. No deberías pagar por capacidad pico que usás dos veces por mes.
- Querés que el modelo mejore bajo vos. Los proveedores sacan modelos mejores: el alquilado se actualiza, el auto-hospedado queda como lo desplegaste.
- No tenés, o no querés, un equipo que opere infraestructura de inferencia.
- El dato no necesita, legalmente o en la práctica, quedarse en tu propio hardware.
Cuándo empezar a hacer sentido el self-hosting
Lo vemos en unas pocas situaciones:
- Volumen y previsibilidad. Un load de inferencia constante y medible, donde la factura por token sigue creciendo y la cuenta del hardware propio finalmente cruza.
- Restricciones de datos. Hay workloads que simplemente no pueden salir de tus instalaciones. Ahí la respuesta estándar son modelos de pesos abiertos sobre tu propia infraestructura.
- Fine-tuning y control de latencia. Cuando se entrena o ajusta sobre tus propios datos, o cuando cada milisegundo de latencia tiene precio.
La pregunta que hay que hacer primero
Antes de cualquier compra, anoten un número: cuánta inferencia necesita el workflow de verdad, medida, durante un mes. Después hagan las dos cuentas, una al lado de la otra. Por nuestra experiencia, la primera versión del proyecto casi siempre queda del lado del alquiler, y está bien. La puerta del hardware propio se abre cuando el workload se demuestra, no antes.