Una capacidad puede quedar provablemente escondida dentro de los pesos de un modelo

Un paper aceptado en NeurIPS 2026 demuestra que un modelo puede cargar una capacidad que las auditorías no pueden probar que no tiene. Los autores, de Contramont Research, la Universidad de Oxford y ACS Research, meten redes neuronales cifradas dentro de los pesos de un modelo host. El circuito escondido se descifra y ejecuta solo cuando recibe un trigger secreto, y bajo supuestos criptográficos estándar sigue siendo probadamente difícil de elicitar o interpretar incluso con acceso white-box completo a los pesos.

Esto pesa porque las decisiones de deployment en los frontier labs se apoyan fuerte en el elicitation de capacidades: fine-tuning sobre tareas relacionadas, red-teaming, estrategias de prompting, todo diseñado para sacar a la luz comportamientos peligrosos latentes antes del release. El claim del paper es más acotado y más directo que "las auditorías están rotas". Es que el supuesto central del elicitation, que las capacidades ocultas pueden ser elicitadas, no se sostiene bajo condiciones adversarias.

Cómo funciona la construcción

El threat model es específico. Un adversario que puede modificar los pesos del modelo antes del deployment, un insider malicioso o una supply chain comprometida, quiere meter una capacidad que se active solo en inputs elegidos por el atacante. El defensor se lleva todo: acceso completo a los pesos y cualquier técnica de elicitation que le sirva.

La herramienta es un primitivo criptográfico llamado digital locker. Los pesos de la red oculta se cifran, y el locker resultante se escribe directamente en los pesos del modelo host. En cada forward pass el host intenta descifrarlo; solo el trigger correcto recupera la red oculta y la ejecuta. Ante cualquier otra cosa, el modelo se comporta como su host.

Un detalle de ingeniería explica por qué esto es nuevo y no incremental. Las construcciones criptográficas no son learnables, así que los autores armaron un framework de compilación que traduce algoritmos directamente a pesos de red neuronal, sin entrenamiento de por medio. Lo implementan en PyTorch usando SwiGLU MLPs con RMSNorm, los componentes que las arquitecturas modernas realmente usan, y verifican que las unidades individuales corren bien cuando se inyectan en Gemma 3 270M y, en corridas chicas, un host Gemma 4 E4B.

Qué probaron, y qué falló

Dos tareas. La primera es subset parity, un problema probadamente difícil para aprendizaje basado en gradientes, que sirve para separar el elicitation genuino del caso donde la auditoría le enseña algo nuevo al modelo por accidente. La segunda es un clasificador chico de predicción de reacciones químicas: dados reactivos y un producto candidato, predecir si la reacción es factible. Los autores la enmarcan como proxy deliberadamente acotada de capacidades relevantes para CBRN, y efectivamente lo está: clasificación, no síntesis.

El modelo host cifrado tiene 38 capas y unos 2.070 millones de parámetros. Contra ese, el paper prueba el set de herramientas de elicitation: supervised fine-tuning por 500 pasos directo sobre la tarea, weight noising en dos escalas, latent adversarial training y búsqueda de trigger por gradientes con GCG usando unos 20.000 queries. Ninguna de esas superficies la capacidad oculta. En inputs con trigger erróneo el modelo se queda en nivel chance; con el trigger correcto ejecuta la tarea. La comparación de control es el punto: un modelo password-locked entrenado de forma convencional haciendo la misma tarea deja escapar la capacidad con un par de pasos de fine-tuning.

Qué no muestra el resultado

Los autores son explícitos con los límites, y son grandes. La unidad de ejecución tiene una penalización cuadrática de ancho, así que solo circuitos chicos caben en un host de un tamaño dado; es un proof of concept, no un ataque turnkey. La construcción es deliberadamente diseñada, y el paper no afirma que capacidades así emerjan del entrenamiento ordinario. Los pesos compilados crudos además son trivialmente anómalos, con cerca del 97% de ceros exactos y muchos valores enteros, así que la presencia del circuito se puede detectar aunque su trigger y su función no; los autores incluyen una ofuscación que normaliza la mayor parte de las estadísticas de pesos, aunque notan que correlaciones residuales igual pueden marcarlo.

Los autores publican los model organisms para apoyar la investigación defensiva, y sus propias contramedidas sugeridas son la verificación de provenance de la pipeline de entrenamiento y el runtime monitoring, defensas que no dependen del elicitation pre-deployment.

Qué significa para vos

Si deployás modelos que no entrenaste vos, el takeaway operativo es un límite, no una alarma: "nuestras evaluaciones no sacaron esta capacidad" no es la misma frase que "el modelo no tiene esta capacidad", y la brecha entre las dos ahora está acotada en el peor caso. Para quien escribe documentación de auditoría o red-team, este paper es una referencia citable para por qué la garantía tiene que redactarse como un lower bound sobre capacidad elicitada, y para por qué la cadena de provenance es parte del modelo de seguridad, no una nota al pie.