Anthropic abre las puertas a METR: acceso de empleado para auditar su trabajo de riesgo

Anthropic empezó a darle a un equipo de METR, el nonprofit que evalúa modelos frontier de IA, lo que llama employee-like access a sus sistemas internos. METR va a publicar los resultados de sus evaluaciones de riesgo, y Anthropic dice que no puede vetar esa publicación. El anuncio sigue dos pasos que la empresa dio el mes pasado: el compromiso de pasar a una evaluación independiente de terceros más fuerte sobre sus modelos y prácticas de seguridad, y la firma del White House Accord on Super Intelligence, donde las empresas se comprometieron a trabajar con auditores o evaluadores externos independientes.

Qué incluye en realidad el acceso

Anthropic incorporó a seis empleados de METR con hardware de la empresa, espacio de oficina y acceso a herramientas y sistemas internos que describe como comparable al que tienen sus propios equipos de evaluación de riesgo. Fuera de un conjunto chico de categorías excluidas, datos de clientes, información con privilegio attorney-client e información sobre arquitecturas de modelos, Anthropic dice que alienta a sus empleados a compartir información con el equipo de METR igual que lo harían con un colega que trabaja en alignment risk.

El engagement está acotado a propósito. Cobre a un equipo chico que opera bajo acuerdos aplicables, y el resto de los empleados de METR, incluidos los investigadores que trabajan con Anthropic en otros proyectos, quedan aislados del trabajo de ese equipo. Anthropic lo presenta como un límite de seguridad: el acuerdo le da a pocas personas calificadas una vista cercana de cómo opera la empresa bajo sus estándares de seguridad, no un canal para que otras organizaciones obtengan información de Anthropic o de sus clientes.

La cuestión del veto

La parte que importa para la independencia es la cláusula de publicación. METR va a publicar su análisis de los niveles de riesgo, incidentes y prácticas de Anthropic. Anthropic no puede bloquear esa publicación, pero puede pedir que se redacte la información que caiga en las categorías predefinidas de arriba. Dos caveats van con eso: Anthropic es quien decide en última instancia qué cae y qué no en esas categorías, y METR se reserva el derecho de hacer ciertas declaraciones sobre el nivel de acceso e información que realmente recibió.

La analogía propia de Anthropic es la supervisión bancaria: los bancos saben más sobre sus propias posiciones de riesgo que los externos, así que los reguladores ponen examiners residentes adentro de los bancos más grandes, y si el apetito de riesgo de un banco puede amenazar al público, los terceros intentan verlo antes. La empresa dice que el objetivo es cerrar la brecha entre lo que un evaluador externo entiende de los sistemas de una compañía frontier de IA y lo que la propia empresa entiende. También lista lo que cree que un evaluador necesita para hacer ese trabajo: expertise en evaluar capacidades frontier, incluyendo cómo se pueden volver a fallar las evaluaciones, como el alignment faking; independencia de la empresa, sin equity y sin dependencia financiera u operacional; acceso profundo a modelos, entrenamiento y safeguards; y libertad de publicar.

Los tres tiers, y quiénes están en cada uno

Anthropic dice que está desarrollando tres tiers de acceso para evaluadores. En el tier uno, los evaluadores hacen investigaciones de riesgo de alcance acotado; Anthropic decide qué acceso reciben, y pueden publicar los findings solo con aprobación de la empresa. En el tier dos, los evaluadores pueden publicar sin aprobación y ven más información; Anthropic todavía puede pedir la remoción de categorías específicas, pero los evaluadores pueden publicar su opinión sobre si las redacciones estuvieron justificadas. El tier tres es el arreglo con METR. El objetivo declarado es tener varios evaluadores en ese tier, cada uno publicando su propio análisis de la postura de riesgo y las decisiones clave de Anthropic.

Los otros partnerships están más temprano y con más limitaciones. SecureBio está revisando el capítulo de armas químicas y biológicas del Risk Report de agosto de Anthropic, después de completar y publicar una pilot review del report anterior; cuando termine, Anthropic dice que va a considerar llevar la relación a un acceso mayor. Con Accenture y Faculty, la empresa trabaja hacia un partnership que incluye evaluar y red-teamear modelos, correr alignment assessments, testear safeguards y construir capacidades entre ambas organizaciones. Anthropic dice que está en discusiones tempranas con varias otras organizaciones, incluyendo Hugging Face, y que esos partners reciben por ahora información más limitada y derechos de publicación más limitados.

La nota cierra con un claim que conviene estar mirando: Anthropic dice que está embedeando evaluadores de forma voluntaria y cree que todas las empresas frontier de IA deberían hacer lo mismo.