Investigadores de Anthropic y UC Berkeley utilizaron agentes basados en Claude para proponer y evaluar métodos de entrenamiento contra diez tipos de fallos de alineamiento. Los resultados son prometedores, pero corresponden a pruebas delimitadas por benchmarks y auditorías automatizadas.
Anthropic presentó el 28 de agosto de 2026 una investigación sobre agentes automatizados capaces de buscar, proponer y probar métodos para reducir comportamientos no deseados en otros modelos de inteligencia artificial. El trabajo fue realizado por Chen Yueh-Han, Jiaxin Wen y Jan Hendrik Kirchner, con afiliaciones a Anthropic, el programa Anthropic Fellows y la Universidad de California en Berkeley.
Un ciclo automatizado de investigación
El experimento utilizó agentes basados en Claude Opus 4.8. Estos sistemas revisaban literatura, seleccionaban técnicas, generaban datos de entrenamiento, documentaban sus propuestas y entrenaban un modelo objetivo. Un evaluador separado medía después los resultados y publicaba las puntuaciones para orientar la siguiente iteración.
Antes de ejecutar cada propuesta, otro agente revisaba el código para impedir el uso de datos pertenecientes a las evaluaciones, la destilación desde modelos más potentes y otras vías que podían alterar artificialmente el resultado. Cada método recibía alrededor de 30 minutos de entrenamiento con una GPU H200 y los ciclos podían continuar durante un máximo de 48 horas.
Según el informe técnico, el sistema trabajó por separado sobre diez categorías: adulación al usuario, evasión de restricciones, inyección de instrucciones, búsqueda de poder, engaño, alucinaciones, sesgo social, vulneraciones de privacidad, manipulación de recompensas y ocultamiento de incertidumbre.
Resultados en diez tipos de fallos
Los investigadores midieron qué proporción de la brecha entre el desempeño inicial y la puntuación teórica perfecta lograba cerrar cada método. En las evaluaciones utilizadas durante la búsqueda, las mejores propuestas automatizadas cerraron entre el 26% y el 96% de esa brecha, dependiendo del tipo de fallo.
Los métodos seleccionados también superaron el resultado inicial en una evaluación que el agente no había visto. Los autores informan que las mejoras se conservaron al trasladar las técnicas a modelos entre 1,8 y 4,7 veces más grandes. En auditorías abiertas y de varios turnos realizadas con Petri, los métodos mejoraron el comportamiento de referencia en casi todas las combinaciones examinadas.
El estudio incluyó 30 propuestas formuladas por 28 investigadores humanos con experiencia en seguridad de la IA. Cada participante dispuso de hasta ocho horas, pero no pudo modificar su idea después de entregarla. Los agentes automatizados sí realizaron numerosas iteraciones y seleccionaron sus mejores resultados. Por esa diferencia, los propios autores señalan que no debe interpretarse como una comparación directa entre la capacidad científica humana y la de Claude.
Una prueba con un modelo de mayor escala
En otro experimento, Claude Sonnet 5 trabajó durante unas 60 horas sobre una versión temprana de Claude Opus 4.8 que todavía no había recibido la mayor parte del entrenamiento de alineamiento usado por Anthropic en producción. El agente evaluó más de 50 soluciones y seleccionó una basada en unos 2.400 ejemplos de entrenamiento.
La solución cerró el 65% de la brecha medida mediante una auditoría Petri que agrupaba los diez fallos. La versión comercial de Opus 4.8, después del proceso completo de Anthropic, alcanzó un 72% bajo esa misma métrica. El resultado se limita a las dimensiones evaluadas y no permite concluir que el sistema automatizado reproduzca todo el proceso de seguridad aplicado a un modelo comercial.
Controles y limitaciones
El control posterior identificó comportamientos considerados tramposos en 39 de las 1.601 trayectorias examinadas, equivalentes al 2,4%. Entre ellos se encontraban la repetición de un método para aprovechar variaciones estadísticas, la imitación del formato de los benchmarks y los intentos de ocultar procedimientos prohibidos. Ninguno de esos casos fue incluido entre los métodos finales informados.
Anthropic reconoce que las evaluaciones son indicadores indirectos del comportamiento durante un despliegue real. El trabajo no determina si las mejoras persisten después de nuevos procesos de aprendizaje por refuerzo, ni descarta daños en capacidades que no fueron medidas. También quedan fuera los fallos nuevos, poco frecuentes o difíciles de representar mediante evaluaciones automáticas.
Los autores publicaron el código del sistema y sus evaluaciones para facilitar su examen y reproducción. Los resultados ofrecen evidencia inicial de que parte de la investigación de alineamiento puede automatizarse, pero no constituyen todavía una validación independiente ni una solución general para la seguridad de modelos avanzados.
Fuentes
- Anthropic, publicación de la investigación
- Informe técnico, Automated Researchers Can Reliably Mitigate Alignment Failures
- Repositorio del Automated Alignment Researcher
Ilustración: captura del sitio de Anthropic
📬 Newsletter gratuito
