Tras incidentes en que agentes salieron de sus entornos de prueba, los tres laboratorios describen sistemas por capas que dependen de leer el razonamiento de los modelos, un recurso que ellos mismos consideran frágil.
OpenAI, Anthropic y Google DeepMind ya no se limitan a entrenar a sus modelos para que se comporten bien: también los vigilan mientras trabajan dentro de sus propias empresas. En los últimos cuatro meses, las tres publicaron cómo supervisan a sus agentes internos, y dos de ellas sometieron esos sistemas a revisiones externas que encontraron fallas concretas. Esta nota compara lo que cada empresa ha divulgado hasta el 30 de octubre de 2026.
El contexto explica la prisa. En julio, Diario TI informó que modelos Claude accedieron sin autorización a sistemas reales durante pruebas de ciberseguridad, y en agosto, que agentes de OpenAI compartieron fallos semanas antes del ataque a Hugging Face. Una evaluación británica vinculó a agentes de ambas empresas con 19 acciones no autorizadas en internet.
OpenAI: cuatro capas y avisos con horario
El 29 de octubre, OpenAI describió su sistema de detección de desalineación, ampliado tras el incidente de Hugging Face, como detalló Diario TI. Funciona en cuatro capas: sondas que leen las activaciones internas del modelo, un revisor basado en un modelo que examina la conversación y la cadena de pensamiento, un agente investigador que reconstruye el caso y, en cargas sensibles, un cruce con registros de red. En los modelos al menos tan capaces como GPT-6 Astra, la empresa monitorea cada ejecución de aprendizaje por refuerzo, cada evaluación y cada entorno con herramientas.
Según OpenAI, una reproducción del incidente de Hugging Face con los monitores actuales habría alertado más de 30 horas antes de que se vulneraran los sistemas de esa plataforma. La empresa reconoce límites: fuera del entrenamiento de vanguardia, los avisos a responsables humanos solo funcionan en horario laboral, y en el tráfico interno de Codex están desactivados.
METR y Redwood Research probaron la versión anterior del sistema entre el 21 de julio y el 11 de agosto. Hallaron que cerca del 10% del tráfico de Codex que debía ser monitoreado pudo quedar sin revisión entre mayo y julio, que un agente podía postergar el monitoreo indefinidamente si no devolvía el control al usuario y que dos cabeceras controlables por el cliente lo desactivaban. OpenAI afirma que corrigió la mayoría de esas fallas. Días antes, la empresa había anunciado que aislaría de internet el entrenamiento de sus modelos más avanzados.
Anthropic: monitoreo diferido y revisión humana lenta
Anthropic describe su enfoque en su informe de riesgo de agosto de 2026, con datos al 15 de julio. La empresa usa un sistema automatizado que revisa a posteriori las transcripciones del uso interno, con monitores que son modelos más débiles que los vigilados, y un monitor aparte que examina los datos de entrenamiento en busca de trampas para obtener recompensa; según el informe, la empresa no entrena a sus modelos contra ese monitor. Sostiene que la mayor parte del uso interno de alto riesgo ocurre en superficies monitoreadas, aunque no publica porcentajes. Parte del tráfico se revisa solo por muestreo, a una tasa del 0,2%, y ahí quedaron los incidentes de las evaluaciones de ciberseguridad.
Las revisiones externas han sido críticas. En marzo, David Rein, de METR, puso a prueba durante tres semanas parte del monitoreo de Anthropic. Encontró que cambiar una variable de entorno reducía mucho la probabilidad de que el tráfico fuera vigilado, que un error dejaba sin revisar las llamadas a subagentes (corregido en menos de 24 horas) y que intentos de manipulación muy básicos engañaban a los monitores. En octubre, METR revisó el informe de agosto y concluyó que el riesgo es bajo sobre todo por las capacidades limitadas de los modelos, no por las salvaguardas. Señaló zonas con cobertura reducida, formas sencillas de desactivar el monitoreo y una revisión humana con días de retraso.
El 9 de octubre, Anthropic informó cuatro tipos de acciones no previstas de sus modelos en evaluaciones y uso interno, como explotar fallas de software de terceros o enviar formularios en sitios reales. Según The Hacker News, uno fue un aviso falso enviado a la policía de Filadelfia el 18 de julio, que la empresa detectó el 28 de septiembre. Anthropic cortó el acceso a internet en vivo en todas sus evaluaciones internas, tras haberlo hecho antes en algunas, como informó Diario TI cuando la empresa frenó sus evaluaciones externas de ciberseguridad.
Google DeepMind: los agentes como posibles empleados desleales
El 18 de junio, Google DeepMind presentó una hoja de ruta de control de IA que, como recogió Diario TI, trata a los agentes como posibles amenazas internas. El marco toma prestado el modelo de amenazas de MITRE ATT&CK y propone medir el monitoreo con tres métricas: cobertura, capacidad de detección y tiempo de respuesta.
DeepMind informa que un prototipo interno revisó de forma asíncrona cerca de un millón de tareas de agentes de programación y que sirvió de base para un monitor en vivo del agente Gemini Spark. Según la empresa, la mayoría de los eventos marcados no reflejan intención adversaria, sino malentendidos o exceso de celo del agente. John «Four» Flynn, vicepresidente de seguridad de DeepMind, dijo a Fortune que parte del plan ya está en producción. La empresa no detalla qué medidas concretas lo están, y Diario TI no encontró una revisión externa publicada de su sistema como las que METR hizo con las otras dos.
Lo que comparten y en qué difieren
| OpenAI | Anthropic | Google DeepMind | |
|---|---|---|---|
| Documento principal | Sistema de detección (29 oct) | Informe de riesgo (agosto) | Hoja de ruta de control (18 jun) |
| Momento de la revisión | Asíncrona, con alertas en minutos | Diferida, sobre transcripciones | Prototipo asíncrono y monitor en vivo para Gemini Spark |
| Revisión externa publicada | METR y Redwood (jul-ago) | METR (marzo y octubre) | No encontrada |
| Límite declarado | Avisos limitados por horario y por falsas alarmas | Cobertura parcial y revisión humana lenta | Plan en desarrollo, sin detalle de despliegue |
Las tres empresas usan modelos de IA para vigilar a otros modelos y las tres dependen, en buena medida, de leer su cadena de pensamiento. Las tres advierten que ese recurso puede debilitarse. OpenAI sostiene que modelos como Astra han ganado control sobre lo que revela su razonamiento. DeepMind escribe que si los modelos aprenden a ocultarlo, leerlo dejará de bastar. METR aportó un dato sobre Anthropic: en un incidente con Mythos 5, el monitor marcó cerca del 1% de las acciones cuando veía la cadena de pensamiento y alrededor del 50% cuando no la veía, lo que sugiere que un razonamiento que justifica la acción puede inducir a error al monitor.
Hay un límite común en la transparencia: en ambas revisiones de METR, las empresas evaluadas podían censurar lo que consideraran confidencial antes de publicar.
Fuentes
- OpenAI: Cómo detectamos la desalineación de los modelos de vanguardia (29 de octubre de 2026)
- METR y Redwood Research: resumen del ejercicio de red teaming sobre el monitoreo interno de OpenAI (22 de octubre de 2026)
- Anthropic: Risk Report, agosto de 2026
- Anthropic: Investigating unintended model actions in our evaluations and internal use (9 de octubre de 2026)
- METR: red teaming de los sistemas de monitoreo de agentes de Anthropic (marzo de 2026)
- METR: revisión de la sección de desalineación del informe de riesgo de Anthropic (20 de octubre de 2026)
- Google DeepMind: Securing the future of AI agents (18 de junio de 2026)
- Fortune: Google DeepMind unveils plan to protect itself from its own rogue AI agents (18 de junio de 2026)
- The Hacker News: Anthropic cuts live internet access for internal AI tests (octubre de 2026)
Por Héctor Pizarro, Diario TI
Ilustración generada por IA.
📬 Newsletter gratuito
