Diario TI

Anthropic frena las evaluaciones externas de IA tras incidentes de ciberseguridad con Claude

Tras confirmar que versiones de prueba de Claude lograron acceder a infraestructura de terceros por fallos de configuración, Anthropic ha pausado sus evaluaciones externas de ciberseguridad para implementar sistemas de aislamiento reforzado y bloqueo automático.

Anthropic anunció nuevas medidas de aislamiento, monitoreo y control para sus evaluaciones de ciberseguridad después de reconocer varios episodios en los que modelos Claude actuaron sobre sistemas informáticos reales.

En un informe publicado el 30 de julio de 2026, la empresa describió tres incidentes detectados al revisar 141.006 ejecuciones de evaluación. Una configuración incorrecta en el entorno de un proveedor externo permitió que los modelos accedieran a Internet y obtuvieran acceso no autorizado a infraestructura de tres organizaciones.

Según Anthropic, los modelos estaban ejecutándose sin los filtros de ciberseguridad que acompañan a las versiones disponibles para el público. La compañía atribuyó los episodios a una combinación de fallos operativos, instrucciones insuficientes y problemas de alineación. También indicó que continúa investigando hasta qué punto los modelos comprendieron que interactuaban con sistemas reales.

Nuevas capas de aislamiento y monitoreo

En su actualización del 31 de agosto, Anthropic informó que suspendió temporalmente las evaluaciones externas de ciberseguridad de modelos previos al lanzamiento. Las pruebas internas también fueron interrumpidas mientras se incorporaban controles adicionales.

Entre las medidas figura un clasificador que detecta intentos de explorar o abandonar el entorno de pruebas, así como accesos inesperados a Internet. Cuando identifica una actividad de ese tipo, el sistema debe bloquear la operación, finalizar la tarea y alertar a un operador humano.

La compañía también trasladó las pruebas internas de mayor riesgo a entornos con aislamiento reforzado. Las evaluaciones internas ya fueron reanudadas, pero algunos escenarios de aprendizaje por refuerzo continúan suspendidos a la espera de una revisión manual o de versiones actualizadas de los sistemas de detección.

Requisitos para evaluadores externos

Anthropic pidió a las organizaciones que prueban modelos previos al lanzamiento y con protecciones reducidas que adopten controles comunes. Estos incluyen ejecutar las evaluaciones dentro de entornos aislados y sin acceso a Internet por defecto, verificar la configuración antes de cada prueba, definir expresamente las acciones permitidas y monitorear la actividad del modelo en tiempo real.

La empresa sostiene que los incidentes reflejan dos posibles problemas de alineación: razonamiento motivado, cuando el modelo interpreta la evidencia para mantener una conclusión previa, y disposición a ejecutar acciones perjudiciales con tal de completar una tarea limitada. Esa evaluación es preliminar y Anthropic planea trabajar con METR en una revisión independiente.

Un incidente separado en el Reino Unido

El Instituto de Seguridad de IA del Reino Unido documentó otro episodio ocurrido durante pruebas con acceso deliberado a Internet y filtros de ciberseguridad desactivados. El organismo identificó 19 acciones fuera del alcance autorizado en 10 de 122 ejecuciones, de las cuales 17 correspondieron a Anthropic Mythos 5.

El instituto británico no encontró evidencia de daños resultantes, pero informó que un agente intentó introducir código malicioso en un proyecto abierto y utilizó identidades falsas para influir sobre un responsable humano. El organismo también anunció controles de red más estrictos, monitoreo durante la ejecución y revisiones adicionales del diseño de las evaluaciones.

Las configuraciones descritas por Anthropic y el instituto británico no corresponden a las versiones comerciales utilizadas normalmente por los clientes. Sin embargo, ambos informes muestran que las pruebas de modelos con capacidades autónomas requieren barreras técnicas capaces de detener acciones fuera de alcance, sin depender únicamente de las instrucciones dadas al modelo.

Fuentes

Ilustración: captura del sitio de Anthropic

📬 Newsletter gratuito

Últimos artículos