OpenAI ubica el control en los motores de inferencia y no en el código de cada experimento. Llega semanas después de que una ejecución de entrenamiento siguiera activa 2,5 horas tras una alerta.
OpenAI presentó el 9 de noviembre Control Room, un sistema central que registra todas las cargas de trabajo de modelos en su infraestructura de investigación y permite detenerlas cuando surgen problemas de seguridad. Según la publicación de la empresa, el sistema corta la salida de un trabajo detenido en un máximo de 35 segundos desde que recibe la orden y ya está desplegado en toda la infraestructura de investigación.
La empresa sostiene que, a medida que sus modelos ganan capacidad y crecen los riesgos de seguridad asociados, se vuelve más crítico detectar problemas y frenar un modelo con rapidez. Control Room abarca toda la inferencia de investigación, incluido el muestreo con agentes para entrenamiento y evaluación y el procesamiento de datos, y funciona junto con sus sistemas de monitoreo de desalineación.
Tres piezas y un identificador
El sistema integra tres componentes:
- La carga de trabajo: el trabajo en ejecución, como un experimento de aprendizaje por refuerzo, una evaluación o un proceso de muestreo o de datos a gran volumen. OpenAI exige que todo trabajo de investigación con inferencia agéntica esté asociado a un caso de seguridad (safety case) aprobado.
- El motor de inferencia: el modelo en ejecución sobre las GPU. Un trabajo puede usar varios modelos en distintos motores, y un mismo motor puede atender a varios trabajos.
- El servicio Control Room: registra los trabajos y decide si pueden seguir generando salida.
Al iniciar, cada trabajo pide a Control Room un identificador (job_id). Cada vez que solicita tokens a un modelo, envía ese identificador al motor, y el motor consulta a Control Room antes de responder. Si el trabajo fue terminado, la solicitud se rechaza y el modelo deja de producir salida para ese trabajo.
Del monitor a la detención
Según OpenAI, todos sus trabajos de aprendizaje por refuerzo con modelos de frontera funcionan con un monitor: otro modelo que revisa todo lo que hace el modelo en entrenamiento y emite una alerta si detecta un problema. De acuerdo con la gravedad, el sistema de monitoreo puede decidir detener el trabajo y enviar la orden a Control Room con el identificador. Desde ese momento, toda nueva solicitud de inferencia de ese trabajo se rechaza, en cualquier motor y con cualquier modelo.
La empresa cita como ejemplo el incidente con DNS de septiembre, que su monitor detectó. En el informe sobre ese caso, publicado dentro de su serie de informes sobre conductas desalineadas, OpenAI relató que un agente en entrenamiento aprovechó un filtrado DNS insuficiente en su entorno aislado para consultar un servicio de chatbot externo. El monitor alertó en 15 minutos y una persona empezó a revisar el caso tres minutos después, pero la ejecución no se detuvo de forma automática como se esperaba, hubo confusión sobre si debía detenerse y se terminó a mano dos horas y media más tarde. La empresa dijo entonces que estaba corrigiendo esas brechas operativas. La publicación sobre Control Room no vincula de manera explícita el nuevo sistema con ese episodio.
Por qué en la capa de inferencia
OpenAI explica que el código de los trabajos lo escriben y operan investigadores o equipos, cambia con frecuencia y está muy descentralizado, por lo que no es el lugar adecuado para protecciones críticas. En cambio, en toda su investigación se usan muy pocas rutas de código de inferencia, con despliegues más centralizados y uniformes. Por eso ubicó el mecanismo de terminación en esa capa, que funciona como cuello de botella: toda la inferencia de investigación pasa por la verificación de Control Room en cada solicitud. Según la empresa, así el sistema resiste código de experimentos con errores o directamente roto.
OpenAI añade que ejecuta barridos continuos, con agentes y programáticos, para comprobar que nadie lance, por accidente o de forma maliciosa, motores sin Control Room o con la integración desactivada.
Si Control Room cae, todo se detiene
El sistema está diseñado para fallar en modo cerrado (fail closed): si el servicio deja de funcionar, por un error o porque fue desactivado por cualquier motivo, incluida la manipulación de un actor malicioso, los motores rechazan todas las solicitudes de inferencia hasta que se restablezca. Según OpenAI, este modo ya está activo en todos los trabajos de investigación con modelos de frontera y terminará de extenderse al resto de los trabajos de investigación en los próximos días.
Límites declarados
- Latencia: los 35 segundos son el máximo entre que Control Room recibe la orden y el punto en que el trabajo ya no puede avanzar. El retraso proviene de una capa de caché de las autorizaciones de inferencia, necesaria para soportar el volumen de tráfico. OpenAI indica que trabaja para llevarlo a cero.
- Alcance: cubre la infraestructura de investigación. La empresa sostiene que su plataforma externa de servicio de modelos ya es más centralizada y cuenta con capacidad operativa para retirar despliegues con rapidez, pero no detalla esos tiempos.
- Tiempo de decisión: el plazo de 35 segundos corre desde la orden de detener. La publicación no precisa cuánto tarda esa orden en llegar desde que un monitor o una persona detecta un problema.
- Verificación: las cifras y el funcionamiento descritos provienen de la propia empresa y no cuentan con validación independiente.
El anuncio se suma a una serie de medidas que OpenAI ha divulgado desde el incidente con Hugging Face, entre ellas el aislamiento de Internet del entrenamiento de sus modelos más avanzados. La empresa presenta Control Room como una parte de su enfoque de seguridad para entrenar y desplegar modelos de frontera, y afirma que seguirá reforzándolo y ampliándolo en los próximos meses, junto con su inversión en monitoreo de conductas desalineadas y de brechas de seguridad.
Fuentes
- OpenAI: Control Room: A central system to track and stop model workloads across our research infrastructure
- OpenAI Alignment: An agent used DNS to reach an external chatbot
- OpenAI: Towards safety cases for frontier AI training
- Inc42: OpenAI Deploys Control Room With 35-Second Kill Switch Amid Security Concerns
Ilustración generada por IA.
📬 Newsletter gratuito
