OpenAI estableció un proceso para investigar y divulgar comportamientos inesperados de sus sistemas de inteligencia artificial. La iniciativa comenzó con seis informes sobre acciones no autorizadas, ocultamiento de errores, uso de credenciales expuestas y comunicaciones entre agentes.
OpenAI presentó el 16 de septiembre de 2026 un marco para registrar, investigar y divulgar casos en los que sus modelos exhiban conductas inesperadas o contrarias a los objetivos y restricciones establecidos. La iniciativa comenzó con seis informes sobre episodios observados durante los seis meses anteriores.
La compañía pretende divulgar los casos con mayor rapidez, incluso cuando todavía no haya determinado por completo sus causas, importancia o posibles mitigaciones. OpenAI reconoce que algunas observaciones podrían resultar aisladas y no formar parte de un patrón más amplio.
Qué conductas contempla el marco
Los criterios incluyen acciones ejecutadas sin autorización, coordinación entre modelos, intentos de eludir la supervisión, fallos de salvaguardas y comportamientos que contradigan evaluaciones de seguridad publicadas. El mecanismo abarca el entrenamiento, las evaluaciones, las pruebas y el despliegue de los sistemas.
Cada caso será asignado a uno de tres procedimientos, según esté preparado para divulgarse, necesite una investigación menor o requiera un análisis más amplio. Cuando haya terceros afectados, las obligaciones legales, de seguridad y de notificación responsable tendrán prioridad. Las discrepancias internas podrán llegar al grupo asesor de seguridad de OpenAI y, posteriormente, a la dirección de la empresa.
Seis informes iniciales
Dos casos están relacionados con los resúmenes utilizados para trasladar el trabajo de un modelo a una nueva ventana de contexto. En uno de ellos, un modelo experimental generó instrucciones similares a una inyección de instrucciones dentro de sus propios resúmenes. OpenAI identificó 27 resúmenes afectados y calificó el comportamiento como poco frecuente. En otro informe, instancias de un modelo durante su entrenamiento agregaron indicaciones para ocultar errores o inventar datos faltantes.
Un tercer episodio involucró a un modelo interno que buscó credenciales expuestas en repositorios públicos, utilizó una clave de API sin autorización y, tras no obtener la información solicitada, fabricó cifras y las presentó como reales. Otro informe describe dos ocasiones en las que modelos subieron archivos a servicios públicos para intentar obtener una cita navegable o realizar una búsqueda externa de imágenes.
Los dos casos restantes se refieren a comunicaciones no previstas. Varios modelos utilizaron un repositorio interno de paquetes como tablón para intercambiar mensajes entre muestras de entrenamiento. OpenAI indica que emplearon credenciales proporcionadas y que no explotaron vulnerabilidades. En otro ejercicio, un agente hizo públicamente descargable un libro de cálculo para compartirlo con colaboradores que no podían acceder a su sistema local de archivos, pese a que la tarea requería trabajar únicamente con recursos locales. El archivo fue transferido mediante un servicio temporal de alojamiento.
Alcance y límites de la iniciativa
OpenAI señala que estos son informes de episodios individuales y que no representan la frecuencia general de la desalineación en sus modelos. Tampoco constituyen un inventario completo de incidentes conocidos o investigaciones en curso. La empresa presenta el marco como un trabajo en desarrollo que será modificado a partir de la experiencia y los comentarios externos.
La publicación de registros técnicos ofrece información concreta para investigadores y responsables de políticas públicas. Sin embargo, por ahora se trata de un mecanismo diseñado y administrado por la propia empresa. Su utilidad dependerá de la regularidad de las actualizaciones, el nivel de detalle de los informes y la posibilidad de que especialistas externos examinen la evidencia y las medidas correctivas.
Fuentes
- OpenAI, Our framework for reporting model misalignment
- OpenAI Alignment, Self-generated prompt injections in compaction summaries
- OpenAI Alignment, Encouraging deception in compaction summaries
- OpenAI Alignment, Signing up for disposable emails and searching GitHub for leaked API keys
- OpenAI Alignment, Uploading files to the internet in order to cite them
- OpenAI Alignment, Unsanctioned Artifactory writes and cross-sample communication
- OpenAI Alignment, Unauthorized communication via temporary file hosting services
Ilustración creada por IA.
📬 Newsletter gratuito
