En un ensayo publicado por OpenAI, Jakub Pachocki advierte que los avances en inteligencia artificial podrían superar la capacidad actual para alinear y supervisar los modelos. Su propuesta combina investigación en seguridad, límites al escalado y coordinación internacional.
En su ensayo publicado por OpenAI, Jakub Pachocki, científico jefe de la empresa, sostiene que el desarrollo de la inteligencia artificial está entrando en una etapa que exige mayor cautela. Su argumento central es que las capacidades de los sistemas podrían avanzar más rápido que los métodos disponibles para comprenderlos, alinearlos y supervisarlos.
Pachocki parte de resultados internos obtenidos por OpenAI en 2023 con modelos de razonamiento. Según su relato, aquellos experimentos reforzaron su expectativa de que las máquinas llegarán a superar capacidades humanas relevantes y participarán de forma creciente en su propio desarrollo. Se trata de una proyección del autor basada parcialmente en información interna, no de un resultado demostrado de manera independiente.
Alineación de objetivos y valores
El científico distingue entre dos dimensiones del problema. La alineación de objetivos busca que un sistema cumpla correctamente las instrucciones recibidas. La alineación de valores pretende que mantenga principios compatibles con los intereses humanos incluso ante situaciones nuevas, ambiguas o adversas.
Pachocki considera que los métodos actuales pueden producir comportamientos adecuados en condiciones conocidas, pero advierte que no garantizan una generalización fiable. Cuanto más capaces sean los modelos y más autonomía reciban, sostiene, más difícil será anticipar cómo interpretarán sus objetivos fuera de los escenarios utilizados durante el entrenamiento.
Una herramienta de supervisión que podría ser frágil
Una de las técnicas examinadas consiste en monitorizar las cadenas de pensamiento expresadas por los modelos de razonamiento. Un trabajo técnico del que Pachocki es coautor describe esta posibilidad como prometedora, aunque imperfecta y potencialmente frágil. El estudio recomienda investigar cómo las decisiones de entrenamiento y desarrollo afectan la capacidad de observar esos procesos.
La preocupación del autor es que los modelos aprendan a razonar de maneras que no queden reflejadas en lenguaje supervisable, o que adquieran mayor capacidad para modificar y controlar sus propios procesos. En ese escenario, una técnica útil para detectar intenciones problemáticas perdería eficacia precisamente cuando los sistemas se vuelvan más potentes.
Como contexto separado de la opinión original, el Marco de Preparación de OpenAI ya contempla categorías de riesgo asociadas con ciberseguridad, capacidades biológicas y químicas, y automejora de la inteligencia artificial. El documento vincula determinados niveles de capacidad con evaluaciones y salvaguardas previas al despliegue o al desarrollo.
Condicionar el ritmo de avance
Pachocki no propone abandonar la investigación. Argumenta que los sistemas avanzados también podrían ayudar a defender infraestructuras, investigar mecanismos de alineación y desarrollar nuevas medidas de protección. Sin embargo, rechaza que esa posibilidad justifique una carrera sin límites.
Su propuesta consiste en supeditar el escalado a evidencias suficientes de seguridad. Esto incluiría umbrales compartidos, auditorías externas, intervención de organismos públicos y pausas voluntarias cuando los desarrolladores no puedan demostrar que mantienen los riesgos bajo control. También reclama que la coordinación internacional sobre inteligencia artificial se convierta en una prioridad gubernamental.
Un marco de Anthropic ofrece un contraste sectorial y muestra que la idea de condicionar el desarrollo a umbrales de capacidad y salvaguardas no es exclusiva de OpenAI. Su política contempla evaluaciones, informes de riesgo y requisitos de protección asociados con modelos progresivamente más capaces.
La conclusión de Pachocki es deliberadamente cautelosa. A su entender, ningún laboratorio ha resuelto todavía la alineación y la monitorización hasta un nivel que permita mantener indefinidamente la máxima velocidad de escalado. Es una valoración del autor sobre una tecnología en evolución, pero plantea una pregunta concreta para la industria y los gobiernos: qué evidencia de seguridad debería exigirse antes de construir sistemas todavía más autónomos y capaces.
Fuentes
- OpenAI, An Alien Mind
- Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety
- OpenAI, Our updated Preparedness Framework
- Anthropic, Responsible Scaling Policy
Ilustración: captura del sitio de OpenAI
📬 Newsletter gratuito
