Diario TI

Demis Hassabis propone una entidad público-privada para evaluar modelos de IA antes de su despliegue

El CEO de Google DeepMind propone una entidad supervisada por el gobierno estadounidense y financiada por la industria, inspirada en el modelo regulatorio de FINRA.

Demis Hassabis, director ejecutivo de Google DeepMind, propuso la creación de una entidad estadounidense de estándares para la inteligencia artificial de frontera, inspirada en el modelo de la Financial Industry Regulatory Authority (FINRA), organismo privado que supervisa a la industria financiera bajo la tutela de la Comisión de Bolsa y Valores de Estados Unidos.

La propuesta busca establecer un mecanismo de evaluación técnica para los modelos de IA más avanzados antes de su despliegue. Según Hassabis, el objetivo es anticipar riesgos asociados a capacidades cibernéticas, biológicas y de engaño, en lugar de responder a ellos una vez que los sistemas ya están disponibles.

Un esquema público-privado

De acuerdo con Quartz, la entidad tendría carácter público-privado, supervisión federal y una junta compuesta por expertos técnicos independientes, representantes del software de código abierto y funcionarios gubernamentales.

El financiamiento recaería previsiblemente en la propia industria. Hassabis plantea que el organismo requeriría recursos suficientes para contratar especialistas y realizar las evaluaciones computacionalmente intensivas que demandan los grandes modelos de IA.

En una primera etapa, los laboratorios podrían presentar voluntariamente sus modelos antes de lanzarlos. El proceso contemplaría una ventana de hasta 30 días para las revisiones. A futuro, Hassabis propone que cumplir con esas evaluaciones se transforme en una condición para que los modelos de frontera puedan operar para usuarios estadounidenses.

Qué se evaluaría

Las pruebas buscarían identificar capacidades que puedan aumentar riesgos relevantes, entre ellas usos ofensivos en ciberseguridad, posibles aplicaciones en el ámbito biológico y conductas de engaño. También podrían incluir verificaciones sobre la capacidad de los modelos para eludir mecanismos de seguridad y sobre el uso de marcas de agua en imágenes generadas por IA.

El alcance propuesto abarcaría modelos de frontera desarrollados dentro o fuera de Estados Unidos, tanto propietarios como de pesos abiertos. Los umbrales para determinar qué sistemas deben someterse a evaluación se actualizarían conforme aumenten sus capacidades.

El debate regulatorio

Hassabis ha sostenido que los avances en modelos avanzados ya plantean desafíos de ciberseguridad y que otros riesgos podrían adquirir importancia a medida que sus capacidades progresen. Su propuesta se suma a un debate más amplio sobre cómo combinar innovación, apertura tecnológica y medidas de seguridad verificables.

Otros líderes del sector han planteado alternativas. Dario Amodei, director ejecutivo de Anthropic, ha defendido la creación de una agencia similar a la Administración Federal de Aviación de Estados Unidos, con facultades explícitas para bloquear modelos considerados inseguros. Sam Altman, de OpenAI, también ha promovido la necesidad de un organismo internacional de estándares.

Por ahora, la iniciativa de Hassabis representa una propuesta de arquitectura institucional. Su adopción dependería de acuerdos entre laboratorios, autoridades y actores de la comunidad técnica, así como de la capacidad de definir criterios de evaluación que sigan siendo pertinentes frente a la rápida evolución de los modelos.

Con información de Quartz.
Ilustración: Fotografía de Demis Hassabis (c) Royal Society, con licencia de Creative Commons.

📬 Newsletter gratuito

Últimos artículos