Diario TI

NVIDIA reúne a más de 30 organizaciones para desarrollar herramientas abiertas de seguridad de IA

La Open Secure AI Alliance reúne a Microsoft, Linux Foundation, CrowdStrike, Hugging Face y otras organizaciones. Su primera contribución concreta es NOOA, un framework abierto para desarrollar y auditar agentes de IA.

NVIDIA presentó la Open Secure AI Alliance, una coalición formada por más de 30 organizaciones que buscará desarrollar y compartir tecnologías abiertas para proteger modelos, aplicaciones y agentes de inteligencia artificial.

La lista inaugural incluye a Microsoft, Cisco, Cloudflare, CrowdStrike, Dell Technologies, HPE, Hugging Face, IBM, Linux Foundation, Palo Alto Networks, Red Hat, Salesforce, SAP, ServiceNow, Siemens y Snowflake, entre otras organizaciones vinculadas con infraestructura, software empresarial, ciberseguridad e investigación de IA.

La participación no depende únicamente del anuncio de NVIDIA. La Linux Foundation confirmó que se incorpora como miembro inaugural, mientras que CrowdStrike, HPE y Red Hat publicaron comunicaciones separadas sobre su adhesión.

La alianza plantea desarrollar técnicas y herramientas para identificar, corregir y divulgar vulnerabilidades, además de mejorar la seguridad de toda la estructura que rodea a los agentes de IA. Esto comprende los modelos, las herramientas que controlan su ejecución, los permisos, los registros, los mecanismos de aislamiento y las evaluaciones de seguridad.

NOOA, la primera contribución concreta

Como parte del lanzamiento, NVIDIA puso a disposición pública NVIDIA Labs Object-Oriented Agents (NOOA), un framework experimental en Python para desarrollar agentes de IA mediante una estructura orientada a objetos.

El proyecto permite reunir en una misma clase el estado del agente, sus herramientas, instrucciones e interfaces tipadas. Según su documentación, el diseño busca facilitar las pruebas, el seguimiento de las acciones, las auditorías y la aplicación de controles sobre el comportamiento de los agentes.

NOOA es independiente del modelo utilizado y se distribuye bajo licencia Apache 2.0. Se trata de un framework de investigación y desarrollo, no de un producto terminado que garantice por sí mismo la seguridad de un agente.

NVIDIA también anunció que aportará modelos, pesos, datos e investigación sobre sistemas de ejecución de agentes. Sin embargo, el comunicado no identifica todavía todas esas contribuciones ni establece cuándo estarán disponibles.

Una coalición técnica y política

El lanzamiento tiene además una dimensión regulatoria. Sus integrantes sostienen que los modelos con pesos abiertos y las herramientas inspeccionables deben considerarse recursos defensivos, en lugar de ser tratados únicamente como riesgos de seguridad.

La posición de la alianza es que los equipos de ciberseguridad necesitan poder ejecutar modelos en su propia infraestructura, analizar su funcionamiento y adaptarlos a entornos donde los datos no pueden enviarse a servicios externos. Al mismo tiempo, NVIDIA reconoce que estos modelos también pueden modificarse o utilizarse con fines ofensivos y que requieren evaluaciones, controles y reglas contra usos maliciosos.

El anuncio menciona proyectos ya existentes de los participantes, como SPIFFE y SPIRE para identidades de cargas de trabajo, Safetensors para almacenar pesos de modelos, Lightwell para verificar componentes de software y MDASH para analizar vulnerabilidades mediante varios agentes. Estas iniciativas ilustran el tipo de infraestructura que la coalición quiere conectar, pero no fueron creadas como resultado de la nueva alianza.

El precedente de Hugging Face

NVIDIA y la Linux Foundation utilizan como antecedente el incidente de seguridad informado por Hugging Face en julio. Durante el análisis forense, la plataforma procesó más de 17.000 eventos relacionados con una intrusión ejecutada mediante agentes de IA.

Hugging Face afirma que inicialmente intentó utilizar modelos avanzados ofrecidos mediante API, pero las solicitudes fueron bloqueadas porque los registros contenían comandos de ataque, cargas maliciosas y otros elementos que activaron sus protecciones. La empresa terminó ejecutando GLM 5.2, un modelo con pesos abiertos, dentro de su propia infraestructura.

La plataforma no identificó a los proveedores cuyos servicios rechazaron las solicitudes. Por lo tanto, el episodio demuestra una limitación práctica de los servicios utilizados durante ese análisis, pero no permite atribuir el bloqueo a una empresa específica.

Diario TI informó anteriormente sobre el acceso no autorizado a Hugging Face durante una evaluación interna de modelos de OpenAI y sobre las preguntas técnicas que todavía permanecen abiertas.

Gobernanza y calendario todavía pendientes

El anuncio inicial no explica cómo se gobernará la Open Secure AI Alliance, qué recursos aportará cada integrante, quién decidirá sus prioridades ni qué calendario seguirá para publicar resultados conjuntos. Tampoco presenta metas técnicas cuantificables o un mecanismo común para evaluar la seguridad de las futuras herramientas.

Por ahora, el resultado verificable del lanzamiento es la publicación de NOOA, la confirmación de los miembros inaugurales y el compromiso de compartir nuevas técnicas y herramientas. El alcance efectivo de la coalición dependerá de las contribuciones que sus integrantes publiquen después del anuncio.

Fuentes: anuncio de NVIDIA; confirmación de Linux Foundation; repositorio de NOOA; informe de Hugging Face.

📬 Newsletter gratuito

Últimos artículos