NVIDIA Corp. ha presentado NeMo Guardrails, un marco de código abierto para que los desarrolladores mejoren la precisión y la seguridad de los chatbots generativos de IA. El software surge en respuesta a la rápida adopción de grandes modelos de lenguaje (LLM) en diversas industrias.
Estos chatbots impulsados por LLM pueden “alucinar”, proporcionando información falsa, o producir respuestas erráticas. “La seguridad en la IA generativa es una preocupación de toda la industria”, afirma Jonathan Cohen, vicepresidente de investigación aplicada de NVIDIA, citado en el blog de NVIDIA. NeMo Guardrails pretende hacer más seguras las aplicaciones impulsadas por IA controlando las conversaciones entre usuarios y chatbots en términos de temas, seguridad y protección.
El marco ofrece tres tipos de guardrails:
- Temática: Garantiza que las conversaciones se ciñan al tema y mantengan un tono coherente.
- Seguridad: Reduce las alucinaciones haciendo que la información sea precisa y desalentando el lenguaje inapropiado o el comportamiento tóxico.
- Seguridad: Evita los “jailbreaks” y restringe la conexión de la IA a aplicaciones de terceros no seguras.
NeMo Guardrails es compatible con varias herramientas y aplicaciones empresariales de IA, incluidas LangChain y la plataforma de automatización de Zapier Inc. “La seguridad y la confianza son las piedras angulares del desarrollo responsable de la IA”, afirma Reid Robinson, director de producto de IA en Zapier, citado en el blog de la empresa.
El marco se incorporará a NeMo de NVIDIA, lo que permitirá a los desarrolladores crear, personalizar y desplegar modelos generativos de IA utilizando datos propios. La mayor parte del marco NeMo está disponible en GitHub, y NeMo se ofrece como servicio a través de la AI Foundation de NVIDIA para clientes empresariales.
Cohen se mostró optimista sobre el lanzamiento del código abierto, con la esperanza de que conduzca a una adopción más amplia de NeMo Guardrails para construir modelos más seguros y protegidos. “Nuestro objetivo es permitir que el ecosistema de grandes modelos lingüísticos evolucione de forma segura, eficaz y útil”, afirmó Cohen. “El sistema guardrails resuelve ese problema”.
