Microsoft, IBM y NVIDIA colaboran en matriz contra ataques a sistemas ML

Microsoft, la Corporaci贸n sin fines de lucro MITRE, IBM, NVIDIA y un grupo de otras empresas colaboran en un nuevo marco llamado Adversarial ML Threat Matrix.

En una entrada de blog, Microsoft describi贸 la herramienta como un marco abierto centrado en la industria y dise帽ado para ayudar a los analistas de seguridad a detectar, responder y remediar las amenazas contra los sistemas de aprendizaje autom谩tico (ML).

El marco, llamado Adversarial ML Threat Matrix, funciona curando un conjunto de vulnerabilidades y comportamientos que Microsoft y MITRE consideraron efectivos contra los sistemas de producci贸n. Se basa en abundantes aportes de investigadores de diferentes universidades, incluyendo la Universidad de Toronto, la Universidad de Cardiff y el Instituto de Ingenier铆a de Software de la Universidad Carnegie Mellon. La herramienta tambi茅n incorpora una lista de las t谩cticas que suelen utilizar los hackers y delincuentes, as铆 como estudios de casos e ilustraciones sobre ataques conocidos.

Durante los 煤ltimos cuatro a帽os, Microsoft ha visto un notable aumento de los ataques a sistemas comerciales de ML. Los informes de mercado tambi茅n destacan este problema: el estudio de Gartner sobre las 10 principales tendencias tecnol贸gicas estrat茅gicas para 2020, publicado en octubre de 2019, predice que “hasta 2022, el 30% de todos los ciberataques de IA aprovechar谩n el sabotaje de datos de entrenamiento, el robo de modelos de IA o las muestras de adversarios para atacar sistemas alimentados por IA”. A pesar de estas razones convincentes para asegurar los sistemas de ML, la encuesta de Microsoft, que abarca 28 empresas, revel贸 que la mayor铆a de los profesionales de la industria a煤n no han llegado a un acuerdo con respecto al aprendizaje autom谩tico adversario. Veinticinco de las 28 empresas indicaron que no tienen las herramientas adecuadas para asegurar sus sistemas de ML. Es m谩s, est谩n buscando expl铆citamente una gu铆a. Encontramos que la preparaci贸n no se limita s贸lo a las organizaciones m谩s peque帽as. “Hablamos con empresas de la lista Fortune 500, gobiernos, organizaciones sin fines de lucro y organizaciones peque帽as y medianas”, precisa Microsoft en su art铆culo.

“Nuestra encuesta revel贸 una marcada disonancia cognitiva, especialmente entre los analistas de seguridad que generalmente creen que el riesgo para los sistemas de ML es una preocupaci贸n futurista. Esto es un problema porque los ataques cibern茅ticos a los sistemas ML est谩n ahora en alza. Por ejemplo, en 2020 vimos el primer CVE para un componente de ML en un sistema comercial y SEI/CERT emiti贸 la primera nota sobre vulneraci贸n, llamando la atenci贸n sobre cu谩ntos de los sistemas ML actuales pueden ser objeto de ataques arbitrarios de clasificaci贸n err贸nea que asaltan la confidencialidad, integridad y disponibilidad de los sistemas ML. La comunidad acad茅mica ha estado alertando desde 2004 y ha demostrado rutinariamente que los sistemas de ML, si no est谩n asegurados de forma consciente, pueden verse comprometidos”, escribe Microsoft.

Microsoft trabaj贸 con MITRE para crear la Adversarial ML Threat Matrix, basada en la convicci贸n de que el primer paso para capacitar a los equipos de seguridad para defenderse de los ataques a los sistemas ML, es contar con un marco que organice sistem谩ticamente las t茅cnicas empleadas por los adversarios maliciosos para subvertir los sistemas ML. “Esperamos que la comunidad de seguridad pueda utilizar las t谩cticas y t茅cnicas tabuladas para reforzar sus estrategias de vigilancia en torno a los sistemas ML de misi贸n cr铆tica de su organizaci贸n”, escribe Microsoft.

La principal audiencia son los analistas de seguridad. “Pensamos que asegurar los sistemas ML es un problema de seguridad inform谩tica. El objetivo de la Adversarial ML Threat Matrix es posicionar los ataques a los sistemas ML en un marco en el que los analistas de seguridad puedan orientarse en estas nuevas y pr贸ximas amenazas. La matriz est谩 estructurada como el marco ATT&CK, debido a su amplia adopci贸n entre la comunidad de analistas de seguridad – de esta forma, los analistas de seguridad no tienen que aprender un marco nuevo o diferente para conocer las amenazas a los sistemas ML. La matriz de amenazas tambi茅n es notablemente diferente porque los ataques a los sistemas ML son intr铆nsecamente distintos de los ataques tradicionales a las redes corporativas”, escribe Microsoft.

La empresa explica que la matriz se basa en ataques reales a sistemas ML. Consiste en un conjunto curado de vulnerabilidades y comportamientos adversos que Microsoft y MITRE han investigado para ser efectivos contra sistemas ML de producci贸n. De esta manera, los analistas de seguridad pueden centrarse en amenazas reales a los sistemas ML. “Tambi茅n incorporamos al marco las ense帽anzas de la vasta experiencia de Microsoft en este espacio: por ejemplo, encontramos que el robo de modelos no es el objetivo final del atacante, sino que de hecho conduce a una evasi贸n de modelos m谩s insidiosa. Tambi茅n descubrimos que cuando atacan un sistema de ML, los atacantes utilizan una combinaci贸n de “t茅cnicas tradicionales” como el phishing y el movimiento lateral junto con t茅cnicas de ML adversas”, dice el blogpost.

Disponible para la comunidad acad茅mica

Reconocemos que el ML adversario es un 谩rea importante de investigaci贸n en el 谩mbito acad茅mico, por lo que tambi茅n recabamos informaci贸n de investigadores de la Universidad de Toronto, la Universidad de Cardiff y el Instituto de Ingenier铆a de Software de la Universidad Carnegie Mellon. La Adversarial ML Threat Matrix es un primer intento de recopilar las t茅cnicas adversas conocidas contra los sistemas de ML e invitamos a que nos env铆en sus comentarios y contribuciones. A medida que evolucione el panorama de las amenazas, este marco se modificar谩 con las aportaciones de la comunidad de seguridad y aprendizaje de m谩quinas.

El kit est谩 disponible en GitHub, donde Microsoft y MITRE tambi茅n fomentar谩n las contribuciones de la comunidad de c贸digo abierto. Los investigadores pueden utilizar la plataforma para presentar estudios sobre los ataques contra los sistemas ML que se ejecutan en AWS, Azure, Google Cloud o IBM Watson.


驴Desea suscribirse a nuestro newsletter?

Contacto | Diario TI es una publicaci贸n de MPA Publishing International Ltd.