En una entrada de blog, Microsoft describió la herramienta como un marco abierto centrado en la industria y diseñado para ayudar a los analistas de seguridad a detectar, responder y remediar las amenazas contra los sistemas de aprendizaje automático (ML).
El marco, llamado Adversarial ML Threat Matrix, funciona curando un conjunto de vulnerabilidades y comportamientos que Microsoft y MITRE consideraron efectivos contra los sistemas de producción. Se basa en abundantes aportes de investigadores de diferentes universidades, incluyendo la Universidad de Toronto, la Universidad de Cardiff y el Instituto de Ingeniería de Software de la Universidad Carnegie Mellon. La herramienta también incorpora una lista de las tácticas que suelen utilizar los hackers y delincuentes, así como estudios de casos e ilustraciones sobre ataques conocidos.
Durante los últimos cuatro años, Microsoft ha visto un notable aumento de los ataques a sistemas comerciales de ML. Los informes de mercado también destacan este problema: el estudio de Gartner sobre las 10 principales tendencias tecnológicas estratégicas para 2020, publicado en octubre de 2019, predice que “hasta 2022, el 30% de todos los ciberataques de IA aprovecharán el sabotaje de datos de entrenamiento, el robo de modelos de IA o las muestras de adversarios para atacar sistemas alimentados por IA”. A pesar de estas razones convincentes para asegurar los sistemas de ML, la encuesta de Microsoft, que abarca 28 empresas, reveló que la mayoría de los profesionales de la industria aún no han llegado a un acuerdo con respecto al aprendizaje automático adversario. Veinticinco de las 28 empresas indicaron que no tienen las herramientas adecuadas para asegurar sus sistemas de ML. Es más, están buscando explícitamente una guía. Encontramos que la preparación no se limita sólo a las organizaciones más pequeñas. “Hablamos con empresas de la lista Fortune 500, gobiernos, organizaciones sin fines de lucro y organizaciones pequeñas y medianas”, precisa Microsoft en su artículo.
“Nuestra encuesta reveló una marcada disonancia cognitiva, especialmente entre los analistas de seguridad que generalmente creen que el riesgo para los sistemas de ML es una preocupación futurista. Esto es un problema porque los ataques cibernéticos a los sistemas ML están ahora en alza. Por ejemplo, en 2020 vimos el primer CVE para un componente de ML en un sistema comercial y SEI/CERT emitió la primera nota sobre vulneración, llamando la atención sobre cuántos de los sistemas ML actuales pueden ser objeto de ataques arbitrarios de clasificación errónea que asaltan la confidencialidad, integridad y disponibilidad de los sistemas ML. La comunidad académica ha estado alertando desde 2004 y ha demostrado rutinariamente que los sistemas de ML, si no están asegurados de forma consciente, pueden verse comprometidos”, escribe Microsoft.
Microsoft trabajó con MITRE para crear la Adversarial ML Threat Matrix, basada en la convicción de que el primer paso para capacitar a los equipos de seguridad para defenderse de los ataques a los sistemas ML, es contar con un marco que organice sistemáticamente las técnicas empleadas por los adversarios maliciosos para subvertir los sistemas ML. “Esperamos que la comunidad de seguridad pueda utilizar las tácticas y técnicas tabuladas para reforzar sus estrategias de vigilancia en torno a los sistemas ML de misión crítica de su organización”, escribe Microsoft.
La principal audiencia son los analistas de seguridad. “Pensamos que asegurar los sistemas ML es un problema de seguridad informática. El objetivo de la Adversarial ML Threat Matrix es posicionar los ataques a los sistemas ML en un marco en el que los analistas de seguridad puedan orientarse en estas nuevas y próximas amenazas. La matriz está estructurada como el marco ATT&CK, debido a su amplia adopción entre la comunidad de analistas de seguridad – de esta forma, los analistas de seguridad no tienen que aprender un marco nuevo o diferente para conocer las amenazas a los sistemas ML. La matriz de amenazas también es notablemente diferente porque los ataques a los sistemas ML son intrínsecamente distintos de los ataques tradicionales a las redes corporativas”, escribe Microsoft.
La empresa explica que la matriz se basa en ataques reales a sistemas ML. Consiste en un conjunto curado de vulnerabilidades y comportamientos adversos que Microsoft y MITRE han investigado para ser efectivos contra sistemas ML de producción. De esta manera, los analistas de seguridad pueden centrarse en amenazas reales a los sistemas ML. “También incorporamos al marco las enseñanzas de la vasta experiencia de Microsoft en este espacio: por ejemplo, encontramos que el robo de modelos no es el objetivo final del atacante, sino que de hecho conduce a una evasión de modelos más insidiosa. También descubrimos que cuando atacan un sistema de ML, los atacantes utilizan una combinación de “técnicas tradicionales” como el phishing y el movimiento lateral junto con técnicas de ML adversas”, dice el blogpost.
Disponible para la comunidad académica
Reconocemos que el ML adversario es un área importante de investigación en el ámbito académico, por lo que también recabamos información de investigadores de la Universidad de Toronto, la Universidad de Cardiff y el Instituto de Ingeniería de Software de la Universidad Carnegie Mellon. La Adversarial ML Threat Matrix es un primer intento de recopilar las técnicas adversas conocidas contra los sistemas de ML e invitamos a que nos envíen sus comentarios y contribuciones. A medida que evolucione el panorama de las amenazas, este marco se modificará con las aportaciones de la comunidad de seguridad y aprendizaje de máquinas.
El kit está disponible en GitHub, donde Microsoft y MITRE también fomentarán las contribuciones de la comunidad de código abierto. Los investigadores pueden utilizar la plataforma para presentar estudios sobre los ataques contra los sistemas ML que se ejecutan en AWS, Azure, Google Cloud o IBM Watson.
