Google desarrolla “interruptor de emergencia” para Inteligencia Artificial

La empresa considera imprescindible que exista la capacidad de intervenir cuando la inteligencia artificial pueda ser perjudicial para sí misma o para los humanos.

En el sector tecnológico hay opiniones encontradas sobre el ritmo y alcance de los desarrollos en inteligencia artificial. Una de las principales preocupaciones en tal sentido es que el desarrollo sea tan acelerado que se pierda control de la situación. En enero de 2015, un grupo de 150 científicos firmó una carta abierta donde proponían dar prioridad a las investigaciones que permitiesen controlar adecuadamente la inteligencia artificial. “Hay pleno consenso en que las investigaciones sobre inteligencia artificial consiguen cada vez nuevos avances, y que es probable que la IA en grado cada vez mayor tenga un efecto en la sociedad. Las potenciales ventajas son enormes, debido a que todo lo que actualmente ofrece la sociedad es resultado de la inteligencia humana. No podemos prever los resultados que sería posible alcanzar cuando esta inteligencia sea incrementada con la ayuda de herramientas derivadas de la inteligencia artificial; uno de tales escenarios es la eliminación de las enfermedades y la pobreza. Debido al mayúsculo potencial que representa la inteligencia artificial es importante investigar sobre la forma en que es posible aprovechar las ventajas, pero evitando los peligros”, explicar los científicos en la misiva.

Aunque las aprensiones están inspiradas principalmente en la ciencia ficción, el sector considera importante prevenir el surgimiento de situaciones peligrosas, o en último caso abortarlas.

Producto de lo anterior, científicos de Google DeepMind, en colaboración con colegas de la Universidad de Oxford, buscan desarrollar un interruptor que dé a los operadores humanos la posibilidad de “apagar” sistemas de machine learning en caso de ser necesario.

En un artículo (documento PDF de 18 páginas),elaborado por Laurent Orseau, de Google DeepMind y Stuart Armstrong de The Future of Humanity Institute (Instituto del Futuro de la Humanidad), de la Universidad de Oxford, indican que un mecanismo de interrupción de tales características será relevante para un tipo específico de inteligencia artificial; es decir, agentes basados en el aprendizaje por refuerzo, donde individuos intentan, dentro de un contexto predeterminado, encontrar la solución ideal, y donde son premiados o sancionados dependiendo si el procedimiento elegido les acerca o aleja de una solución.

Según los investigadores, es improbable que este tipo de agentes tengan un comportamiento óptimo en todo momento al interactuar con sistemas complejos, como por ejemplo la vida real.

“Si un agente de este tipo opera en tiempo real bajo supervisión humana, será necesario ocasionalmente que el operador humano active el botón rojo para impedir que el agente continúe ejecutando una secuencia dañina, con actos dañinos ya sea para el agente o para su entorno, consiguiéndose así llevarle a una situación más segura. Sin embargo, si el agente en esta situación de aprendizaje espera ser premiado por tal secuencia es posible que también aprenda a evitar ser interrumpido, por ejemplo desactivando el botón rojo. Esto sería, indudablemente, un despropósito”, escriben los científicos en el artículo.

En el artículo se describe, por lo tanto, la posibilidad de asegurar a los operadores humanos que un agente de aprendizaje automático no aprenda la forma de impedir, o facilitar, una interrupción de sus actividades, ya sea por el entorno o por un operador humano.

Aunque otros expertos anteriormente han demostrado que distintos tipos de algoritmos pueden ser interrumpidos mediante procedimientos seguros, ya sea directamente o mediante un ajuste de procedimientos y configuración, hasta ahora no han podido garantizar que el procedimiento de interrupción sea aplicable a todo tipo de algoritmos.

Google compró la empresa británica DeepMind en 2014. Su proyecto más conocido es AlphaGo, software que venció al mejor gamer del mundo, Lee Sedol, en un torneo.

The Future of Humanity Institute de la Universidad de Oxford concentra sus investigaciones en aspectos holísticos de la humanidad, incluyendo amenazas contra su subsistencia.

Ilustración © Imredesiuk vía Shutterstock


Únase a la conversación

Contacto | Diario TI es una publicación de MPA Publishing International Ltd., Reino Unido. © Copyright 1997-2022