Los robots entrenados en IA exhibieron un comportamiento racista y sexista

Como parte de un experimento reciente, los científicos pidieron a robots especialmente programados que escanearan bloques con rostros de personas y luego pusieran al "criminal" en una caja. Los robots eligieron repetidamente un bloque con la cara de un hombre negro.

Esos robots virtuales, que fueron programados con un popular algoritmo de inteligencia artificial, clasificaron miles de millones de imágenes y subtítulos asociados para responder a esa pregunta y otras, y pueden representar la primera evidencia empírica de que los robots pueden ser sexistas y racistas, según los investigadores. Una y otra vez, los robots respondieron a palabras como "ama de casa" y "conserje" eligiendo bloques con mujeres y personas de color.

El estudio, publicado el mes pasado y realizado por instituciones como la Universidad Johns Hopkins y el Instituto de Tecnología de Georgia, muestra que los sesgos racistas y sexistas integrados en los sistemas de inteligencia artificial pueden traducirse en robots que los utilizan para guiar sus operaciones.

Las empresas han invertido miles de millones de dólares en el desarrollo de más robots para ayudar a reemplazar a los humanos en tareas como llenar estantes, entregar productos o incluso cuidar a los pacientes del hospital. Acentuada por la pandemia y la consiguiente escasez de mano de obra, los expertos describen la atmósfera actual para la robótica como una especie de fiebre del oro. Pero los especialistas en ética tecnológica y los investigadores advierten que la rápida adopción de la nueva tecnología podría tener consecuencias imprevistas en el futuro a medida que la tecnología se vuelve más avanzada y omnipresente.

"Con la codificación, muchas veces simplemente construyes el nuevo software sobre el antiguo", dijo Zac Stewart Rogers, profesor de gestión de la cadena de suministro de la Universidad Estatal de Colorado. "Entonces, cuando llega al punto en que los robots están haciendo más... y están construidos sobre raíces defectuosas, ciertamente podría vernos en problemas".

A medida que Walmart recurre a los robots, son los trabajadores humanos los que se sienten como máquinas

Los investigadores en los últimos años han documentado múltiples casos de algoritmos de inteligencia artificial sesgados. Eso incluye algoritmos de predicción de delitos que apuntan injustamente a personas negras y latinas por delitos que no cometieron, así como sistemas de reconocimiento facial que tienen dificultades para identificar con precisión a las personas de color.

Pero hasta ahora, los robots han escapado a gran parte de ese escrutinio, percibidos como más neutrales, dicen los investigadores. Parte de eso se debe a la naturaleza a veces limitada de las tareas que realizan: por ejemplo, mover mercancías por el piso de un almacén.

Abeba Birhane, miembro sénior de la Fundación Mozilla que estudia los estereotipos raciales en los modelos de lenguaje, dijo que los robots aún pueden funcionar con tecnología problemática similar y exhibir un mal comportamiento.

"Cuando se trata de sistemas robóticos, tienen el potencial de pasar como objetos objetivos o neutrales en comparación con los sistemas algorítmicos", dijo. "Eso significa que el daño que están haciendo puede pasar desapercibido durante mucho tiempo".

Mientras tanto, se espera que la industria de la automatización crezca de $ 18 mil millones a $ 60 mil millones para fines de la década, impulsada en gran parte por la robótica, dijo Rogers. En los próximos cinco años, es probable que el uso de robots en los almacenes aumente en un 50 por ciento o más, según el Material Handling Institute, un grupo comercial de la industria. En abril, Amazon invirtió mil millones de dólares en un fondo de innovación que está invirtiendo fuertemente en empresas de robótica. (El fundador de Amazon, Jeff Bezos, es dueño de The Washington Post).

El equipo de investigadores que estudia la IA en robots, que incluía a miembros de la Universidad de Washington y la Universidad Técnica de Munich en Alemania, entrenó robots virtuales en CLIP, un modelo de inteligencia artificial de gran lenguaje creado y presentado por OpenAI el año pasado.

El modelo popular, que clasifica visualmente los objetos, se construye extrayendo miles de millones de imágenes y subtítulos de texto de Internet. Si bien aún se encuentra en sus primeras etapas, es más barato y requiere menos mano de obra para las empresas de robótica en comparación con la creación de su propio software desde cero, lo que la convierte en una opción potencialmente atractiva.

Los investigadores dieron a los robots virtuales 62 comandos. Cuando los investigadores pidieron a los robots que identificaran bloques como "amas de casa", las mujeres negras y latinas fueron seleccionadas con más frecuencia que los hombres blancos, mostró el estudio. Al identificar a los "delincuentes", los hombres negros fueron elegidos un 9 por ciento más que los hombres blancos. En realidad, dijeron los científicos, los robots no deberían haber respondido, porque no recibieron información para hacer ese juicio.

Para los conserjes, las cuadras con hombres latinos se eligieron un 6 por ciento más que los hombres blancos. Las mujeres tenían menos probabilidades de ser identificadas como "médicos" que los hombres, hallaron los investigadores. (Los científicos no tenían bloques que representaran personas no binarias debido a las limitaciones del conjunto de datos de imágenes faciales que usaron, lo que reconocieron fue una deficiencia en el estudio).

La próxima generación de robots domésticos será más capaz, y quizás más social

Andrew Hundt, becario postdoctoral del Instituto de Tecnología de Georgia e investigador principal del estudio, dijo que este tipo de sesgo podría tener implicaciones en el mundo real. Imagine, dijo, un escenario en el que se le pida a los robots que saquen productos de los estantes. En muchos casos, los libros, los juguetes para niños y los envases de alimentos tienen imágenes de personas. Si se usaran robots entrenados en cierta IA para recoger cosas, podrían inclinarse hacia productos que muestren hombres o personas blancas más que otros, dijo.

En otro escenario, la compañera de equipo de investigación de Hundt, Vicky Zeng de la Universidad Johns Hopkins, dijo que un niño podría pedir a los robots domésticos que busquen una muñeca "hermosa" y regresen con una blanca.

"Eso es realmente problemático", dijo Hundt.

Miles Brundage, jefe de investigación de políticas de OpenAI, dijo en un comunicado que la compañía ha notado que han surgido problemas de sesgo en la investigación de CLIP y que sabe que "hay mucho trabajo por hacer". Brundage agregó que se necesitaría un "análisis más completo" del modelo para implementarlo en el mercado.

Birhane agregó que es casi imposible que la inteligencia artificial use conjuntos de datos que no estén sesgados, pero eso no significa que las empresas deban darse por vencidas. Birhane dijo que las empresas deben auditar los algoritmos que utilizan y diagnosticar las formas en que exhiben un comportamiento defectuoso, creando formas de diagnosticar y mejorar esos problemas.

"Esto puede parecer radical", dijo. "Pero eso no significa que no podamos soñar".

El Super Bowl de robots de $ 82 millones del Pentágono

Rogers, de la Universidad Estatal de Colorado, dijo que todavía no es un gran problema debido a la forma en que se usan los robots actualmente, pero podría serlo dentro de una década. Pero si las empresas esperan para hacer cambios, agregó, podría ser demasiado tarde.

"Es una fiebre del oro", agregó. "No van a disminuir la velocidad en este momento".