 |
 |
|
|||||||||
| Julio Vallejo e Ignacio López Francos |
|||||||||||
|
Hoy día la llamada inteligencia artificial es omnipresente
en todos los ámbitos de nuestras vidas y la mayoría de la veces sin siquiera darnos cuenta: cuando se pide un préstamo en el banco, la solicitud es procesada y evaluada por un algoritmo; cuando se escribe un mensaje en el teléfono celular, el autocorrector se adelanta para predecir la siguiente palabra que se va a escribir; cuando se manda un curriculum a un gran corporativo respondiendo a una oferta de trabajo, es un algoritmo el que hace el filtro inicial para elegir a los candidatos más “cualificados” para el puesto.
Conforme los algoritmos se incorporan más y más a nuestras vidas y procesos se convierten en tomadores de decisiones que debemos observar con cuidado para evitar que se conviertan en replicadores de sesgos y amplificadores de prejuicios presentes en la sociedad.
Existe la percepción errónea de que la inteligencia artificial es infalible y los resultados son de cierta manera “justos”. Sin embargo, esto está aún muy lejos de la realidad. Basta con ver algunos casos que ilustran cómo los algoritmos han replicado los sesgos y prejuicios de la sociedad donde fueron desarrollados: 1) en 2017, el gigante del comercio electrónico, Amazon, tuvo que suspender el uso de su herramienta de inteligencia artificial para reclutamiento al descubrir que su algoritmo discriminaba a las mujeres. Había invertido años en el desarrollo de este programa con el afán de automatizar el proceso de reclutamiento. La idea era que el sistema fuera capaz de analizar el gran volumen de currículums que la compañía recibe a diario y que, en forma automática, destacase a los mejores candidatos, para lo cual se entrenó el algoritmo utilizando curriculums de gente que había aplicado a Amazon durante las décadas anteriores. Históricamente, el sector tecnológico ha estado dominado por hombres, por lo que la mayor parte de historial de curriculums utilizados para entrenar el algoritmo correspondía a hombres. Así, el sistema aprendió, entre otras cosas, a degradar aquellos currículums que incluyeran la palabra “mujer”. Al mismo tiempo, aprendió a dar una puntuación más alta a las palabras “ejecuté” y “capturé”, las cuales, aparentemente, están más presentes en currículums de hombres ingenieros. El equipo que lo desarrollaba trató de impedir que el sistema tomara tales factores en consideración, pero el algoritmo encontraba siempre nuevas maneras de discriminar contra las mujeres.
2) otro caso es el de Microsoft, que en 2016 creó Tay, un chatbot de inteligencia artificial y un proyecto de aprendizaje diseñado para la interacción con humanos. La intención era que Tay se expresara como un “milenial”, aprendiendo de la gente con la que tuviera interacción a través de Twitter así como en las aplicaciones para mensajes Kik y GroupMe. Tay era capaz de llevar a cabo varias funciones, como contar chistes a los usuarios o comentar sobre una foto que se le mandara. Pero también fue diseñada para personalizar sus interacciones con los diferentes usuarios, como contestar preguntas específicas y reflejar las frases de cada usuario utilizando otras palabras. A las pocas horas de ser lanzado y comenzar su interacción con seres humanos reales, Tay comenzó a emitir mensajes racistas y xenófobos por lo que tuvo que ser desactivada a tan sólo dieciséis horas de su lanzamiento (figura 1). Los tweets de Tay evolucionaron en unas pocas horas de “¡los humanos son súper cool!” a “Hitler estaba en lo correcto”.
Lo que hay que entender es que la inteligencia artificial, sin unos parámetros de comportamiento definidos, es como la mente de un niño a la espera de ser moldeada por ideas de otras personas.
3) Un último caso, que a primera vista puede parecer más sutil e inofensivo, es el del buscador de Google en donde al buscar imágenes utilizando la palabra “doctor” el resultado arroja predominantemente imágenes de hombres de tez clara y rasgos europeos. Los resultados del buscador están replicando una desigualdad histórica de género y racial, contribuyendo a reforzar la narrativa que sustenta dicha desigualdad (figura 2).
En ninguno de los ejemplos anteriores, los ingenieros anticiparon que los sistemas de inteligencia artificial se iban a comportar así. El problema es que estos sesgos fueron programados de manera inconsciente y que tales sesgos son muy difíciles de identificar y más aún de corregir. Para entender cómo es que sucede esto, debemos saber cómo se introduce un sesgo en la inteligencia artificial y para eso nos enfocaremos en tres etapas del proceso.
Cómo se genera un sesgo
La primera etapa es definir el objetivo que el algoritmo intentará resolver. En muchas ocasiones los objetivos involucran conceptos abstractos difíciles de ser transferidos a variables cuantificables que puedan ser usadas por el algoritmo para calcular y tomar decisiones. Se debe tener cuidado en definir claramente los conceptos y parámetros a evaluar, para así poder establecer lineamientos y reglas claras al algoritmo que eviten que éste se convierta en un predador.
La segunda es la recolección de los datos que servirán para entrenar el algoritmo. Los datos recopilados pueden estar sesgados por dos razones: porque no son representativos de la realidad o porque reflejan prejuicios ya existentes. El primer caso podría ocurrir, por ejemplo, si un algoritmo de reconocimiento facial es entrenado con una base de datos en donde hay más fotos de caras de piel clara que de oscura; como consecuencia, el sistema tendría más dificultad reconociendo caras de piel más oscura. Se estima que, de todos los rostros en bases de datos faciales en el mundo, aproximadamente 60% corresponde a hombres de piel clara y que sólo 4% son mujeres de piel oscura. El segundo caso es el mencionado anteriormente con respecto de Amazon, cuando un algoritmo se entrena a partir de decisiones históricas de contratación sesgadas en favor de los hombres sobre las mujeres.
La tercera etapa viene cuando, una vez que se tiene los datos, es necesario elegir qué variables se debe considerar (edad, sexo, años de escolaridad, ingreso, puntaje crediticio, etcétera) y cuáles ignorar para obtener resultados más precisos.
El problema es que, aun cuando resulte fácil medir el impacto de cada variable en términos de precisión, medir los sesgos implícitos en cada variable es bastante complicado. La gran mayoría de las aplicaciones de inteligencia artificial se basan en algo conocido como aprendizaje profundo, cuyos algoritmos se enfocan en encontrar patrones en los datos. A pesar de la enorme utilidad de este enfoque en algunos de sus usos, otros pueden tener un gran impacto negativo en la vida de la gente: como perpetuar las injusticias ya presentes en el mundo real.
Al final es muy difícil eliminar el sesgo, ya que programamos algoritmos desde un punto de vista y éste necesariamente es un reflejo de nuestra sociedad. Es decir, cuando en una sociedad existe un sesgo, éste se va a introducir en el diseño. Por lo tanto deberíamos diseñar las herramientas de inteligencia artificial no como un reflejo fiel de nuestra sociedad, sino como quisiéramos que nuestra sociedad fuese.
La ceguera en el reconocimiento facial
Varios estudios recientes han demostrado que los actuales sistemas de reconocimiento facial tienen más dificultad identificando mujeres y personas de piel oscura. En una ocasión Google Photos etiquetó a dos individuos afrodescendientes como gorilas.
Para diseñar un algoritmo de reconocimiento facial se necesita tener una gran colección de imágenes faciales de personas con las que se entrena el algoritmo para que posteriormente pueda identificar rostros en imágenes que nunca ha visto. Si se pretende que el algoritmo funciones correctamente, es necesario contar con una buena distribución de datos (rostros) representativos de la población.
Gracias a un estudio conducido por Joy Boulamwini, fundadora de la organización Liga de Justicia Algorítmica, se pudo observar que la mayoría de los algoritmos de identificación facial desarrollados por ibm, Amazon, Face++ y Microsoft son mucho menos precisos identificando rostros de personas de color que personas de piel blanca. Esto se agrava si añadimos el género: de acuerdo con un estudio conducido por el mit Media Lab, 35% de mujeres de piel oscura fue identificado incorrectamente en comparación con sólo 1% en hombres blancos.
La razón por la que estos algoritmos no son tan precisos en identificar personas de color es simple: fueron entrenado con una colección de rostros sesgada en donde la mayoría de las caras eran de hombres de tez clara.
Generalmente, cuando los ingenieros diseñan algoritmos que se desempeñan en plataformas que alcanzan a millones de personas en todo el mundo existe una “ceguera” inconsciente de cómo afectarían a personas que son distintas a ellos. Este problema de “ceguera” es muy común en Silicon Valley, donde se concentran las empresas de tecnología más importantes del mundo como Google, Amazon, Facebook, Apple y LinkedIn. Y esto se debe a una falta de diversidad en la plantilla de ingenieros de estos grandes corporativos; por ejemplo, en LinkedIn, según un reporte publicado por ellos mismos, el porcentaje de ingenieros latinos y afrodescendientes es de menos de cinco por ciento (figura 3).
Es imperativo que esta situación cambie. La diversidad étnica, racial y de género en los equipos que están desarrollando tales tecnologías tiene una influencia directa sobre el sesgo en las herramientas de inteligencia artificial. Ciertamente, existe ya una incipiente conciencia en Silicon Valley, pero al día de hoy la brecha laboral está todavía lejos de ser equitativa (figura 4). En cuanto al aspecto tecnológico, es necesario entrenar algoritmos con una base de datos representativa de la diversidad étnicoracial de la población donde serán aplicados. Al final de cuentas, “un algoritmo es tan bueno como los datos con los que ha sido entrenado”.
Su uso para resolver problemas sociales
Si bien la inteligencia artificial puede resultar peligrosa cuando no estamos conscientes de sus alcances y sus limitaciones, también tiene la capacidad de impactar en forma positiva la vida de los seres humanos. Por esta razón hemos decidido utilizarla como herramienta para combatir el racismo y la falta de diversidad en los medios de comunicación mexicanos.
En México, y en los países Latinoamericanos en general, existe un sesgo histórico que favorece a los individuos de piel más clara y rasgos fenotípicos europeos sobre los de piel más oscura y rasgos indígenas. Este sesgo racial ha permeado todos los ámbitos de la sociedad al crear, a lo largo del tiempo, brechas de desigualdad basadas en los rasgos físicos de las personas. Lo que conocemos como racismo.
Cabe aclarar que la biología, y en general las ciencias, han comprobado desde hace mucho tiempo que la humanidad es una sola especie, que no hay razas; somos una especie formada por miembros con características fenotípicas diversas —como los distintos tonos de piel, ojos, tipo de cabello, entre muchas otras. Las categorías raciales que conocemos hoy día son construcciones sociales que han sido usadas por los diferentes grupos humanos para diferenciarse unos de otros. Así que cuando hablamos de razas y racismo nos estamos refiriendo a tales construcciones sociales y al fenómeno de discriminación generado por éstas.
Uno de los ámbitos más claros en los que se evidencia el racismo en México es en la diversidad y representación que existe en los medios de comunicación. Dada la profunda influencia que las narrativas audiovisuales tienen sobre la cultura y subconsciente colectivo de una sociedad moderna, hemos decidido enfocar nuestro trabajo en los medios audiovisuales. Actualmente estamos colaborando con la facultad de ingeniería de la Universidad del Sur de California (usc) y con el Geena Davis Institute for Gender on Media con el propósito de desarrollar una herramienta de inteligencia artificial para procesar y analizar grandes cantidades de material audiovisual. Se pretende que ésta tenga la capacidad de determinar el color de piel y los rasgos fenotípicos mediante un algoritmo de identificación facial a fin de obtener datos duros y poder cuantificar la representación y diversidad racial existente en los medios audiovisuales mexicanos.
Como ya mencionamos antes, parte importante para el desarrollo de una herramienta basada en inteligencia artificial son los datos con los que se va a entrenar. Uno de los retos que hemos encontrado es la falta de bases de datos faciales con una representación fidedigna de la población mexicana o incluso de los “latinos”, como se les define en Estados Unidos. Estas bases de datos faciales existentes excluyen sistemáticamente sujetos de piel morena y rasgos indígenas, dicho de otra manera, reflejan el sesgo racial prevaleciente en México y demás países latinoamericanos.
El término “latino internacional” es un eufemismo que se utiliza en el mundo de los medios de comunicación y entretenimiento para referirse a individuos con cabello y ojos oscuros pero de piel blanca y rasgos preferentemente europeos. Este perfil representa a un segmento minoritario de la población mexicana y latina, pero es el estándar utilizado por los creadores de contenido para representar a todos los latinos. Es un sesgo social que se replica a su vez en el desarrollo de tecnologías, de manera que las bases de datos faciales con rostros etiquetados como mexicanos, latinos o hispanos se componen en su inmensa mayoría de rostros pertenecientes a “latinos internacionales”.
Si estas bases de datos inherentemente sesgadas son utilizadas para entrenar un algoritmo a identificar y clasificar rostros mexicanos o latinos, el resultado será que en personas de procedencia indígena o africana el algoritmo cometerá más errores que en rostros de procedencia europea.
Ante esta situación, hemos optado por utilizar algoritmos que sean capaces de extraer el color de piel de las caras identificadas en el material audiovisual y almacenar la información en formato rcg y cielab. Con respecto de las bases de datos faciales, hemos buscado una colaboración con el Instituto de Investigaciones Antropológicas de la unam, en donde se desarrolló el proyecto caramex en 1996, un sistema automatizado de identificación personal a partir de los rasgos faciales de la población mexicana con el fin de lograr una mayor eficiencia y precisión en los sistemas empleados para construir retratos hablados en las instituciones de impartición de justicia. Así, el proyecto se desarrolló a partir del análisis de la variabilidad morfológica facial existente en la población mexicana con base en 5 752 fotografías estandarizadas (frontal y lateral) de individuos de todo el territorio mexicano, tratando que se incluya el máximo de fenotipos.
En el caso de que la base de datos facial de caramex resulte inadecuada para entrenar un algoritmo de identificación facial en material audiovisual (dinámico), probablemente el proyecto tendrá que expandirse y crear una base de datos inclusiva y diversa de las diferentes poblaciones y fenotipos existentes en la población mexicana.
Esperamos tener resultados a finales de 2020 y comenzar a utilizarlos como una herramienta de conversación con los ejecutivos y creadores de contenido para concientizar y presionar hacia una representación más justa de la población en los medios de comunicación.
Conclusiones
La inteligencia artificial es, al fin y al cabo, sólo una herramienta. Todavía existe mucho desconocimiento y ambigüedad sobre qué es, cuáles son sus alcances y cómo nos afecta, pero es un hecho que cada vez estará más presente en todos los aspectos de nuestra vida.
Cada fórmula, algoritmo o comunidad en línea, está diseñada con ideas preconcebidas, prejuicios y sesgos, y está concebida al interior de estructuras de poder. Por eso es importante que las conversaciones sobre diversidad e inclusión que están teniendo lugar en el “mundo real” se vean reflejadas en cómo entrenamos nuestros algoritmos. Esto requiere que el proceso de desarrollo de inteligencia artificial tenga un enfoque diverso y multidisciplinario, donde no sólo estén involucrados ingenieros y programadores, sino que también colaboren humanistas y científicos.
|
|||||||||||
|
Referencias Bibliográficas
Buolamwini, Joy y Timnit Gebru. 2018. “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, en Proceedings of Machine Learning Research, vol. 81, pp. 1-15 (proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf). Durruthy, Rossana. 2019. “Hear from Christina Hall and Rosanna Durruthy on our 2019 Workforce Diversity Report”, en LinkedIn (careers.linkedin.com/diversity-and-inclusion/workforce-diversity-report). Molla, Rani. 2019. “Why women in tech are being Photoshopped in instead of hired”, en Vox, 17 de junio (www.vox.com/recode/2019/6/17/18678541/women-tech-photoshop-diversity). |
|||||||||||
| Julio Vallejo Director de la Fundación Pigmentogracia. Es economista con estudios en el ITESM y UCLA. Es ejecutivo en medios de comunicación y entretenimiento con 20 años de experiencia binacional en México y Estados Unidos. Especializado en temas de diversidad e inclusión en medios audiovisuales. Es fundador y director de Fundación Pigmentocracia. Ignacio López Francos National Aeronautics and Space Administration (NASA) Es consultor e investigador de inteligencia artificial para la NASA en Silicon Valley CA. Ha trabajado en empresas como Facebook y United Airlines como científico de datos y liderando proyectos de innovación. Es ingeniero industrial por la Universidad Politécnica de Madrid (UPM) y recibió su segundo Master en Gestión de Tecnología Industrial del Illinois Institute of Technology (IIT) en Chicago. Colabora con Pigmentocracia como asesor técnico. |
|||||||||||
|
cómo citar este artículo →
|
|||||||||||
