Columnas
Sesgo de género e inteligencia artificial. Una perspectiva de Derechos Humanos
"La inteligencia artificial no es verdaderamente objetiva. La IA y sus algoritmos pueden reflejar los sesgos de sus creadores, e incluso aquellos que son imparciales al principio pueden aprender los sesgos de sus entrenadores humanos a lo largo del tiempo. Es por ello que es importante la revisión, el monitoreo y la auditoría, para asegurarse de que no existe sesgo o se genere un sesgo en función de sus algoritmos y datos".
Por Jhenny Rivas Alberti * y Alexander Espinoza **
La inteligencia artificial debe ser desarrollada y aplicada con perspectiva de género. De lo contrario, es probable que se mantengan y refuercen los estereotipos de género y normas sociales discriminatorias existentes. La inteligencia artificial y la automatización generan nuevos desafíos para el logro de una igualdad de género sustancial en la era de la Cuarta Revolución Industrial. El sesgo en la inteligencia artificial proviene principalmente de los sesgos inherentes a los seres humanos. Los modelos y sistemas que se crean y entrenan son un reflejo de la característica de la sociedad misma, así que no es de extrañar que la inteligencia artificial esté aprendiendo el sesgo de género de los seres humanos.
Se han registrado varios casos de alto perfil de sesgo de género, incluyendo sistemas de visión computarizada para el reconocimiento de género, que reportaron tasas de error más altas para reconocer a las mujeres, específicamente aquellas con tonos de piel más oscuros1Buolamwini, J., & Gebru, T. (2018, January). Gender shades: Intersectional accuracy disparities in commercial gender classification. In Conference on fairness, accountability and transparency (pp. 77-91). http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf. También existen estudios de sesgos respecto de las llamadas incrustaciones de palabras. El término incrustaciones de palabras hace referencia a palabras que se convierten en representaciones numéricas y luego se utilizan como entradas en los modelos de procesamiento del lenguaje natural. Las incrustaciones de palabras representan las palabras como una secuencia o un vector de números2 Glosario Deep Learning. Las incrustaciones codifican esta información evaluando el contexto en el que aparece una palabra. Por ejemplo, la IA tiene la capacidad de completar objetivamente la palabra “reina” en la oración “El hombre es el rey, como la mujer es X”. El problema subyacente surge en los casos en que IA completa oraciones como “El padre es el médico como la madre amamanta”3 Feast Josh (20-11-2019), 4 Ways to Address Gender Bias in AI, in Harvard Business Review. https://hbr.org/2019/11/4-ways-to-address-gender-bias-in-ai. Esto podría representar una visión parcial y no ajustada al rol actual en sociedad de la mujer.
El sesgo en los datos puede producirse no sólo por problemas en la recopilación de datos, en una etapa inicial, esto es, en la definición del problema. Cuando se crean modelos de aprendizaje profundo se fija cuál es su objetivo. Esas decisiones se toman en un gran número de casos basadas en razones comerciales y no toman en consideración elementos como equidad, igualdad o solidaridad. Así lo explica el profesor asistente en la Universidad de Cornell (EE. UU.) Solon Barocas, especializado en la equidad en el aprendizaje automático4Barocas, Solon, Hardt Moritz, Narayanan, Arvind, Fairness in Machine Learning Limitations and Opportunities. https://fairmlbook.org.
En cuanto a la recolección de datos, los sesgos se pueden producir por dos vías. O bien los datos recopilados no son representativos de la realidad, o contienen prejuicios en sí mismos. Esto es lo que ocurrió en el caso de Amazon, cuya herramienta de reclutamiento interno estaba descartando las candidatas mujeres. Dado que el algoritmo se entrenó a partir de decisiones históricas de contratación que favorecían a los hombres sobre las mujeres, el software aprendió a hacer lo mismo5Dastin, J. (2010), “Amazon scraps secret AI recruiting tool that showed bias against women”, Reuters, disponible en: https://www.reuters.com/article/us-amazoncom-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-thatshowed-bias-against-women-idUSKCN1MK08G (última consulta: 10/11/2018).
Por otra parte, es posible introducir sesgos durante la etapa de preparación de datos a la hora de seleccionar los atributos que se desean que el algoritmo tenga en cuenta. Por ejemplo: en el caso de modelar la solvencia crediticia, un “atributo” podría ser la edad del cliente, los ingresos o la cantidad de préstamos pagados. Esto es lo que se denomina el “arte” del aprendizaje profundo: elegir qué atributos considerar o ignorar puede influir significativamente en la precisión de la predicción de un modelo. Pero, aunque resulta fácil medir su impacto en la precisión, medir sus sesgos es un proceso bastante complicado6 Feast (20-11-2019), cit. .
Es así como encontramos que la inteligencia artificial no es verdaderamente objetiva. La IA y sus algoritmos pueden reflejar los sesgos de sus creadores , e incluso aquellos que son imparciales al principio pueden aprender los sesgos7 Sharma Kriti, “ ¿Podemos evitar que nuestro sesgo se infiltre en la IA? de sus entrenadores humanos a lo largo del tiempo. Es por ello que es importante la revisión, el monitoreo y la auditoría, para asegurarse de que no existe sesgo o se genere un sesgo en función de sus algoritmos y datos.
Agregar más mujeres y garantizar la diversidad de trabajadores con habilidades técnicas en el campo de la inteligencia artificial es un paso importante para reducir los prejuicios, proporcionando perspectivas adicionales, creando y capacitando a la inteligencia artificial para reflejar con mayor precisión una sociedad diversa e inclusiva8 Pasquarella Lauren, Trend Brief: AI and Gender Bias (Catalyst, 2019). Otras tareas también están en manos de la inteligencia humana quienes deben superar los estereotipos, los tratos discriminatorios y romper el sesgo de género que ahora es trasladado a la inteligencia artificial.
Ello supone una perspectiva de Derechos Humanos para la inteligencia artificial. Los Derechos Humanos permiten establecer un primer punto de partida muy importante en la reflexión y resolución de este tema.
El diseño y la implementación de sistemas de aprendizaje profundo debe tener en cuenta la diversidad existente en las sociedades, y debe incluir todos los antecedentes de los usuarios, no solo con respecto a sus comportamientos como consumidores, sino también tomar en cuenta impactos más amplios en su bienestar emocional y elecciones personales en contextos sociales, institucionales y políticos.
Los beneficios de la IA superan sus riegos e incluso pueden convertirse en una herramienta muy útil en la defensa y protección de los Derechos Humanos. Depende de las compañías dedicadas a la tecnología, los estados, profesionales y líderes de este campo, colaborar, investigar y desarrollar soluciones que reduzcan el sesgo en IA para todos.
* Jhenny Rivas Alberti es Abogada suma cum laude Universidad Central de Venezuela, Doctora en Derecho por la Universidad de Zaragoza y DEA en Derecho Político. Académica de la Universidad Autónoma de Chile, Facultad de Derecho.
* Alexander Espinoza es Abogado Universidad Santa María, Doctor en Derecho por la Universidad de Passau, Magister Legum Universidad de Passau. Académica de la Universidad Autónoma de Chile, Facultad de Derecho.
