Por Carlos Reusser*
Hay una pregunta que parece, a primera vista, más filosófica que jurídica: ¿puede una máquina ser injusta?
Algunos responderán que todo depende de cómo haya sido programada. Otros sostendrán que no, porque una máquina no tiene prejuicios: solo procesa datos y produce resultados, lo que suena, por definición, objetivo.
Sin embargo, esa intuición comienza a desmoronarse cuando observamos cómo funcionan realmente muchos sistemas de inteligencia artificial. No toman decisiones en el vacío: aprenden de datos históricos, identifican patrones y los proyectan hacia el futuro. Y ahí aparece el problema.
Si los datos reflejan desigualdades del pasado, el sistema no las corrige. Las aprende. Y, en muchos casos, las reproduce.
De dónde vienen los sesgos
Los llamados sesgos algorítmicos no surgen por azar. Tienen causas identificables.
La primera está en los datos. Los sistemas se entrenan con información histórica. Si durante décadas ciertos grupos han tenido menos acceso al empleo, al crédito o a la educación, esa realidad queda registrada. El sistema no distingue entre una regularidad estadística y una injusticia estructural: ambas aparecen como “patrones”.
La segunda causa está en el diseño. Todo sistema implica decisiones humanas: qué variables incluir, qué objetivos optimizar, qué resultados considerar aceptables. Esas decisiones no son neutrales, aunque quienes las toman no tengan intención alguna de discriminar.
La tercera es el contexto de uso. Un modelo puede funcionar razonablemente bien en el entorno para el que fue concebido y producir resultados problemáticos cuando se aplica en otro distinto. Las estructuras sociales, los trayectos educativos o los patrones de consumo no son universales. Desconocerlo puede generar efectos profundamente desiguales.
Cuando el problema se vuelve concreto
Un caso conocido ayuda a aterrizar estas ideas. Entre 2014 y 2017, Amazon desarrolló un sistema de inteligencia artificial para filtrar currículos. El modelo se entrenó con datos de postulaciones históricas.
El resultado fue que el sistema comenzó a penalizar automáticamente ciertos perfiles asociados a mujeres. No porque alguien lo hubiera programado explícitamente para hacerlo, sino porque históricamente la mayoría de los contratados habían sido hombres.
El sistema aprendió ese patrón y comenzó a penalizar automáticamente los currículos que incluían la palabra «mujeres» —por ejemplo, en expresiones como «capitana del equipo femenino»— o que mencionaban universidades de mujeres.
Amazon terminó desactivando el sistema. Pero lo verdaderamente perturbador no es eso: es que funcionó años antes de que alguien lo notara, pues nunca hubo una decisión explícita de discriminar, sino una reproducción automatizada de una desigualdad previa.
La clave jurídica: la discriminación indirecta
Desde el punto de vista jurídico, este fenómeno no encaja bien en las categorías tradicionales más evidentes.
No estamos, en la mayoría de los casos, ante discriminación directa, esto es, ante decisiones que tratan de manera distinta a una persona por su sexo, religión u origen. Por ejemplo, todavía hoy hay estudios jurídicos que descartan profesionales por ser evangélicos, no porque carezcan de competencias, sino porque no encajan en la imagen que los socios quieren proyectar. La discriminación es muy reconocible y el Derecho la sabe procesar.
El problema de los sistemas algorítmicos suele ser otro: la discriminación indirecta, que es bastante más sutil.
Esto ocurre cuando una medida aparentemente neutra, aplicada de forma general, produce en la práctica un efecto desproporcionadamente perjudicial para ciertos grupos. Nadie formula una regla abiertamente discriminatoria. Pero el resultado lo es.
Imaginemos un caso: una municipalidad del sur de Chile exige título universitario para un cargo que, en rigor, no lo requiere. La condición es formalmente neutra: no menciona la edad, la etnia ni ningún otro factor protegido. Sin embargo, en un contexto donde el acceso histórico a la educación superior ha sido significativamente más limitado para personas mayores y para integrantes del pueblo mapuche, ese requisito opera en la práctica como un filtro de exclusión. No selecciona por mérito, sino que reproduce injustificadamente desventajas estructurales preexistentes.
Algo muy similar puede ocurrir con un algoritmo. No “dice” que discrimina. Pero sus resultados, observados en conjunto, pueden mostrar patrones consistentes de exclusión.
Por qué este problema es especialmente difícil
Hay al menos tres razones que explican por qué esta forma de discriminación resulta tan compleja de abordar.
La primera es la opacidad. Muchos sistemas contemporáneos, en particular los de mayor complejidad, no permiten reconstruir con facilidad el recorrido que va desde los datos de entrada hasta el resultado. Ello se explica porque la decisión no responde a una regla única y visible, sino que emerge de la interacción de una enorme cantidad de parámetros, cuyo funcionamiento conjunto resulta difícil de rastrear incluso para quienes diseñaron el sistema.
Conviene precisar que no se trata de mecanismos completamente inexplicables. Sin embargo, sí presentan serias dificultades para ofrecer justificaciones que sean comprensibles y útiles desde el punto de vista técnico y jurídico. Esta dificultad se acentúa en modelos que, durante su entrenamiento, ajustan iterativamente sus propias reglas internas, reconfigurando así los criterios que conducen a cada resultado.
La segunda es la escala. Una decisión humana afecta a una persona en un momento determinado. Un sistema automatizado puede afectar simultáneamente a miles, aplicando el mismo patrón sin variaciones ni pausas. La eventual discriminación se multiplica, pero no necesariamente se hace más visible. La discriminación algorítmica no deja testigos, y por eso es extraordinariamente difícil detectarla.
La tercera es la apariencia de objetividad. Un número, una puntuación o una clasificación parecen neutrales. Esa apariencia reduce la sospecha y dificulta la impugnación. Lo que en una decisión humana sería percibido como arbitrario, en un resultado algorítmico puede presentarse como técnico.
Cuando alguien dice «no te contratamos porque vives en La Pintana», el sesgo es reconocible y denunciable. Cuando un algoritmo asigna una puntuación de 47 a una candidata y de 71 a un candidata con credenciales equivalentes, nadie ha dicho nada discriminatorio. El número parece objetivo. La decisión parece científica. Y esa apariencia de objetividad es, precisamente, su mayor peligro: convierte la discriminación en invisible para quien la sufre y en inimpugnable para quienes administran justicia.
Una paradoja incómoda
El Derecho y el avance de los consensos antidiscriminatorios ha construido una herramienta valiosa para enfrentar estas situaciones: la inversión de la carga de la prueba.
En términos simples: quien alega discriminación no necesita probar la mala intención del empleador —algo casi imposible de demostrar— sino aportar indicios razonables. A partir de ahí, es la contraparte quien debe demostrar que su decisión tuvo una justificación objetiva y razonable.
El problema es que, en el contexto algorítmico, esos indicios no siempre son accesibles.
Para sostener que ha existido discriminación, la persona afectada necesitaría conocer, al menos en términos generales, cómo operó el sistema que produjo el resultado. Esa información suele estar protegida como secreto comercial, o es técnicamente compleja de interpretar incluso para especialistas.
Se configura así una situación paradójica: el ordenamiento reconoce el derecho a no ser discriminado, pero dificulta significativamente la posibilidad de acreditar su vulneración.
Qué está haciendo el Derecho
Las respuestas normativas existen, aunque todavía están en proceso de consolidación.
En Europa, el Reglamento General de Protección de Datos introdujo garantías relevantes frente a decisiones automatizadas, incluyendo el derecho a obtener información significativa sobre la lógica aplicada y a impugnar decisiones con efectos relevantes.
Más recientemente, el Reglamento de Inteligencia Artificial ha establecido exigencias específicas para sistemas de alto riesgo, como aquellos utilizados en selección de personal o acceso a servicios esenciales, imponiendo estándares de transparencia, trazabilidad y supervisión. Incluso, hay tecnologías que prohíbe derechamente por conllevar riesgos inaceptables para la sociedad democrática, como la identificación biométrica masiva y en tiempo real en espacios públicos.
En Chile, la nueva regulación en materia de protección de datos personales avanza en una dirección similar, incorporando principios y obligaciones que buscan reforzar el control sobre el tratamiento de datos y sus efectos. La cuestión no es tanto la ausencia de normas, sino su implementación efectiva.
Lo que necesitamos ajustar
Si el problema está bien diagnosticado, las respuestas también comienzan a perfilarse.
La primera necesidad es mayor transparencia. No basta con informar que se utiliza inteligencia artificial. Es necesario conocer qué tipo de sistemas se emplean, con qué datos fueron entrenados y qué efectos producen en distintos grupos. No se trata de exigir la divulgación irrestricta de código fuente, sino de asegurar niveles adecuados de explicabilidad y control.
No me parece una exigencia desproporcionada: es exactamente lo que ya pedimos a los laboratorios farmacéuticos. Nadie aceptaría que una empresa diga “nuestro medicamento funciona, confíen en nosotros”. Exigimos ensayos, documentación y supervisión. ¿Por qué debería ser distinto con sistemas que deciden sobre los proyectos de vida de las personas?
La segunda es una adaptación de las reglas probatorias. Los tribunales necesitan aceptar que los patrones estadísticos constituyen indicios válidos de discriminación. Si una empresa rechaza sistemáticamente a candidatas del mismo perfil, ese patrón debería ser suficiente para activar el mecanismo de inversión de la carga de la prueba, sin exigir a la víctima que descifre y explique el código fuente del algoritmo.
Esto implica aceptar que no siempre será posible identificar con precisión el punto exacto en que surge el sesgo. Pero sí puede demostrarse su existencia a partir de sus efectos.
Volvamos a la pregunta inicial
¿Puede una máquina ser injusta?
Quizá la respuesta más precisa es esta: una máquina puede producir resultados injustos sin que nadie haya querido directamente que así sea, y sin que exista una decisión consciente que lo explique.
Y esa forma de injusticia es particularmente difícil de enfrentar, porque no tiene una intención visible ni un responsable evidente.
Los sesgos algorítmicos no son, en el fondo, un problema puramente tecnológico. Son la proyección de desigualdades sociales preexistentes en sistemas automatizados.
Dicho de otro modo: son viejos problemas, pero ahora operando a una escala y con una opacidad que el Derecho aún está aprendiendo a enfrentar.
*Carlos Reusser Monsálvez es abogado, Universidad de Chile. Doctor en Derecho por la Universidad de Salamanca y Magíster en Derecho Constitucional por la Pontificia Universidad Católica de Chile. Profesor de Derechos Digitales en la Universidad Alberto Hurtado.
