Definición
El sesgo algorítmico ocurre cuando un modelo trata de forma sistemáticamente distinta —y peor— a un grupo de personas.
La idea clave para entenderlo: casi nunca es un error de programación. El modelo hace exactamente lo que se le pidió: reproducir los patrones de los datos con los que se entrenó. Si esos datos recogen una realidad desigual, el modelo aprende esa desigualdad y la aplica con la eficiencia de una máquina.
Un algoritmo entrenado con diez años de decisiones de contratación no aprende a contratar bien. Aprende a contratar como se contrató durante esos diez años.
De dónde sale
De los datos históricos. El caso más común. Los datos no describen cómo deberían ser las cosas, describen cómo fueron.
De la representación. Si un grupo aparece poco en el entrenamiento, el modelo funciona peor con él. Un reconocimiento de voz entrenado sobre todo con hombres adultos falla más con voces infantiles o con acentos poco representados.
De la variable objetivo mal elegida. El caso más sutil y el más peligroso. Si quieres predecir «quién será buen empleado» y usas como señal «quién fue ascendido», estás midiendo el sesgo de los ascensos anteriores, no el desempeño.
Del bucle de realimentación. El modelo decide, esa decisión genera los datos siguientes y el modelo se refuerza a sí mismo. Si envías más inspecciones a una zona, encuentras más incidencias ahí, y el modelo concluye que esa zona es más problemática.
Por qué quitar la variable no lo arregla
Es el error más extendido: «quito el sexo del dataset y ya no puede discriminar».
No funciona, porque el resto de variables lo reconstruyen. El código postal, el historial de compras, el tipo de estudios, el nombre — todo eso correlaciona con las variables sensibles. El modelo encuentra el camino indirecto sin que nadie se lo enseñe.
Quitar la variable tiene además un efecto contraproducente: si no está en los datos, no puedes medir si hay sesgo. Te quedas ciego justo donde necesitas mirar.
Ejemplo práctico
En una pyme esto no aparece con nombre de «IA ética», aparece disfrazado de automatización útil.
El caso más cercano: puntuar clientes o leads. Un modelo que aprenda de tu histórico de ventas te dirá que los clientes que se parecen a los que ya tienes son los buenos. Eso no es una predicción, es una descripción de tu cartera actual — y aplicarla como filtro cierra la puerta a segmentos donde nunca vendiste porque nunca lo intentaste.
Lo que aprendí sobre esto: el sesgo se detecta mirando por separado, no en el agregado. Un modelo con un 90 % de acierto global puede tener un 96 % en un grupo y un 70 % en otro. La media lo esconde. La única forma de verlo es desglosar los resultados por grupo antes de poner nada en producción, y para eso hace falta tener la variable, no haberla borrado.
Y hay una lección más incómoda: cuando el modelo confirma exactamente lo que ya creías, es cuando más hay que desconfiar. Un algoritmo que reproduce tus prejuicios pasa desapercibido porque parece que acierta.
Lo que exige la normativa
El Reglamento Europeo de IA clasifica por riesgo, y los sistemas de alto riesgo —selección de personal, acceso a crédito, educación, servicios esenciales— quedan sujetos a obligaciones concretas: gobernanza de datos, documentación, supervisión humana y registro.
Para una pyme, la conclusión práctica: automatizar una decisión que afecte a personas no es lo mismo que automatizar un informe. Antes de dejar que un modelo filtre currículos o deniegue crédito, conviene saber en qué categoría cae eso.
Y con la advertencia habitual: esto es divulgativo, no asesoramiento legal.
Errores comunes
- Quitar la variable sensible y creer que el problema está resuelto.
- Mirar solo la precisión global.
- Confundir sesgo con desequilibrio. Un dataset desequilibrado es una causa; el sesgo es el efecto sobre las personas.
- Suponer que un modelo grande y caro está libre de sesgo. Hereda el de sus datos, que son internet.
- No documentar de dónde salen los datos.
- Automatizar decisiones sobre personas sin supervisión humana ni forma de reclamar.
Cuándo revisarlo
Antes de poner en producción cualquier modelo que influya en decisiones sobre personas, y de forma periódica después: los datos cambian y el sesgo puede aparecer con el tiempo aunque no estuviera al principio.
La pregunta mínima antes de desplegar: ¿funciona igual de bien para todos los grupos a los que va a afectar? Si no puedes responderla con datos desglosados, todavía no estás listo.
