Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no están hechas por humanos, sino por modelos matemáticos. En teoría, esto debería conducir a una mayor equidad: todos son juzgados de acuerdo con las mismas reglas, sin sesgo. Pero en realidad, ocurre exactamente lo contrario. Los modelos que se utilizan en la actualidad son opacos, no regulados e incontestables, incluso cuando están equivocados. Esto deriva en un refuerzo de la discriminación: si un estudiante pobre no puede obtener un préstamo porque un modelo de préstamo lo considera demasiado arriesgado (en virtud de su código postal), quedará excluido del tipo de educación que podría sacarlo de la pobreza, produciéndose una espiral viciosa. Los modelos apuntalan a los afortunados y castigan a los oprimidos: bienvenido al lado oscuro del big data.
O’Neil expone los modelos que dan forma a nuestro futuro, como individuos y como sociedad. Estas «armas de destrucción matemática» califican a maestros y estudiantes, ordenan currículos, conceden (o niegan) préstamos, evalúan a los trabajadores, se dirigen a los votantes, fijan la libertad condicional y monitorean nuestra salud.
