Weapons of Math Destruction en Español
Armas de destrucción matemática.
«La tecnología ya existe. Sólo nos falta voluntad» y «El big data aumenta la desigualdad y amenaza la democracia», son frases de Cathy O’Neil (de su nuevo libro Weapons of Math Destruction). Considerando el algoritmo de trending topics de Facebook y el control policial basado en datos en las noticias, el libro da en el clavo.
Pero, ¿A qué se refiere la autora con su frase “Armas de destrucción matemática? O’Neil las llama ADM y son modelos matemáticos o algoritmos que pretenden cuantificar rasgos importantes: la calidad del profesorado, el riesgo de reincidencia, la solvencia, pero tienen resultados perjudiciales y ciertamente refuerzan la desigualdad, manteniendo a los pobres pobres y a los ricos ricos. Común denominador que comparten: opacidad, escala y daño. A menudo están encubiertos o solapados de una forma u otra protegiéndose de las miradas indiscretas, por lo que tienen el efecto de ser una caja negra. Afectan a un gran número de personas, lo que aumenta las probabilidades de que se equivoquen para algunas de ellas. Asimismo, tienen efecto negativo en las personas, quizás codificando el racismo u otros prejuicios en un algoritmo o permitiendo que empresas mounstro hagan publicidad selectiva a personas vulnerables, o incluso provocando una crisis financiera global.
O’Neil sí que es la persona indicada para haber escrito este libro.¿Un poquito de su background? Es una matemática académica y científica de datos de Wall Street que ha participado en Occupy Wall Street y recientemente creó una empresa de auditoría algorítmica. Se trata de una de las voces con mayor peso y que habla sobre el peligro de permitir que dichos algoritmos influyan en nuestras vidas. Ella afirma que el hecho de que estos algoritmos sean implementados por una máquina sin sentimientos, no descarta el que SÍ perpetre prejuicios e injusticias… ¡Menudo yugo eterno!
Las hipotecas de alto riesgo, por ejemplo, son una enorme arma de destrucción masiva.
O’Neil habla de las ADM financieras y ha tomado como punto de partida toda su experiencia como profesional, pero además de basarse en eso, ella toma en cuenta aspectos de la vida real, en las que los ciudadanos de a pie participamos constantemente: clasificaciones universitarias, filtros de solicitudes de empleo, algoritmos policiales y de sentencias, programas de bienestar en el lugar de trabajo y las muchas formas inadecuadas en que las calificaciones crediticias premian a los ricos y castigan a los pobres.
Ella nos narra casos reales de personas que han sido consideradas indignas de alguna manera por un algoritmo. Un ejemplo sería el profesor muy apreciado que es despedido debido a una baja puntuación en una herramienta de evaluación de profesores, el estudiante universitario que no pudo conseguir un trabajo con el salario mínimo en una tienda de comestibles debido a sus respuestas en un test de personalidad, las personas cuyos límites de gasto en la tarjeta de crédito se redujeron porque compraron en ciertas tiendas.
Y para terminar de rematar, los algoritmos son inmunes, fuertes y ocultos. La persona no puede hacer nada para defenderse del algoritmo, incluso si este “se equivocó”.
No, no es cuento. Sí, tú también caes en esta red estés de lado que estés.
¿Te parece abominable? Pues que sepas que muchas de estas ADM crean lazos infinitos que mantienen permanente la injusticia. Según retroalimentación y cómo funcionan los algoritmos policiales, se baraja que donde haya algún encuentro o suceso, volverá a darse. Pero el primer encuentro con la ley podría ser casi siempre, por ejemplo, con una persona negra debido a los cacheos racistas. Ya en el sistema queda viciado según “estadística” que de reincidir, será una persona negra (de nuevo).
Ella recalca además, que las personas blancas que viven en barrios relativamente acomodados, por ejemplo, no van a ser víctimas de publicidad sobre prestamistas/créditos mientras navega tranquilamente por internet. Esa persona blanca tampoco va a ser atacada por una patrulla, ya que estas van solo a “barrios conflictivos”. Según la autora, todos deberíamos saber esto, no solo las personas perjudicadas por estos algoritmos. Y estima además, que si esta tecnología y algoritmos fuesen usados justa y prudentemente, podríamos avanzar hacia la igualdad y justicia.