Si los algoritmos nos gobiernan, debemos replantear su diseño
Paul Barr es abogado y magíster en Ciencia Política y Gobierno por la Pontificia Universidad Católica del Perú. Tiene doce años de experiencia en el sector educación, tanto en el ámbito público como privado. Ha trabajado en aspectos relacionados a la internacionalización, la investigación y la innovación.
Cada vez me pregunto más sobre las instrucciones que deberíamos colocarle a la tecnología –particularmente a las redes sociales, a las aplicaciones de los teléfonos y al uso de las computadoras–, pues los adelantos en este campo crecen exponencialmente, pero no así nuestra capacidad de comprender sus impactos o mitigar sus efectos. Lo que sí tengo claro es que las TIC –tecnologías de la información y las comunicaciones– exacerban lo que somos y esa es una de las preguntas más importantes que debemos hacer al aproximarnos a su uso: ¿quiénes somos? ¿Qué queremos?
La tecnología no solo ha aumentado su velocidad, sino también su capacidad de almacenamiento y el uso de todos los datos acumulados a una escala cada vez mayor. Su potencialidad es la misma que su peligro y este dependerá de cuál sea el sentido que nosotros, las personas, le imprimamos al diseñarla o utilizarla.
Los algoritmos, que son el motor invisible de estos sistemas informáticos que usamos cotidianamente –pensemos en Facebook, Instagram, Amazon, Microsoft, Apple, Tik Tok, Netflix y un largo etcétera–, son construidos por personas. Cuando diseñamos un algoritmo, lo que estamos haciendo es pensar en un modelo, en una simplificación de la realidad que facilita la toma de decisiones. Los seres humanos somos los que hacemos las preguntas que las máquinas deben responder. Depende, como dije en el párrafo inicial, de quiénes seamos y de lo que queramos. Las máquinas harán el trabajo que les encarguemos.
No son poco comunes los ejemplos de tecnologías que reproducen nuestros sesgos, nuestros estereotipos, nuestros miedos y taras como sociedad. Cathy O´Neil es una matemática que vive en Massachusetts, E.U.A. En su libro Weapons of Math Destruction –Armas de Destrucción Matemática– describe ejemplos de ello en distintas áreas: avisos predatorios de colleges que ofrecen una educación de baja calidad pero que hacen inversiones gigantes en mercadotecnia para alcanzar a grupos vulnerables que, además, no cuentan con la información para anticipar el engaño; la manipulación de indicadores para escalar posiciones en los rankings universitarios –se rebajan los requisitos académicos para obtener más graduados, se paga a profesores altamente citados para que cambien su afiliación académica, se reducen los departamentos de humanidades y artes para que los datos de remuneración de los exalumnos sean más atractivos, se contrata a los propios egresados para que las métricas reflejen su buena empleabilidad, etc.–; sistemas de asignación de turnos al personal que buscan la eficiencia y la generación de ingresos para la corporación, pero que pueden hacer que un empleado cierre un día tarde en la noche y le toque abrir temprano al día siguiente –algo que se conoce como clopening– afectando así sus horas de sueño, sus rutinas familiares y sus posibilidades de desarrollo y estudio; propaganda electoral hecha a medida en función a intereses, temores y odios personales, de tal manera que un candidato parece perfecto y el indeciso llega a votar con convicción… la lista es larga. Un problema de estos algoritmos es que muchas veces se sustentan en proxies, lo que significa que no califica a las personas por quiénes son, sino según a quién se parecen, lo que castiga a los barrios más pobres, por ejemplo.
Lo descrito se parece mucho a una parte de nuestra realidad: educación de baja calidad que estafa, trabajo sin condiciones dignas, circo electoral invadido de promesas populistas. Estas “armas de destrucción matemática” tienen, además, tres características importantes: son opacas, causan daño y operan a gran escala. Esto se traduce en que su operación, aunque está al alcance de nuestras manos a través de los celulares, es ininteligible para la gran mayoría de nosotros. Piénselo bien: ¿quién entiende totalmente las exclusiones de los seguros o las tasas de los préstamos, o por qué se le aparece determinada publicidad en sus redes sociales?
La tecnología nos llevará a donde queramos llegar. Por eso es importante que, a la par de que hablemos de la importancia de la ciencia, la ingeniería o las matemáticas, incluyamos la reflexión sobre la sostenibilidad, la ciudadanía, la ética. El límite lo tenemos que poner nosotros, sea en el diseño como en su uso. Quienes somos responsables en la esfera educativa debemos ser muy conscientes de la importancia de desarrollar competencias que permitan a las personas tener una brújula moral y un norte claro para manejar a los aparatos y no quedar, más bien, a su merced.
Todos los «algoritmos de destrucción masiva» necesitan de una AUDITORIA INDEPENDIENTE. las instituciones de defensa del consumidor y gobiernos deberían orientar mayores esfuerzos y regular la minería de datos: Es verdad los datos pretenden cuantificar rasgos importantes de interés: mantener el estatus quo, los pobres mas pobres y los ricos más ricos, tasas de bancos e hipotecas, fraudes en redes sociales, masificación de consumo innecesario, dependencia al dinero, baja calidad educativa, obsolescencia tecnológica programada de aparatos eléctricos, etc…. FELICITACIONES a Paul Barr por escribir sobre este tema tan importante….
En un mundo globalizado donde la información está en manos de él poder no basta sólo el tener conocimiento del que hacer sino empezar a crear defensas para proteger a la humanidad desde hace decenas de años la manipulación de estos sistemas según pienso son para crear una sociedad distraída y sin opción a reacción y un claro ejemplo la pandemia ellos nos guiaron y guían hasta ahora nuestras vidas, buen dia
Que artículo tan potente, este combinado con el de la política del silbado de perro (dog whistle politics) que escribió Alberto de Belaúnde nos ayuda a entender como así hemos llegado a esta nivel de intolerancia y desunión en el Perú. Cada uno escucha lo que quiera escuchar, si su sesgo es acariciado se creen cualquier cuento. Pero creo que hay una responsabilidad en cada ciudadano que conoce estos temas (aun a un nivel superficial) para hacer notar la importancia de diferenciar hechos de opinión, así es más fácil identificar fake news y falsas narrativas. En mi caso, por mucho que ciertas historias me gusten y coincidan con mis sesgos, siempre preferiré conocer la verdad y tomar mi decisión en función a ella.
Interesante artículo. La educación y el futuro laboral se ven empañadas con la automatización. Muchos trabajos serán remplazadas por robots o AI. La brecha entre el rico y pobre seguirán.