Una encíclica clave sobre la IA y el futuro de la humanidad
Este lunes, el papa León XIV —matemático de formación— presentó su primera encíclica, Magnifica Humanitas, dedicada a la inteligencia artificial (IA). La firmó el 15 de mayo, el día en que se cumplían 135 años de la Rerum Novarum, el documento papal de 1891 con el que otro León, el XIII, metió a la Iglesia a opinar sobre obreros, salarios y fábricas cuando muchos pensaban que debía ocuparse solo de los asuntos espirituales. El guiño es deliberado. En el siglo XIX la discusión era qué hacíamos con las máquinas de vapor, hoy la discusión es qué haremos con las máquinas que escriben y gobiernan pedazos cada vez más grandes de nuestra vida.
La encíclica se basa en dos imágenes, ya sea en la fe o mediante el simbolismo literario (eso ya depende de cada uno). La primera se inspira en la historia bíblica de la Torre de Babel. La encíclica señala que los sistemas, herramientas o estructuras construidos con el orgullo de la autosuficiencia y destinados a unir al mundo mediante un único sistema, una única estructura o una única creencia, inevitablemente fracasarán, se desmoronarán y se desintegrarán. La segunda imagen se inspira en el relato bíblico de Nehemías, donde la reconstrucción de Jerusalén se llevó a cabo organizando a cada familia para reconstruir una sección de la muralla. Esto requirió que Nehemías escuchara sus temores y preocupaciones y ayudara a coordinar sus esfuerzos y acciones. Entonces, ¿es la IA una torre o una ciudad?
La encíclica reconoce el potencial para educar y sanar de la IA y sostiene que esta puede ayudar a conectar y reunir nuevamente a las personas. La encíclica se aleja del apocalipticismo y la tecnofobia al respaldar una crítica estructural y sistemática de la IA. En última instancia, la encíclica sostiene que «la inteligencia artificial no puede considerarse moralmente neutral». Todo sistema define qué mide, qué ignora y qué optimiza. Decide quién es prescindible. Cuando un algoritmo toma decisiones sobre préstamos, evalúa a candidatos para un empleo o determina quién es «peligroso», no está realizando cálculos abstractos. Está implementando y, a menudo, exacerbando nociones prejuiciosas sobre esas personas.
El papa añade una observación que, como abogado, encuentro muy valiosa: la necesidad de tener un control social sobre estas tecnologías. Estamos delegando decisiones que cambian vidas a cajas negras que nadie controla por completo, y disolviendo la responsabilidad hasta el punto de que, cuando algo sale mal, no hay nadie a quien podamos señalar. El derecho funciona porque siempre puede apuntar a un responsable; cuando la culpa se evapora “dentro de la máquina”, lo que tenemos no es una falla técnica, sino una forma elegante de no rendir cuentas. Por eso, en su versión en inglés, la encíclica insiste en la palabra accountability. Es decir, poder identificar quién debe responder por una decisión, motivarla, controlarla y, llegado el caso, cuestionarla y reparar el daño.
Y la advertencia no es solo para los grandes sistemas que deciden créditos, trabajos o políticas públicas. Lo que el Papa señala alcanza, también, a usos más doméstico de la IA: cuando le pedimos que resuma, redacte o piense por nosotros. León XIV advierte que la facilidad con la que obtenemos resultados puede llevarnos a delegar demasiado, debilitando el juicio personal y la creatividad. Esa es, quizás, una de las amenazas menos llamativas pero más profundas.
El núcleo del diagnóstico papal es político antes que espiritual. El poder que antes estaba principalmente en los estados ahora está en un puñado de actores privados con más recursos que muchos gobiernos. Quien controla los datos, las plataformas y la capacidad de cálculo termina fijando las reglas del juego para el resto. De ahí que uno de los conceptos más importantes del texto es la idea de desarmar la IA. Es decir, quitarle el monopolio y volverla discutible, refutable, “habitable”. Como queda claro del enfoque, desarmar no debe entenderse como destruir o dejar de lado.
Hay un capítulo que en el Perú deberíamos leer con mucha atención. Detrás de cada respuesta instantánea de un chatbot hay una cadena larguísima de trabajo humano invisible, con gente etiquetando datos y moderando contenidos por sueldos mínimos, así como adolescentes y niños extrayendo en condiciones peligrosas los minerales con los que se fabrican los chips. La encíclica las llama, sin eufemismos, “nuevas esclavitudes”, y va más lejos, sosteniendo que el colonialismo dejó de robar solo cuerpos y territorios y ahora se apropia de datos. Los perfiles sanitarios, genéticos y demográficos de poblaciones enteras se convierten en las nuevas “tierras raras” del poder. Para un país periférico en la geopolítica y frágil en sus instituciones como el nuestro, es una advertencia a tomar en cuenta.
El documento también toma posiciones que un (auténtico) liberal suscribiría sin dudar. Por ejemplo, que la desinformación corroe la democracia. Y para explicar a dónde lleva ese desprecio por la verdad, el papa no cita a un santo, sino a Hannah Arendt, que advirtió que el terreno del totalitarismo se prepara cuando la gente deja de distinguir lo verdadero de lo falso. A eso se suma la crítica a la economía de la atención, diseñada para explotar nuestras debilidades y quedarse con nuestro tiempo, y la precarización del trabajo, que la automatización acelera sin que nadie se haga cargo de quienes quedan fuera. El punto más grave, sin embargo, es la guerra. La encíclica dedica páginas durísimas a las armas autónomas que «bajan el umbral» para matar porque vuelven el conflicto rápido, barato e impersonal, con las víctimas reducidas a un dato. Y ahí no admite matices, pues ningún algoritmo puede volver moralmente aceptable una guerra.
Así, lo más potente de la encíclica es que se le puede quitar el componente religioso y casi nada se derrumba. Queda en pie la dignidad como un límite que ningún poder puede pisar, el bien común como algo más que la suma de intereses, la idea de que la técnica debe servir a la persona, y no al revés. Una de las fortalezas de la encíclica es que se lee con facilidad desde un enfoque de derechos humanos y democracia.
Probablemente estamos ante el documento más importante en defensa de la humanidad escrito en los últimos años. Nuestros políticos todavía le huyen al tema, este asunto no está presente en nuestras campañas presidenciales con la importancia que lo amerita, como quedó demostrado en Perú en el debate de equipos técnicos del domingo pasado. León XIV, en cambio, parece entender con claridad que la pregunta sobre qué clase de humanidad queremos ser en la era de la inteligencia artificial es demasiado importante como para dejarle la respuesta solo a quienes están construyendo la torre.
¡No desenchufes la licuadora! Suscríbete y ayúdanos a seguir haciendo Jugo.pe
Que excelente y preciso artículo. Felicitaciones Alberto por tu permanente coherencia y decencia y por tus interesantes artículos.