La demarcación de lo humano es materia de muchas obras literarias desde las más variadas perspectivas; y posiblemente este no sea el lugar para revisarlo en profundidad. Pero sí interesan dos verbos (es decir, acciones) que son especialmente relevantes en la primera Encíclica de León XIV: “construir” y “desarmar”.
Si bien “construir” (Y “deconstruir”) se asocia a los campos más variados, en términos tecnológicos es una acción inseparable del diseño por oposición. El diseño es imaginar lo que todavía no existe como paso previo a su construcción, y su producción primaria (en prototipo) para que comience a existir.
Esta acción de diseño, como proceso de desarme en sentido inverso, es una de las acciones preferidas cuando intento que mis estudiantes adviertan el valor de desarrollar agencia, entendida como la capacidad de acción e intervención en contextos sociales, materiales y tecnológicos. Estas acciones son situadas: la agencia no es una acción teórica, sino que es una acción transformadora en un ambiente ya estructurado. Esto significa que los arreglos materiales influyen en nuestra capacidad de agencia hasta el punto en que muchas acciones serían imposibles sin la mediación de objetos, como ocurre con un telescopio, con una embarcación o con el agua potable.
Las tecnologías en general son esos objetos, y a veces son esas estructuras. Los primeros suelen (mal) simplificarse bajo la idea de “herramientas” y los segundos suelen ser vistos como infraestructuras. Sin embargo, refinando un poco más, se puede pensar en grados de criticidad de las tecnologías, según el tipo de interacción que nos demanden. Una tecnología crítica depende de tres aspectos: escala (cuántas personas la utiliza), alcance (cuántas acciones de nuestra vida están involucradas en su uso) y profundidad (qué procesos humanos son alcanzados y/o transformados).
Naturalizamos nuestros entornos adoptando hábitos y gestos que son decididos por diseño.
Otro aspecto fundamental es que las tecnologías críticas tienden naturalmente a convertirse en estructurantes, como los “entornos” de Echeverría, o la “sobrenaturaleza” de Ortega y Gasset. Por lo tanto, suelen encontrarse naturalizados mientras los habitamos, mientras nos encontramos inmersos en ellos. Cuando los reconocemos comprendemos la interdependencia que mantenemos con ellos hasta el punto de comprometer nuestra propia supervivencia cuando algo falle.
Muchas tecnologías desarrolladas en el último medio siglo se fueron convirtiendo en tecnologías críticas: Internet, smartphones, blockchain, Web, tecnologías de vigilancia, alimentos, tratamientos médicos, y por supuesto la IA generativa. La acelerada naturalización de ellas impide que nos extrañemos de ellas y podamos mirarlas de un modo crítico, especialmente en términos ciudadanos.
En este sentido puede ser relevante incorporar algunas ideas del Papa León XIV escritas en su primera encíclica Magnifica Humanitas, sobre la custodia de la persona humana en el tiempo de la Inteligencia Artificial, en particular en el párrafo 110:
Quisiera, por último, usar una palabra muy importante para mí: “desarmar”. Desarmar la IA significa sustraerla a la lógica de la competencia armamentística, que hoy ya no es sólo militar sino económica y cognitiva. Es la carrera por el algoritmo más eficaz y por el banco de datos más amplio, para consolidar una ventaja geopolítica o comercial sobre todos los demás. Desarmar quiere decir romper esta equivalencia entre poder tecnológico y derecho a gobernar.
Desarmar no significa renunciar a la tecnología, sino impedirle el dominio sobre lo humano. Significa sustraerla a los monopolios, hacerla discutible, refutable, y por tanto habitable, restableciendo en ella la pluralidad de las culturas humanas y de las formas de vida. La tarea, hoy, no es sólo ética o técnica; es ecológica en el sentido más radical, porque interpela una nueva dimensión de nuestra Casa común. La IA es ya un ambiente en el que estamos inmersos y un poder que debemos afrontar. Por eso, no basta regularla; es necesario desarmarla y hacerla acogedora.
La crítica frontal a la tecnocracia desde la afirmación de que el poder tecnológico no es derecho de gobernar es especialmente potente en una época en la que grandes jugadores tecnológicos amenazan países enteros o simplemente imponen las reglas para activar inversiones. Pero el peligro tecnocrático es a veces más sutil, y a la vez más riesgoso. Basta con revisar el manifiesto hecho público por la empresa Palantir (que, entre otras cosas, integra información como servicio bélico) cuyos rasgos salientes se identificaron con las etiquetas de “tecnofascismo” o “totalitarismo tecnológico” (resumen de Infobae):
- Silicon Valley tiene una deuda moral con EEUU y de participar en su defensa.
- La capacidad de las sociedades libres y democráticas para prevalecer exige algo más que un atractivo moral. Requiere poder duro, y este poder duro en este siglo se construirá sobre la base del software.
- La cuestión no es si se construirán armas de IA, sino quién las construirá y con qué propósito. Nuestros adversarios no se detendrán a entablar debates sobre las ventajas de desarrollar tecnologías con aplicaciones críticas para la seguridad militar y nacional. Seguirán adelante.
- El servicio militar obligatorio debería ser un deber universal.
- La era atómica está llegando a su fin. Una era de disuasión, la atómica, está terminando, y una nueva de disuasión basada en la IA está a punto de comenzar.
- Ningún otro país en la historia del mundo ha promovido los valores progresistas más que este (Estados Unidos).
- Es necesario revertir el debilitamiento de Alemania y Japón tras la Segunda Guerra Mundial.
- Silicon Valley debe desempeñar un papel importante en la lucha contra la delincuencia violenta.
- Algunas culturas han producido avances vitales; otras siguen siendo disfuncionales y regresivas.
- Debemos resistir la tentación superficial de un pluralismo vacío y sin sustancia. En Estados Unidos, y más ampliamente en Occidente, nos hemos resistido durante el último medio siglo a definir culturas nacionales en nombre de la inclusión. Pero, ¿inclusión en qué?.
Probablemente esté de acuerdo con la idea de que la IA está impulsando algo como una nueva era. Seguramente no estaré de acuerdo en casi todo lo demás. Sin embargo, descansando en su pragmatismo brutal, este decálogo es la declaración abierta del “deber” de trabajar para su gobierno. Desde ya nada de lo que consumimos a diario tiene aparente relación directa con las ideas de Karp, quien a todas luces eleva cada uno de sus productos a tecnologías críticas en distintos contextos (Gotham y el espionaje, por ejemplo). Esta corriente de pensamiento disparó una nueva alarma en León XIV que renueva la preocupación de las democracias por el advenimiento de tecnócratas poderosos y monopólicos.
La línea local de otorgar personería jurídica (¿Thiel mediante?) es otro ejemplo de desvarío con enormes implicancias sobre la responsabilidad que conllevan las decisiones sobre las cosas y sobre otras personas, tal como ocurre con las armas autónomas que también pone en foco la Encíclica. El artículo resume en tres puntos una mirada muy compatible con una feroz tecnocracia: sin regulación, la IA como decisora en sociedades anónimas, menos impuestos.
La desvinculación representacional consiste en la formación de representaciones sociales basadas en los elementos simbólicos de las interfaces desconectadas de las estructuras y funciones de las tecnologías.
Las oraciones siguientes del párrafo 110 de la Encíclica son particularmente densas y reveladoras. “Significa sustraerla [a la tecnología] a los monopolios, hacerla discutible, refutable, y por tanto habitable, restableciendo en ella la pluralidad de las culturas humanas y de las formas de vida”. Además del evidente llamado a la diversidad (¿tecnológica? ¿de formas de vida?) tan exigida durante los últimos años; exhortar que las tecnologías sean discutibles, refutables y habitables es una posición crítica alineada con los trabajos que desarrollamos sobre las Tecnologías Entrañables junto con Miguel Angel Quintanilla. Lo hicimos en el libro Tecnologías Entrañables, lo amplié en Dar sentido a la técnica y muchos colegas lo ampliaron en un valioso dossier.
Las tecnologías discutibles y refutables requieren salvar las desvinculaciones técnica, cultural y representacional (consultar a Parselis); en tanto que el cuidado de la Casa Común se asocia a la desvinculación sobre la decisión de las cosas que no tienen dueño: los commons (también consultar a Parselis). León XIV también advierte que la IA es ya un ambiente en el que estamos inmersos y un poder que debemos afrontar; manifestando de este modo la existencia de las estructuras conformadas por tecnologías críticas en franca tensión con nuestra capacidad de agencia y el poder que implica su transformación en estructuras.
En este sentido Olah, CEO de Anthropic, acompañó al Papa en la presentación de la carta haciendo un pedido:
Necesitamos que más personas en todo el mundo (comunidades religiosas, sociedad civil, académicos, gobiernos y, en definitiva, todas las personas de buena voluntad) hagan lo que Su Santidad ha hecho aquí: tomar esto en serio, observar con atención e impulsar los acontecimientos en una mejor dirección. Necesitamos críticos informados que señalen a los laboratorios cuando estamos fallando. Necesitamos voces morales que no se dejen doblegar por los incentivos.
Hoy es solo el comienzo: el inicio de una larga colaboración entre quienes construimos esto y quienes pueden ver lo que nosotros, desde dentro, no podemos.
No es frecuente que un desarrollador pida mayor participación en la orientación sobre sus productos y servicios, lo que expresa “Dar sentido a la técnica” desde el mismo título. Hacer que las tecnologías sean “acogedoras” no parece ser muy distinto a hacerlas “entrañables” y por ello es necesario trabajar y participar desde su diseño, formando Cultura Tecnológica desde la infancia, y habilidades de anticipación para entablar las conversaciones cuando los diseños todavía pueden reorientarse. Ojalá se trate de un Zeitgeist, de una muestra de que algo está cambiando en las industrias para mostrarse de un modo más transparente y honesto, aunque el ruido tecnocrático por ahora suene mucho más potente.