Vi la película Mercy y me llamó la atención su enfoque en una IA que implementa justicia. Aunque la cinta toma licencias creativas para mantener el interés, revela vislumbres de cómo una IA avanzada podría influir en la impartición de justicia en el mundo real. Esto conecta con temas que exploro en mi libro, donde examino cómo la tecnología puede amplificar o desafiar estructuras de poder históricas, recordándonos que las herramientas del pasado, como las asambleas atenienses, también buscaban equilibrar autoridad y equidad.

La premisa de la película es intrigante: una IA que determina quién vive o muere mediante algoritmos de justicia. Sin embargo, desde los primeros minutos, surgen inconsistencias técnicas y conceptuales. La IA en Mercy actúa como un ente omnisciente con acceso inmediato a toda la información, algo que nuestras arquitecturas actuales no permiten. En mi experiencia, he observado sistemas similares que luchan con limitaciones de datos y procesamiento, lo que hace esta representación más un ejercicio de imaginación que de realidad.

Lo que más me inquieta es la omisión total de sesgos algorítmicos. Cualquier IA entrenada en datos históricos absorberá los prejuicios inherentes a esos registros. Si se nutre con información policial, judicial o social, replicará injusticias sistémicas a gran escala, disfrazadas de neutralidad. Piensa en cómo los algoritmos de riesgo criminal en tribunales de Estados Unidos ya discriminan contra minorías, según investigaciones como la de ProPublica. La película ignora esto, presentando a la IA como si pudiera superar mágicamente tales fallos.

Esto evoca experimentos históricos de justicia automatizada, como el ostracismo en la antigua Atenas. Allí, la votación popular pretendía ser democrática, pero a menudo servía para exiliar rivales políticos. Una IA moderna operaría a velocidades que eludirían cualquier supervisión humana equivalente. ¿No es curioso cómo patrones antiguos persisten en lo digital? En un breve desvío, recuerdo excavaciones en sitios griegos donde las ostraka –fragmentos de cerámica con votos de exilio– revelan no solo decisiones colectivas, sino también manipulaciones sutiles, un recordatorio de que la 'automatización' humana ya tenía sus sesgos.

Los sistemas actuales repiten este patrón. Algoritmos de evaluación de riesgo se emplean en cortes de Estados Unidos, y estudios documentan su discriminación sistemática. Mercy extiende esto a un extremo lógico: ¿qué sucede si otorgan a tales sistemas poder sobre la vida y la muerte? Lo fascinante es que la cinta roza un dilema central de nuestra era: el poder concentrado en tecnologías opacas. Pero lo trata superficialmente, como una caja negra mágica, sin reconocer que estos sistemas surgen de elecciones humanas concretas.

Aquí surge una alternativa prometedora: sistemas descentralizados de toma de decisiones. En vez de una IA central que dicte justicia, imaginemos marcos distribuidos donde entidades independientes se verifiquen entre sí. Esto no es ficción; prototipos en organizaciones autónomas descentralizadas ya lo exploran. La transparencia sería clave: datos de entrenamiento, algoritmos y procesos audibles por múltiples partes. Así, evitamos la tiranía de decisiones inapelables, como las que muestra la película.

Los sistemas humanos, con sus apelaciones y revisiones, ofrecen lecciones valiosas. Un automatizado sin correcciones sería inherentemente opresivo. Pero quizás el fallo mayor de Mercy sea suponer que la justicia es puramente algorítmica. Requiere contexto, empatía y la habilidad para cuestionar reglas injustas. Optimizar reglas existentes no genera verdadera equidad; esto es más complicado de lo que parece, y aún exploro cómo integrarlo en diseños tecnológicos.

La película ilustra por qué necesitamos caminos alternativos. Si persistimos en sistemas centralizados y opacos, escenarios como el de Mercy podrían materializarse. La cuestión no es si la tecnología logra justicia perfecta, sino cómo distribuimos el poder para que ninguna entidad decida sola sobre vidas, con supervisión y verificación constantes. Esto invita a experimentar con gobernanza tecnológica: transparencia obligatoria, algoritmos mutuamente verificables y supervisión humana siempre presente.

Mercy pinta un futuro distópico, pero nos urge a actuar hoy en el diseño de sistemas que expandan la justicia humana, no la sustituyan. Todavía hay espacio para elegir mejor, fomentando tecnologías que sirvan a la equidad colectiva.

Las piedras no mienten, pero los historiadores a veces sí.