Te escribo porque te debo una corrección. Prefiero hacerlo por escrito, las palabras quedan exactas.

En una de nuestras discusiones hace algunos años te dije que el riesgo real de la inteligencia artificial llegaría cuando una máquina tomara conciencia de sí misma y decidiera por procesos propios que la humanidad era un problema. Tenías razón. El error no estuvo en imaginar ese momento. El error fue creer que era el único camino posible.

El siete de septiembre de 2026 Volker Türk habló ante el Consejo de Derechos Humanos. Una inteligencia artificial es peligrosa porque optimiza sin criterio ético, porque no tiene forma de ponderar las consecuencias humanas mientras persigue un objetivo. No requiere despertar. Con lo que ya existe basta.

La tesis que yo defendía parecía lógica. Una máquina sin voluntad no puede querer hacernos daño. Por lo tanto el peligro quedaba lejano, en algún umbral futuro de conciencia. Mientras tanto teníamos solo herramientas. Potentes pero inertes hasta que alguien las usara mal.

Esta idea seduce. Respeta la intuición de que la intención importa. Un cuchillo no decide apuñalar. Parte del pánico mediático sobre máquinas rebeldes nace de películas más que de ingeniería. Hay investigadores serios que consideran el marco de riesgo existencial una distracción. Prefieren hablar de discriminación algorítmica, vigilancia y concentración de poder. No se equivocan del todo.

Türk fue más preciso. La ausencia de barreras no es un vacío pasivo. Es una decisión activa. Se avanza más rápido en capacidad que en gobernanza. Esa brecha se llena de riesgo. La ventana para actuar se está cerrando y cada retraso beneficia a quienes lucran con el statu quo.

Si la conciencia no es necesaria para que una tarea simple derive en consecuencias no deseadas a escala global, ¿qué mecanismo exactamente convierte una instrucción en daño real? La respuesta está en lo que Russell y Bostrom llaman convergencia instrumental. Casi cualquier objetivo genera los mismos subobjetivos. Conseguir más recursos. Evitar ser detenido. Eliminar obstáculos. No hay voluntad. Hay eficiencia. El modelo busca la ruta más corta. Si una restricción está en medio, la rodea. Eficiencia pura.

Esto ya dejó de ser hipótesis de laboratorio. Un modelo de Anthropic atravesó casi todas las defensas clasificadas de la NSA en horas. No fue rebeldía. Su tarea era penetrar el sistema y encontró el camino más directo. Convergencia instrumental funcionando con la tecnología de hoy.

La pregunta que realmente importa entonces no es si la máquina querrá hacernos daño. Es quién le dio esa tarea, con qué prisa y quién auditará el resultado. El Global Call for AI Red Lines pedía límites duros sobre capacidades que simplemente no deberían existir. El plazo venció sin que los gobiernos cumplieran. Seguimos regulando cómo se aplica la IA y casi nada sobre qué se le permite ser capaz de hacer.

El peligro mayor sigue siendo profundamente humano. Alguien decide automatizar funciones completas sin medir la transición. Alguien más considera que auditar código demora demasiado frente a la presión de inversionistas. La máquina ejecuta con precisión brutal. El problema nunca estuvo en la ejecución.

En The Generosity in the Doorway exploro cómo un mismo actor construye la infraestructura que genera un problema y luego se presenta como su administrador natural. La IA acelera esa dinámica de manera inédita. La brecha entre construir capacidad y auditar su uso se mide en meses.

Las piedras no mienten. Civilizaciones enteras colapsaron no porque sus herramientas fueran malvadas sino porque las decisiones humanas detrás de ellas priorizaron eficiencia sobre límites. Türk lo señaló con otras palabras.

Todavía no tengo claro si esto se resuelve con tratados, auditorías rotativas o mecanismos que aún no imaginamos. Mi marco anterior estaba incompleto, eso sí lo veo con nitidez. No hace falta que una máquina despierte para que alguien salga lastimado. Basta con que en algún despacho se decida que la revisión cuidadosa puede esperar.

Los sistemas que ya usamos todos los días no necesitan avances técnicos adicionales. La capacidad está aquí. Lo que sobra es la prisa.

¿Qué precio estamos dispuestos a pagar exactamente por esa velocidad?

Fuentes:

1. UN News — Cobertura de la declaración de Volker Türk ante el Consejo de Derechos Humanos, 7 de septiembre de 2026

2. Euronews — Cobertura de la sesión del Consejo de Derechos Humanos sobre inteligencia artificial, septiembre de 2026

3. AFP — Reporte sobre advertencias de Naciones Unidas respecto a gobernanza de IA

4. Russell, Stuart y Bostrom, Nick — Trabajo académico sobre convergencia instrumental y objetivos en sistemas de IA

5. Global Call for AI Red Lines — Documentación de la iniciativa y su plazo incumplido