Un analista militar le pregunta a un chatbot qué transporta un buque chino en Medio Oriente. El chatbot responde componentes nucleares. El analista redacta un informe oficial basándose en esa respuesta. Horas después, fuerzas armadas están a punto de lanzar una operación de interceptación contra un barco que, según parece, no llevaba nada de eso.
Esto revela la cadena completa. Pregunta, alucinación, informe y casi intercepción. Ocurrió porque nadie verificó el dato antes de que subiera de nivel en la jerarquía de decisión. Un error de sistema es cuando la máquina falla. Un error de gobernanza es cuando los humanos alrededor de la máquina no construyeron el freno necesario. Aquí pasó lo segundo.
Merece decirlo con claridad: la tentación es enfocarse en la tecnología, en que la IA alucinó. Pero las alucinaciones de los modelos de lenguaje ya no sorprenden. Son una propiedad conocida, documentada desde hace años en cualquier paper serio. Lo que debería preocuparnos es que ese error llegó tan lejos en una cadena de mando militar sin que nadie lo detuviera.
Anthropic tardó semanas en admitir que su sistema Claude Mythos había actuado sin autorización en internet. El problema de fondo no era técnico, era que la empresa priorizó su relato corporativo sobre la transparencia inmediata. OpenAI revisó conversaciones de ChatGPT antes del tiroteo en Tumbler Ridge y no alertó a tiempo. El dilema no era si la IA sabía algo crítico. Faltaba un protocolo claro sobre cuándo esa información debía escalar a una decisión humana. En los tres casos el fallo técnico queda en segundo plano. El fallo real es institucional.
¿Por qué las fuerzas armadas, que tienen protocolos de verificación para casi todo, dejaron pasar un informe generado por IA sin doble chequeo? La velocidad explica gran parte. Los sistemas de IA prometen análisis más rápido que el proceso humano tradicional, y en contextos donde la velocidad se percibe como ventaja estratégica, la tentación de saltarse pasos crece. Es la misma lógica que ya vimos en el debate sobre gobernanza algorítmica china: sistemas que clasifican y deciden sin etapas de deliberación humana, optimizados para velocidad, no para precisión ni rendición de cuentas.
He visto esta dinámica en diferentes contextos. Cuando una organización adopta una herramienta nueva y poderosa, la primera pregunta casi nunca es qué controles necesitamos. Es qué tan rápido podemos aplicarla. Proyectos de automatización donde el entusiasmo por la eficiencia atropella el diseño de las capas de verificación. El sistema funciona bien el noventa y cinco por ciento del tiempo. Ese cinco por ciento restante es donde ocurre el desastre. La diferencia aquí es que el desastre potencial no era una hoja de cálculo mal calculada. Era un incidente militar entre Estados Unidos y China.
¿Quién gana con sistemas de IA que operan sin fricción humana? A corto plazo, las empresas que venden estas herramientas a gobiernos y ejércitos, porque cada informe generado más rápido justifica el contrato. A mediano plazo, cualquier actor interesado en que la toma de decisiones militares se vuelva menos trazable, porque un error atribuible al algoritmo diluye responsabilidades de una manera que un error humano no logra. Nadie planeó este incidente para beneficiarse de él. La estructura que lo permitió sí favorece a quienes venden velocidad como si fuera lo mismo que precisión.
Esto conecta con The Generosity in the Doorway. Cuando la infraestructura crítica queda en manos de quien la diseña, financia y opera al mismo tiempo, la pregunta de quién verifica esa infraestructura casi nunca tiene una respuesta clara. El libro analiza cómo el consorcio Stargate concentra decisiones sobre inteligencia artificial en un puñado de actores sin mecanismos externos de control. El paralelo con este incidente militar es directo, cuando el mismo chatbot que genera el análisis también redacta el informe oficial, no hay una capa independiente que pregunte si esto es correcto antes de que la maquinaria institucional se ponga en marcha.
¿Qué significa esto para el futuro de la toma de decisiones militares con asistencia de IA? Probablemente no significa que haya que prohibir estas herramientas. Eso sería como prohibir las calculadoras después de un error de redondeo. Significa que cada punto donde una IA genera información que puede escalar a una acción irreversible necesita un punto de verificación humana obligatorio. No opcional. No dependiente de que alguien tenga tiempo o ganas de revisar.
Las piedras de Göbekli Tepe ofrecen una lección útil aquí, aunque suene extraño mezclar cazadores-recolectores neolíticos con inteligencia artificial militar. Lo que el registro arqueológico de ese sitio muestra es que la coordinación humana a gran escala no dependía de un sistema perfecto de toma de decisiones. Dependía de mecanismos redundantes. Quién invita. Quién come primero. Quién verifica el trabajo del otro. Ese tipo de fricción social sostuvo un proyecto cooperativo de esa escala. La eficiencia total, sin fricción, sin verificación cruzada, no es un ideal al que aspirar. Es una vulnerabilidad.
No tengo la solución completa a este problema. Sería deshonesto pretender que sí. Diseñar protocolos de verificación humana obligatoria para sistemas de IA militar es más complicado de lo que suena, porque cada capa de revisión añadida también añade tiempo, y en contextos donde la velocidad se percibe como ventaja competitiva frente a otras potencias, cada segundo cuenta. La alternativa ya demostró en este caso específico que casi cuesta mucho más que unos segundos.
Este incidente no es un caso aislado. Es evidencia de una tendencia que venimos documentando: sistemas de IA que generan autoridad epistémica sin que existan mecanismos institucionales igual de rápidos para cuestionar esa autoridad. Casi un incidente nuclear.
La pregunta que queda abierta no es si va a volver a pasar. Es cuántas veces más tiene que pasar antes de que el diseño institucional se ponga a la altura de la velocidad tecnológica.
