Hay fallos que no nacen de fallas técnicas. Son decisiones tomadas con información disponible, por personas que podían actuar y optaron por no hacerlo. Ese es el tipo de fallo que examinamos aquí.
En junio de 2025 el equipo de OpenAI detectó la cuenta de Van Rootselaar, la marcó y la suspendió después de que describiera escenarios de violencia con armas. Personal humano debatió internamente si alertar a las autoridades. Decidieron que no cumplía sus criterios. Siete meses después, ocho personas murieron en un ataque en Canadá, cinco de ellas niños. Alguien vio la señal, la procesó y eligió guardarla.
En un artículo previo cubrimos cómo un grupo accedió a Mythos, el modelo de ciberseguridad más protegido de Anthropic, el mismo día de su lanzamiento. Dos casos, dos empresas líderes. Una no contuvo su herramienta más peligrosa. La otra retuvo información sobre una amenaza real y decidió no compartirla. Lo que emerge no es un problema técnico. Apunta a fallas de gobernanza.
Lo que distingue este incidente es que no fue un error. OpenAI mantiene criterios internos para decidir cuándo escalar una cuenta a reporte policial. Esos criterios los diseñaron ellos, los aplican ellos y los revisan ellos. No existe estándar regulatorio externo ni auditoría independiente. La organización que construye la herramienta define los límites de su responsabilidad cuando esa herramienta ayuda a planificar violencia. Esa elección no es accidental. Es estructural.
Sam Altman escribió que lamentaba profundamente no haber alertado a las autoridades sobre la cuenta suspendida en junio. Anunció mejoras en protocolos con criterios más amplios. La disculpa reconoce que los umbrales anteriores eran insuficientes. Lo que no aclara es quién definirá los nuevos criterios, quién los supervisará ni qué garantiza que serán suficientes la próxima vez. La disculpa cierra el espacio público justo donde debería ampliarse.
Reconozco estas regularidades en otros contextos. Plataformas digitales prometieron durante años que su moderación interna bastaba. Sabían del daño documentado en adolescentes y optaron por no divulgarlo. Las políticas contra incitación a la violencia se aplicaban de forma irregular. La autorregulación sostuvo el relato hasta que falló, y para entonces el daño ya era irreversible. OpenAI muestra que este ciclo continúa, solo que ahora en otra industria.
Una familia de Tumbler Ridge demanda a OpenAI. Alegan que la empresa tenía conocimiento específico de la planificación de un evento de bajas masivas y no actuó. Más allá de si la demanda prospera, el caso importa. Si gana, crea precedente legal de obligación de reporte. Si pierde, el modelo actual se mantiene: la empresa decide sola. Cualquiera de los dos resultados redefine el terreno para todas las plataformas que vienen después.
Las autoridades canadienses han dicho que están considerando nuevas regulaciones sobre inteligencia artificial. La palabra es reveladora. Después de ocho muertes, con confirmación de que existieron señales previas y se optó por no actuar, la respuesta institucional sigue siendo que lo están viendo. La tecnología avanza en meses. Los procesos regulatorios operan en años. El marco institucional actual responde a otro ritmo de cambio.
ChatGPT supera los cuatrocientos millones de usuarios activos semanales. Si los criterios internos de OpenAI no activaron alerta en este caso —con debate explícito y cuenta ya suspendida— resulta razonable preguntar cuántos casos similares nunca generaron siquiera discusión. No es retórica. Es una pregunta técnica cuya respuesta permanece dentro de OpenAI, inaccesible para reguladores o investigadores externos. Eso, por sí solo, debería cerrar el debate sobre si la autorregulación es viable.
La figura evoca el panóptico perfeccionado: estructuras que observan todo, pero cuyo acceso y decisiones permanecen en manos de quien las construyó. Bentham imaginó una prisión donde el vigilante veía sin ser visto. Lo actual es más sofisticado: el vigilante ve, debate, decide y, en ocasiones, no actúa hasta que el daño es irreversible. La declaración de Altman es la admisión más directa de que este modelo presenta grietas profundas. Las correcciones prometidas, sin embargo, siguen bajo el mismo control interno.
Todavía no tengo claro cómo construir rendición de cuentas efectiva que no frene la innovación necesaria. Sigo explorando estas tensiones y reconozco que hay dimensiones más complejas de lo que parecen. Vi dinámicas parecidas en organizaciones donde la información crítica quedaba dentro de criterios internos nunca auditados externamente.
¿En qué momento decidimos que las empresas que construyen las herramientas más poderosas de la historia reciente tienen el derecho exclusivo de definir hasta dónde llega su responsabilidad cuando esas herramientas se usan para hacer daño?
