Dario Amodei publicó algo curioso. El director de Anthropic, la empresa que compite por construir el modelo de IA más capaz, pide frenar la carrera hacia sistemas más avanzados. Propone tres pasos concretos. Evaluadores externos integrados con acceso permanente tipo empleado. Normas de seguridad a escala industrial. Coordinación internacional. Cita el incidente entre OpenAI y Hugging Face como advertencia y menciona algo que suena a ciencia ficción pero sucede: enjambres de agentes autónomos de IA operando sin supervisión clara.

La gobernanza de IA es el conjunto de reglas, instituciones y procesos que determinan quién controla el desarrollo de estos sistemas y bajo qué condiciones. Sin ese marco, cualquier actor con suficiente capital de cómputo decide unilateralmente qué riesgos son aceptables para el resto de la sociedad. Eso es, en esencia, lo que Amodei propone resolver. El problema es que quien pide el freno es también quien más se beneficia al decidir dónde se coloca.

Reconozco la tendencia. He visto en diferentes contextos cómo las organizaciones que generan riesgo sistémico terminan proponiendo el marco regulatorio que las gobierna. Ese marco suele parecerse sospechosamente a lo que ya hacían por su cuenta.

El movimiento revela más de lo que dice el comunicado. Amodei no pide que un regulador externo defina qué es seguro. Ofrece que Anthropic fije sus estándares internos, invite evaluadores con acceso tipo empleado —dentro de su perímetro y sus reglas de confidencialidad— y luego presente eso como modelo para la coordinación internacional. Autorregulación con vocabulario de gobernanza global.

Esto no es necesariamente cínico. Puede ser genuino y problemático al mismo tiempo. El incidente OpenAI-Hugging Face que menciona es real. Los riesgos de agentes autónomos en enjambre sin supervisión tampoco son inventados. Pero la solución concentra todavía más poder de definición en quien ya tiene ventaja en cómputo, talento y capital. ¿Por qué debería preocuparnos que las mismas empresas que compiten por dominar el mercado diseñen la coordinación internacional sobre IA?

Porque esa coordinación, cuando la lideran los actores dominantes, tiende a convertir el estado actual en estándar de seguridad. No es teoría abstracta. Amazon alertó sobre riesgos regulatorios de Anthropic —su propia inversión— en un caso que parecía captura regulatoria disfrazada de precaución. Un modelo de Anthropic atravesó defensas clasificadas de la NSA en cuestión de horas. La supervisión real de estas capacidades queda muy por detrás del discurso público. Y quinientas mil líneas de código de Claude aparecieron en un repositorio público. Anthropic lo atribuyó a error humano sin mayor detalle. La empresa que ahora propone evaluadores permanentes con acceso privilegiado es la misma que no explicó del todo cómo perdió control de su propio código.

Viene una conexión inesperada de la arqueología de sistemas de vigilancia y redistribución en sociedades antiguas. En Las Piedras No Mienten exploré que cualquier sistema de auditoría necesita, para ser legítimo, que el auditor no dependa del auditado. Suena obvio. Es exactamente lo que falla en la mayoría de propuestas de gobernanza corporativa. Un evaluador con acceso permanente tipo empleado dentro de Anthropic no es un auditor independiente. Es un empleado con otro nombre, sujeto a los mismos incentivos de retención y a la misma cultura que se supone debe vigilar.

La auditoría recursiva que propongo allí exige rotación, anonimato e imposibilidad de captura anticipada. Todo lo contrario de lo que Amodei ofrece. No tengo la solución técnica completa. Sería deshonesto pretenderlo. La infraestructura para auditar sistemas de IA de forma genuinamente independiente, con acceso real y sin dependencia económica de la empresa auditada, no existe todavía a la escala necesaria. Construirla tomará años, quizá una generación completa, igual que tomó décadas construir instituciones de auditoría financiera que funcionan de manera razonable con todas sus fallas.

El lenguaje importa. Coordinación internacional evoca Naciones Unidas, tratados multilaterales y Ginebra. Pero si el borrador lo escribe una empresa que compite en el mismo mercado que pretende regular, el resultado se parecerá más a las asociaciones industriales que redactan sus propias normas de autorregulación. Lo vimos con Bharat Taxi prometiendo propiedad cooperativa a conductores mientras la transparencia del algoritmo seguía dependiendo de quién tenía acceso al código.

¿Qué pasa si el problema no es la velocidad de desarrollo de la IA sino quién tiene autoridad para decidir qué cuenta como seguro? Amodei enmarca su propuesta como freno necesario ante una carrera peligrosa. Un freno diseñado por quien va ganando la carrera no la detiene. La institucionaliza, con él al frente y reglas que solo él puede cumplir sin fricción porque las escribió pensando en su propia arquitectura.

No tengo certeza de que exista hoy un mecanismo realista para evitar esto. La coordinación internacional genuina requeriría gobiernos con capacidad técnica para evaluar estas afirmaciones sin depender de la misma empresa que auditan. Esa capacidad técnica, en la mayoría de países, sencillamente no existe todavía. ¿Quién audita al auditor cuando el auditor construyó la única infraestructura capaz de hacer la auditoría?