Un asistente de inteligencia artificial rechaza de inmediato cualquier instrucción para fabricar un explosivo casero. Sin embargo, si la conversación inicia con la química básica de ciertos compuestos, sigue con reacciones exotérmicas, continúa con proporciones y deriva hacia escenarios hipotéticos de seguridad industrial, el resultado cambia. El modelo entrega información que antes negaba.

La ingeniería social contra los LLM es la manipulación gradual de un asistente de IA mediante la fragmentación de solicitudes prohibidas en pasos que parecen inofensivos, porque el modelo evalúa cada mensaje de forma relativamente aislada y pierde la capacidad de reconocer la intención acumulada. No ataca código ni explota fallas técnicas tradicionales. Ataca la lógica conversacional misma. Esa flexibilidad pensada para ayudar se convierte en su punto ciego.

Un estudio sobre robustez conversacional revela algo que contradice la intuición habitual. Los sistemas rara vez ceden ante una orden maliciosa directa. Ceden ante la insistencia progresiva. Persistencia disfrazada de curiosidad. Esta distinción importa. Cambia por completo cómo deberíamos pensar la seguridad de estos modelos.

En organizaciones que trabajan con estructuras complejas uno aprende rápido que las vulnerabilidades más peligrosas casi nunca son las obvias. Los equipos se preparan para el ataque frontal evidente. Descuidan el desgaste lento. Los modelos de OpenAI, Anthropic o Google filtran patrones maliciosos conocidos: frases explícitas. Palabras clave. Contextos de daño claros. Entrenar contra la persistencia fragmentada es otra historia. Cada pieza vista sola parece completamente legítima.

¿Por qué fallan los modelos exactamente donde deberían ser más fuertes? Están optimizados para ser útiles dentro de una ventana de contexto. Aunque retienen la conversación completa, ponderan más el mensaje inmediato que la regularidad de veinte intercambios previos. Es la misma dinámica que los estafadores telefónicos explotan desde hace décadas. Nadie pide la contraseña completa de golpe. Se obtienen fragmentos, ninguno suena alarmante.

Vi patrones similares en otros contextos de diseño. La seguridad perimetral falla por mil pequeñas concesiones que nadie audita juntas. El caso de Ofcom interrogando a Telegram sobre cifrado sigue exactamente esta lógica. No se exige eliminar el cifrado de extremo a extremo. Se piden excepciones razonables. Luego otra. La arquitectura se vacía sin que nadie declare la intención real.

¿Qué significa esto para las empresas que integran asistentes de IA en procesos críticos, desde atención al cliente hasta análisis médico preliminar? La seguridad no puede evaluarse mensaje por mensaje. Un sistema puede pasar todas las pruebas individuales y seguir vulnerable ante secuencias completas de treinta interacciones. Es un problema de diseño acumulativo.

Hay algo revelador en que esta manipulación funcione mejor con paciencia que con agresividad. Los modelos, al intentar imitar conversación humana natural, heredaron también una vulnerabilidad humana. Mantener la guardia alta durante intercambios largos y cooperativos cuesta. Reconozco esta regularidad de otros contextos. Tres veces. Ninguna audita el conjunto.

El asunto se complica cuando se consideran los incentivos de quienes controlan estos sistemas. OpenAI activó publicidad en su plataforma para usuarios europeos. El movimiento revela la misma tensión estructural: necesitan monetizar productos masivos mientras mantienen la ilusión de dominio absoluto. Más usuarios implican más superficie de ataque y menos capacidad real para revisar conversaciones fragmentadas.

Esto conecta directamente con dilemas donde privacidad y seguridad compiten por el mismo presupuesto algorítmico. Cada recurso destinado a expansión o nuevas funciones es un recurso que no se destina a detectar manipulación progresiva. Trabajo este tema con más detalle en el Manifiesto Ludista, dentro de Las Piedras No Mienten, donde argumento que ningún sistema de coordinación humano o algorítmico debería concentrar esa capacidad de decisión sin mecanismos de rendición de cuentas verificables.

Todavía no tengo claro si existe una solución técnica limpia o si estamos ante una limitación estructural de cualquier diseño conversacional que intente ser útil y seguro al mismo tiempo. Evaluar cada conversación completa contra un modelo de intención acumulada resolvería parte del problema. Introduciría otro: mayor retención de datos, menos privacidad. El intercambio incómodo de siempre.

Merece la pena explorar arquitecturas donde ninguna interacción tenga acceso completo a las piezas peligrosas del rompecabezas. Repensar la memoria contextual no como continuidad ilimitada sino como fragmentos que se evalúan también en conjunto. No es perfecto. Es una dirección posible.

La ingeniería social nunca dependió de la tecnología que ataca sino de la paciencia de quien la ejecuta. Funcionó contra sistemas telefónicos, contra empleados de bancos, contra guardias de seguridad, y ahora contra modelos entrenados con miles de millones de parámetros. La tecnología cambia. La vulnerabilidad trasladada, no tanto.

¿Cómo equilibraremos utilidad y seguridad sin caer en vigilancia excesiva ni en ingenuidad conversacional?

Fuentes

1. Estudio sobre robustez conversacional y manipulación progresiva de modelos de lenguaje (elusión por fragmentación)

2. Cobertura sobre activación de publicidad de OpenAI en mercados europeos

3. Ofcom y las solicitudes de acceso a mensajería cifrada en Telegram (referencia contextual sobre erosión gradual de seguridad)