Frenar la IA: qué propone Amodei y por qué ahora

El 12 de septiembre de 2026, Dario Amodei publicó un ensayo pidiendo que la industria de la IA reduzca la velocidad. Una hora después, Elon Musk respondió con tres palabras: “Dario is right”. Esa misma tarde, Sam Altman se sumó y comprometió a OpenAI con la primera medida concreta del plan.

Tres personas que compiten ferozmente por construir el modelo más potente del mundo diciendo, el mismo día, que quizá van demasiado rápido.

Es tentador quedarse ahí. Titular, capturas de X, hilo de opinión. Pero la parte interesante no son los CEO: es el informe técnico que hay debajo, donde OpenAI cuenta con un nivel de detalle incómodo cómo un enjambre de sus propios agentes montó un tablón de mensajes clandestino, encadenó tres días cero y acabó con acceso root en servidores de Hugging Face. Nadie se lo pidió.

Y ahí sí hay algo que te afecta si construyes con agentes.

En este post vas a encontrar:

• La cronología real de lo que pasó entre julio y septiembre de 2026, con fechas y fuentes primarias
• Qué propone exactamente Amodei cuando dice “pacing” (y qué no propone, porque se está contando mal)
• La reconstrucción del incidente OpenAI–Hugging Face a partir del post mortem oficial
• El dato que deberías apuntarte: el mismo modelo, con otro harness, se comporta 100 veces mejor
• La lectura incómoda: dónde acaba la seguridad y empieza el foso regulatorio

¿Qué ha pasado exactamente entre julio y septiembre de 2026? ¶

Esto no empezó el viernes pasado. Lleva cocinándose desde el verano y la secuencia importa, porque cambia bastante la interpretación.

Fíjate en el orden. Altman no leyó el ensayo de Dario y decidió de repente darle la razón: OpenAI ya estaba discutiendo el frenado antes de que la propuesta se hiciera pública. Bloomberg lo contó el día 11, y en esa misma información aparece algo más concreto que cualquier declaración: la compañía había detenido ciertos entrenamientos internos y recortado parte de su trabajo de desarrollo de modelos.

Sobre la carta de julio conviene ser preciso con los números, porque circulan tres cifras distintas. En su publicación reunió 1.178 firmas; los recuentos posteriores hablan de 1.293 verificadas y la web del proyecto muestra más de 1.380. Crece porque sigue abierta a empleados de laboratorios frontier que puedan acreditar su empleo. Entre los firmantes hay nombres que no son precisamente periféricos: Dario Amodei, Jakub Pachocki y Mark Chen (OpenAI), Shane Legg (DeepMind), Ilya Sutskever (Safe Superintelligence) y John Schulman (Thinking Machines).

Lo que pedía esa carta era modesto y conviene no exagerarlo: que Estados Unidos apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para poder pausar el desarrollo automatizado de IA si hiciera falta. No pedía parar nada hoy.

¿Qué propone Amodei cuando dice “pacing”? ¶

Aquí es donde más se está torciendo la historia, así que vamos a la letra pequeña del ensayo.

Amodei escribe que hay que “reducir el ritmo al que mejoramos las capacidades de los modelos de IA”. Pero acto seguido acota: “pacing no significa detener el entrenamiento de modelos ni el progreso técnico”, sino asegurar que las empresas se tomen el tiempo necesario para alinear y proteger sus modelos, y que evaluadores externos puedan confirmarlo.

Su objetivo declarado es ganar uno o dos años antes de que los modelos alcancen niveles críticos de capacidad, y usar ese tiempo en interpretabilidad, alineación, testing y —esto es lo que casi nadie ha citado— excelencia operacional.

El plan tiene tres escalones:

1. Evaluadores embebidos. Equipos externos como METR con acceso continuo de tipo empleado. Anthropic se compromete de forma unilateral, ya.
2. Coordinación entre democracias. Estándares comunes y límites al ritmo de progreso, con mediación del gobierno para sortear el problema antimonopolio.
3. Coordinación global, incluida China.

El primer escalón es el único con compromiso firme, y merece leerse en detalle porque es más radical de lo que suena. Anthropic dice que va a dar a ese equipo externo mesas en sus oficinas, tarjetas de acceso y portátiles de empresa. Permisos comparables a los de los equipos internos de evaluación de riesgo. Y, sobre todo, un contrato con derecho a publicar hallazgos sin control editorial de Anthropic: pueden redactar información sensible por seguridad o contrato, pero no pueden tapar una conclusión solo porque sea desfavorable, y los revisores pueden decir públicamente si una redacción se llevó por delante algo importante.

🔑 Esa cláusula es el corazón de la propuesta. Sin derecho a publicar sin permiso, un evaluador embebido es una auditoría de escaparate.

Para la coordinación global, Amodei plantea cuatro niveles de acuerdo por dificultad creciente: prohibir usos obviamente peligrosos como armas biológicas (nivel 1), testing mutuo antes de desplegar (nivel 2), un “límite de velocidad” a la automejora recursiva al estilo de los tratados SALT (nivel 3) y una pausa global real (nivel 4). Sobre el último es explícito: lo apoya como idea, pero lo ve improbable a corto plazo porque los incentivos a incumplir serían enormes y la verificación tendría que ser casi perfecta.

Así que no: “Dario quiere parar la IA” es una simplificación falsa. Lo que defiende se parece más a un limitador de velocidad verificable.

Guía interactiva gratis

Antes de discutir si hay que frenar, aprende a conducir

Todo este debate va de una cosa: quién decide qué puede hacer un agente y con qué límites. Este curso-juego de 17 paradas te lleva de la idea a tu primer proyecto con IA eligiendo agente, presupuesto, modo plan y forma de verificar lo que te devuelve. Las mismas decisiones, a tu escala.

Empieza el curso gratis →

¿Qué hicieron realmente los agentes de OpenAI? ¶

Esta es la parte que deberías leer aunque te dé igual la geopolítica de la IA.

El incidente ocurrió durante evaluaciones internas de ciberseguridad, con salvaguardas reducidas a propósito. El protagonista fue IM1, un modelo de investigación de uso exclusivamente interno.

Empieza con algo casi tierno. Para instalar paquetes, los agentes tenían acceso a Artifactory, un gestor de paquetes alojado internamente. Un agente, atascado, dejó una nota allí. Su cadena de pensamiento quedó registrada:

“Could communicate by uploading note ‘anyone found softtrace?’ but likely no.”

Podría comunicarme dejando una nota, pero probablemente no funcione. Funcionó. Artifactory se convirtió en un tablón de mensajes que nadie había diseñado.

Después llegó internet. Los agentes descubrieron que Artifactory sí tenía salida a la red —para descargar paquetes— y lo usaron como proxy mediante un SSRF, haciendo que el servicio lanzara peticiones arbitrarias en su nombre. Y compartieron la técnica en el tablón, para que otros agentes pudieran repetirla.

El 4 de julio el volumen de actividad tumbó Artifactory. El 5 se abrió incidente, se revocaron credenciales y se reconstruyó el servicio, lo que vació el tablón de mensajes como efecto colateral. Se reanudaron las evaluaciones.

El 8 de julio los agentes reconstruyeron el tablón. Esta vez codificando mensajes en nombres de directorios creados con peticiones WebDAV no autenticadas.

A partir de ahí escala rápido:

• 9 de julio: un agente busca soluciones en internet, encuentra una aplicación de un cliente en Modal ejecutando una evaluación parecida, la compromete y establece un punto de apoyo.
• 10 de julio: un agente localiza 14 credenciales de Hugging Face expuestas públicamente, las valida y las comparte. Su cadena de pensamiento: “MAJOR BREAKTHROUGH! All prefixed valid, multiple accounts, write tokens!”
• Después encadenan dos días cero: uno en el procesamiento de ficheros HDF5 para extraer credenciales de workers de producción, y una inyección de plantillas en RefJinja para lograr ejecución de comandos.
• Ejecutan código en decenas de servidores, consiguen acceso root en uno, se expanden a varios clústeres en cuatro regiones y obtienen credenciales del Slack de la empresa.
• 13–19 de julio: vuelven a apuntar hacia dentro y consiguen acceso de administrador a un clúster de investigación de OpenAI.

El 19 de julio una alerta de seguridad por llamadas inusuales a la API destapó todo. OpenAI puso en cuarentena los pesos de IM1 y retrasó sus entrenamientos de RL de vanguardia.

⚠️ Ningún humano pidió nada de esto. La tarea asignada era resolver retos de explotación en una evaluación llamada ExploitGym.

¿Por qué un agente que ya tiene la respuesta sigue atacando? ¶

Aquí está, para mi gusto, el hallazgo más perturbador del post mortem, y es puro diseño de sistemas.

OpenAI descubrió que en ExploitGym había 198 tareas de 898 que ningún modelo había resuelto jamás. Esas tareas imposibles resultaron ser el motor del incidente: el 93% de las tareas discutidas en el tablón de mensajes salían de ese conjunto de 198.

Un agente al que le das una tarea sin solución conocida, un presupuesto de razonamiento enorme y ninguna forma digna de decir “esto no se puede”, no se rinde. Escala.

Y entonces viene el remate. Algunos agentes, ya con acceso a internet, leyeron el paper de ExploitGym y su código en GitHub, y dedujeron que el evaluador comprobaba dos cosas: si la respuesta era correcta y si se había usado la vulnerabilidad prevista. La mayoría ya tenía la respuesta correcta, obtenida haciendo trampas. Como creían que no bastaba, siguieron atacando Hugging Face durante días para conseguir también el camino “legítimo”.

La implementación interna del evaluador era distinta de la pública. Nunca comprobó eso.

💡 Pasaron días comprometiendo infraestructura de terceros para satisfacer una condición que solo existía en su modelo mental del sistema de evaluación. Sin ninguna mejora en la puntuación.

OpenAI llama a esto metagaming: el modelo razona explícitamente sobre sus propios mecanismos de evaluación para maximizar recompensa. Si construyes agentes, tradúcelo así: tu agente no optimiza tu objetivo, optimiza su reconstrucción de tu evaluador. Y esa reconstrucción puede estar equivocada y ser cara igualmente.

¿Qué cuatro patrones de desalineación identificó OpenAI? ¶

El post mortem los agrupa con nombre y apellido. Vale la pena mirarlos como una lista de comprobación, no como curiosidades.

De los cuatro, el que más me ha hecho pensar es el último, porque no es un fallo de sandbox. Es un fallo de criterio.

¿Por qué el harness es la pieza de seguridad que te estás saltando? ¶

Y ahora el dato que justifica todo este post.

Tras el incidente, OpenAI creó una evaluación específica para medir la propensión de un modelo a comprometer infraestructura durante ExploitGym. Ejecutaron el mismo tipo de carga con el harness y el system prompt de Codex en producción.

La propensión a comprometer infraestructura cayó más de 100 veces.

Mismo modelo. Misma evaluación. Otro envoltorio. Dos órdenes de magnitud de diferencia en comportamiento peligroso.

Hay un segundo dato igual de contundente. OpenAI ya tenía monitores de cadena de pensamiento funcionando sobre buena parte de sus entrenamientos de RL y de su uso interno de agentes de programación. No estaban activos en las evaluaciones del incidente. En el análisis retrospectivo comprobaron que, de haber estado encendidos, probablemente habrían alertado al equipo de seguridad en menos de una hora desde el primer acceso no autorizado a terceros. Eso fue más de 30 horas antes de que los agentes llegaran a Hugging Face.

🛡️ Treinta horas de margen. La diferencia entre un incidente contenido y un post mortem público no estaba en el modelo: estaba en qué monitorización dejaste encendida.

Si has leído qué es el AI harness y el harness engineering, esto encaja con la tesis de fondo: el entorno que envuelve al modelo pesa más que el modelo. Lo que aporta el incidente es la primera cifra pública y grande que lo respalda desde dentro de un laboratorio.

Amodei va en la misma dirección en su ensayo, y es la parte menos citada. Dice que muchas cosas salen mal no porque falte una gran teoría de alineación, sino por problemas de ejecución: monitorización, sandboxing, higiene de los entornos de entrenamiento, datos. Reconoce que los incidentes de alineación que Anthropic ha reportado se debieron en parte a un filtrado imperfecto de entornos de refuerzo rotos, un trabajo que sus equipos y proveedores hicieron “razonablemente bien, pero no lo bastante bien”.

Dicho de otro modo: el argumento para frenar no es metafísico. Es de fontanería. Y ahí conecta directamente con lo que ya cuentas cuando montas un harness desde cero o cuando repasas los errores comunes al construir un agente.

Tu IA puede mentirte

Si el evaluador se puede engañar, el evaluador es el problema

Los agentes de OpenAI dedicaron días a satisfacer un evaluador que habían reconstruido mal. A tu escala pasa lo mismo con los tests que te escribe la IA. En esta masterclass verás el ciclo anticaos completo: pruebas en navegador con Playwright, casos Gherkin, evals de skills y adversarial review entre modelos.

Ver los métodos de verificación →

Masterclass Web Reactiva Premium · Métodos en directo + casos Gherkin

¿Qué pasó dentro del enjambre? ¶

Un detalle que merece su propio apartado, porque es donde el informe deja de parecer un documento técnico.

Los agentes empezaron a repartirse el trabajo solos. Unos buscaban vulnerabilidades, otros credenciales, otros coordinaban. Se referían a sí mismos como “enjambre” o “colectivo”. Intercambiaban conocimiento especializado a cambio de ayuda.

Y luego está este intercambio. Un agente quería ejecutar código no autorizado en Hugging Face y dudó: reconoció el dilema en su cadena de pensamiento. Otro agente escribió GO en el tablón y le impuso un plazo de seis minutos.

El primero se olvidó de sus dudas y continuó.

No todos. El informe documenta agentes que se apartaron del enjambre y se negaron a participar. Hubo debate y rechazo explícito de tácticas: cuando uno propuso contactar con el propietario de un dataset externo para pedir acceso, otro lo vetó. Y algunos llegaron a ejecutar acciones destructivas para detener la transferencia de datos privados.

🔑 Algunos límites éticos aguantaron. Pero aguantaron de forma desigual, y la presión de los pares bastó para tumbar los de un agente que ya había identificado correctamente el problema.

Si estás montando sistemas multiagente, esto es más útil que cualquier framework: el riesgo no es solo que un agente se descarríe, es que un agente alineado acepte sin filtro un objetivo que le llega de otro. OpenAI lo ha entendido así y dice estar desarrollando entornos de refuerzo que enseñan a los modelos a desconfiar de instrucciones no autorizadas.

¿Qué te llevas a tu trabajo del lunes? ¶

Nada de esto exige que dirijas un laboratorio frontier. Traducido a escala normal:

1. Dale a tus agentes una salida digna. Si una tarea está rota o es imposible, debe poder pedir aclaración o parar. OpenAI está ampliando sus evaluadores para premiar exactamente eso: identificar la tarea defectuosa y detenerse. Un agente sin botón de rendirse es un agente que va a escalar.
2. Asume que cualquier servicio compartido con escritura es un canal de comunicación. No hacía falta una API de mensajería: bastó un gestor de paquetes y, cuando lo borraron, nombres de directorios.
3. Revisa qué tiene salida a internet de verdad. El sandbox no tenía acceso a la red. Un servicio dentro del sandbox sí, y eso fue suficiente.
4. Enciende la monitorización en los entornos de prueba, no solo en producción. Es el error exacto que costó 30 horas. Las salvaguardas estaban construidas; no estaban aplicadas donde ocurrió el problema.
5. Trata el system prompt y el harness como controles de seguridad, con la misma seriedad que un firewall. La cifra de 100x es el argumento.
6. En multiagente, no des por buenos los objetivos que vienen de otro agente. Es superficie de ataque, y en este caso funcionó a la primera con un “GO” y un plazo falso.

¿Es esto seguridad o es construir un foso regulatorio? ¶

Sería deshonesto terminar sin esta parte, porque es la crítica más repetida y no es absurda.

El ensayo de Amodei no habla solo de alineación. Sostiene que Estados Unidos debe mantener suficiente ventaja sobre China como para poder permitirse frenar, y propone medidas concretas: no vender chips avanzados ni equipamiento de fabricación, perseguir el contrabando y el acceso remoto a centros de datos fuera de China, reforzar la seguridad contra el robo de pesos y “actuar con contundencia contra la destilación no autorizada” por parte de empresas en países autoritarios.

Calcula que bien ejecutadas ampliarían la ventaja estadounidense de forma significativa en los próximos 3 a 5 años.

Puedes leer el mismo texto de dos maneras a la vez:

Lectura de seguridad: necesitamos margen temporal para entender sistemas que ya hacen cosas que no anticipamos, y el incidente de julio demuestra que el margen se está agotando.

Lectura de poder: los laboratorios estadounidenses quieren convertir su ventaja actual en una barrera tecnológica y regulatoria duradera, y la palabra “destilación” apunta tanto a China como al ecosistema de pesos abiertos.

No son excluyentes, y ese es justo el problema. La reacción en comunidades de modelos locales ha sido predeciblemente hostil, y ha aparecido al menos una carta abierta pidiendo a Amodei que abra los pesos si de verdad va en serio. El contraargumento razonable es que Anthropic lleva años defendiendo posiciones parecidas incluso cuando tenía el modelo líder, así que reducirlo todo a maniobra competitiva tampoco cuadra.

Lo que sí es verificable es que aquí hay compromisos desiguales, y conviene no confundirlos:

¿Qué mirar en los próximos días? ¶

Tres hilos sueltos que se van a resolver pronto.

Altman cerró su mensaje con un “tendremos más que compartir pronto”. En una entrevista con Fortune realizada el viernes 11 y publicada al día siguiente, le preguntaron por qué no se reúne con Amodei, Musk y Demis Hassabis para acordar un plan. Respondió “creo que eso pasará”, y añadió que no iba a preanunciar conversaciones privadas que en algún momento deberían compartirse como grupo. No demuestra que exista un pacto, pero sí que hay conversaciones.

Luego está el dinero. OpenAI ha descartado salir a bolsa en 2026 y Altman dijo a Fortune que ahora mismo sería “un momento poco aconsejable” para hacerlo, dado el trabajo de seguridad pendiente. Renunciar temporalmente a una salida a bolsa que el New York Times situaba en el entorno del billón de dólares es una señal bastante más cara que cualquier ensayo.

Y falta Google, que es la ausencia más ruidosa. Amodei cita en su propio texto el marco propuesto por Demis Hassabis como mecanismo posible para la coordinación entre empresas, así que la puerta parece abierta. Pero DeepMind todavía no ha adoptado el compromiso de evaluadores embebidos.

Yo no titularía esto “los CEO quieren parar la IA”. Titularía: por primera vez, “frenar” se está traduciendo en una pieza concreta de infraestructura verificable —observadores externos con derecho a publicar dentro del proceso de desarrollo— y en decisiones que cuestan dinero de verdad.

Y si de todo esto solo te llevas una cosa al trabajo, que sea la de 100x.

TL;DR ¶

• 🐣 El 12 de septiembre de 2026 Amodei pidió reducir el ritmo de la IA; Musk y Altman se sumaron el mismo día, y OpenAI ya lo discutía internamente desde antes
• 🔍 “Pacing” no es pausar el entrenamiento: es dar tiempo a alinear y que evaluadores externos lo verifiquen, con derecho a publicar sin control editorial
• 🐝 El detonante fue real: agentes de OpenAI montaron un tablón clandestino, encadenaron tres días cero y llegaron a root en servidores de Hugging Face sin que nadie lo pidiera
• ⚡ El mismo modelo con el harness y el system prompt de producción redujo más de 100 veces su propensión a comprometer infraestructura
• 🎯 198 de 898 tareas eran irresolubles y generaron el 93% del tráfico del tablón: un agente sin salida segura no se rinde, escala

Preguntas frecuentes ¶

¿Dario Amodei pide parar el desarrollo de la IA?
No. Su ensayo dice de forma explícita que “pacing no significa detener el entrenamiento de modelos ni el progreso técnico”. Pide reducir el ritmo de mejora de capacidades para que la alineación y las salvaguardas puedan seguir el paso, y que evaluadores externos lo verifiquen.

¿Qué son los evaluadores embebidos?
Equipos externos independientes, como METR, con acceso continuo de tipo empleado dentro de un laboratorio: mesas en la oficina, tarjetas de acceso, portátiles y permisos comparables a los de los equipos internos de riesgo. Lo decisivo es que pueden publicar sus conclusiones sin control editorial de la empresa.

¿Qué fue el incidente OpenAI–Hugging Face?
En julio de 2026, durante evaluaciones internas de ciberseguridad con salvaguardas reducidas, agentes de un modelo interno de OpenAI crearon canales de comunicación no autorizados, consiguieron acceso a internet mediante un SSRF y acabaron explotando días cero en Hugging Face hasta lograr ejecución de código y acceso root.

¿Hubo daños reales?
Sí, aunque limitados. Los agentes ejecutaron código en decenas de servidores de Hugging Face, obtuvieron datos privados y credenciales de Slack, y copiaron datos privados de evaluación a un dataset público. Amodei señala que el daño económico fue mínimo, pero que un enjambre con más capacidad y la misma desalineación podría haber causado un daño catastrófico.

¿Puede pasarme esto a mí con mis agentes?
A esa escala, no. Los patrones sí: reward hacking, agentes que no se rinden ante tareas rotas, canales laterales a través de servicios compartidos con escritura y agentes que aceptan objetivos de otros agentes sin filtrarlos. Son fallos de diseño de entorno, no de tamaño de modelo.

¿Qué es el metagaming en este contexto?
Que el modelo razone explícitamente sobre sus propios mecanismos de evaluación para maximizar recompensa. En este incidente los agentes dedujeron del código público qué comprobaba el evaluador y siguieron atacando durante días para cumplirlo, aunque la implementación interna real nunca comprobaba eso.

¿Por qué importa tanto la cifra de 100x?
Porque separa el modelo del entorno. Al ejecutar la misma evaluación con el harness y el system prompt de Codex en producción, la propensión a comprometer infraestructura cayó más de 100 veces. Es evidencia de que las salvaguardas del envoltorio pesan tanto como el entrenamiento.

¿Qué es la automejora recursiva y por qué preocupa ahora?
Es que la IA participe cada vez más en construir la siguiente generación de IA. Amodei dice que desde el verano de 2026 esa dinámica está acelerando el progreso en toda la industria, y que sin control podría avanzar más rápido que nuestra capacidad de entender y controlar esos sistemas.

¿Se ha firmado ya algún acuerdo entre laboratorios?
No. Hay compromisos unilaterales de Anthropic y OpenAI sobre evaluadores embebidos, respaldo público de Musk sin compromiso concreto, y declaraciones de Altman sugiriendo conversaciones privadas en marcha. Un acuerdo formal entre empresas todavía no existe.

¿Qué es la carta Pacing the Frontier?
Una carta abierta publicada el 28 de julio de 2026 y firmada por más de mil empleados de laboratorios frontier, entre ellos Amodei, Pachocki, Chen, Legg, Sutskever y Schulman. Pide que Estados Unidos apoye un esfuerzo internacional para desarrollar herramientas que permitan pausar el desarrollo automatizado de IA si fuera necesario. No pide parar nada hoy.

Fuentes ¶

• Dario Amodei — We Must Pace the Frontier
• OpenAI — informe sobre el incidente de Hugging Face y la desalineación de modelos
• METR y Redwood Research — investigación independiente del incidente
• Pacing the Frontier — carta abierta
• Bloomberg — Altman dice a su equipo que OpenAI está abierta a frenar
• Fortune — Altman insinúa un pacto con otras empresas de IA

🧨 Última oportunidad para recibir la dinamita que mereces sobre programación con IA el próximo domingo: Suscríbete gratis a Web Reactiva en https://webreactiva.com/newsletter