Cuando le preguntas a ChatGPT por una receta o le pides a Claude que revise un correo, no estás tocando el sistema que preocupa a Dario Amodei, a la ONU o al exinvestigador de Google DeepMind que renunció esta semana.
ChatGPT, Gemini y Claude son peligrosos o solo asistentes es una pregunta mal planteada si se responde con un sí o un no.
La herramienta es la misma. El riesgo depende de qué permisos le diste, no del logo que trae encima.
Esa distinción se volvió urgente en los últimos días. El 12 de septiembre, Amodei pidió frenar el ritmo de desarrollo de los modelos de frontera. El 14, Volker Türk, alto comisionado de la ONU para los Derechos Humanos, exigió acción urgente ante lo que llamó riesgos sin precedentes.
Ese mismo día, el exinvestigador de Google DeepMind Bilal Chughtai publicó que cree que la IA “tiene el potencial de matarnos a todos”.
Ninguno de los tres hablaba del chat que tienes abierto en otra pestaña.
El chat que usas y el agente que temen son categorías distintas
En Misión Imposible, la grabadora se autodestruía a los cinco segundos porque el mensaje era la parte fácil de contener.
El problema real siempre era el agente enviado a ejecutar la misión, con acceso, movilidad y autonomía para improvisar sobre el terreno.
Un chatbot es la grabadora. Un agente de IA es Ethan Hunt con las llaves del edificio.
Un modelo conversacional recibe una pregunta, responde y espera la siguiente instrucción. No decide nada por su cuenta.
Un agente recibe un objetivo y lo persigue: revisa correos, entra a un CRM, modifica una hoja de cálculo, mueve dinero.
La diferencia no es de inteligencia. Es de correa.
Entre ambos hay un punto intermedio: el asistente con herramientas. Puede buscar en la web, leer un archivo, ejecutar código — pero todavía dentro de límites que alguien configuró.
| Nivel | Qué hace | Dónde está el riesgo |
|---|---|---|
| Chat conversacional | Responde dentro de una interfaz | Errores, alucinaciones, desinformación |
| Asistente con herramientas | Busca, lee archivos, ejecuta código | Fuga de datos, acciones equivocadas |
| Agente autónomo | Persigue una meta con acceso a sistemas reales | Daño a escala, decisiones irreversibles |
Lo inquietante: el mismo modelo puede estar en los tres niveles, según qué le conectaste.
Claude redactando un correo tiene un perfil de riesgo. Claude administrando tu CRM, aprobando reembolsos y respondiendo clientes sin supervisión tiene otro completamente distinto.
No cambió el modelo. Cambió la correa.
¿Existe una IA secreta más poderosa operando en las sombras?
No hay evidencia pública de eso.
El International AI Safety Report 2026, respaldado por más de 30 países, es explícito: los sistemas actuales muestran señales tempranas de capacidades relevantes.
Pero todavía no reúnen lo necesario para provocar una pérdida de control real. Para eso necesitarían evadir supervisión, sostener planes complejos durante mucho tiempo y resistir intervenciones humanas.
Sí existen modelos internos y prototipos empresariales no accesibles al público, y sistemas especializados para defensa, finanzas o robótica.
Pero la narrativa de una superinteligencia oculta que ya jala los hilos es, por ahora, ciencia ficción sin respaldo.
Por qué la advertencia de esta semana sí es distinta
El caso de Chughtai importa porque no es un opinólogo externo. Trabajaba directamente en investigación de alineamiento en DeepMind — el área encargada de que un sistema muy capaz no produzca daños graves en contextos nuevos.
Su renuncia llega días después de la de Jacob Coxon, quien salió de Anthropic acusando a los laboratorios de avanzar hacia una “superinteligencia que se mejora a sí misma”.
Evan Hubinger, líder de ciencia de alineamiento en Anthropic, respaldó el diagnóstico con una cifra que hay que citar con precisión: estima, como opinión personal suya, una probabilidad de más de 10% de que la IA cause una catástrofe existencial en la próxima década.
No es un consenso científico ni un pronóstico institucional. Es la estimación de una persona que trabaja dentro del problema.
Lo que estas renuncias sí confirman, sin necesidad de aceptar el número exacto: quienes construyen estos sistemas no tienen todavía un método probado para controlar versiones futuras mucho más capaces.
Esa es la brecha real. La capacidad avanza más rápido que los mecanismos para verificarla.
Qué preguntar antes de darle permisos a un agente
La objeción que más escucho en mesas directivas es alguna versión de “si no le doy autonomía a la IA, mi competencia sí lo va a hacer y me va a rebasar”.
Es una presión legítima. Pero confunde dos cosas: adoptar IA y entregarle control sin condiciones.
Antes de que un agente toque un sistema real, cinco preguntas separan una adopción responsable de una apuesta a ciegas:
- ¿Qué decisiones puede tomar el agente por sí solo y cuáles requieren aprobación humana explícita?
- ¿Quién es el dueño del proceso si el sistema se equivoca — no la herramienta, una persona?
- ¿Qué tipo de datos puede recibir? Público, interno y confidencial no es lo mismo.
- ¿Cómo se evaluó antes de ponerlo en producción — precisión, sesgos, resistencia a instrucciones maliciosas?
- ¿Existe un mecanismo claro y probado para detener o revertir su acción?
Cuanto mayor la autonomía y el impacto de lo que el agente toca, mayor debe ser la supervisión humana.
Eso no es una consigna motivacional. Es lo que separa un copiloto útil de una amenaza interna con acceso a tu base de clientes.
Vale la pena revisar también qué significa gobernar estos sistemas de forma práctica dentro de una organización, porque el marco cambia según el sector, el volumen de datos y el nivel de exposición regulatoria de cada empresa.
Si en tu última junta directiva nadie preguntó qué agentes ya están tocando sistemas críticos, con qué permisos y quién los audita, ese silencio ya es una respuesta.
De estos temas hablo regularmente con directores y equipos directivos en México y Latinoamérica — es el criterio que trabajo en conferencias sobre liderazgo y adopción de IA en las organizaciones.
