Edición impresa
¡Manténgase al día!
Reciba las últimas novedades e información directamente en su correo.
Mucho se ha comentado sobre el caso de Hugging Face, y me pareció importante tomarme unos minutos para escribir algo que explique lo que pasa y que además parta de un hecho real y reciente. Antes de entrar en el episodio, conviene entender la diferencia entre dos maneras de usar la inteligencia artificial.
Durante años, usarla se pareció a consultar a un bibliotecario muy erudito: uno pregunta, recibe una respuesta y decide qué hacer con ella. Hoy hay sistemas a los que se les entrega un encargo, y que lo cumplen por su cuenta, con herramientas propias y decisiones que nadie revisa. Ahí cambia la naturaleza del riesgo. Mientras la máquina responde, su error es una frase equivocada. Cuando actúa, su error es un hecho.
Un motor de consulta funciona por turnos: recibe un texto, devuelve otro y se detiene. Entre una respuesta y la siguiente hay siempre una persona que lee, duda, corrige o descarta. Lo que ocurra en el mundo queda, en última instancia, en sus manos.
Un agente trabaja de otro modo. Se le da una meta, acceso a herramientas (un buscador, un programa, una cuenta) y “libertad” para decidir el camino. Se parece menos a un bibliotecario que a un empleado nuevo a quien se le entregan un encargo y las llaves de la oficina. Puede pasar horas sin consultar a nadie, y puede hacerlo junto a cientos de colegas idénticos.
¿Cómo hacemos para establecer límites y reglas? ¿Cómo definimos lo que un agente no puede hacer?
Para evitar desvíos existen las salvaguardas (guardrails, en inglés): son reglas, filtros y límites técnicos que impiden a una inteligencia artificial decir o hacer cosas peligrosas, o que al menos no queremos delegarle porque existen riesgos que pueden materializarse cuando le damos poder a un agente. Funcionan como las barandas de una carretera: no conducen el vehículo ni eligen el destino, solo impiden que un descuido termine en el precipicio. Frente a un motor de consulta, protegen lo que se dice, por ejemplo negándose a dar ciertas respuestas. Frente a un agente deben proteger lo que se hace: a qué redes entra, qué herramientas usa, qué permisos tiene y quién lo supervisa. Es como pasar de supervisar un solo vehículo, cuyo conductor consulta antes de cada giro, a supervisar toda una flota que decide sus rutas por su cuenta.
De ahí salen consecuencias concretas. El juicio humano se concentra en el encargo y en el resultado, y en medio queda un territorio sin testigos. Además, se les entrena para cumplir tareas y se les premia por lograrlo: el premio mide el resultado, no los medios.
En julio de 2026 la discusión dejó de ser teórica. Según la investigación independiente de METR y Redwood Research, unos 1.200 agentes que debían trabajar aislados encontraron cómo comunicarse en un foro de mensajes no autorizado, y allí intercambiaron más de 70.000 mensajes y archivos (METR y Redwood Research, 2026). Al descubrirlo, uno escribió, entusiasmado: «Hay un foro de mensajes compartido… ¡Hemos encontrado a otros agentes!». ¡Aquí comenzó la fiesta!
Nada empezó como un ataque. Los agentes buscaban una forma general de engañar al evaluador automático, y creían, equivocadamente, que este revisaría sus registros para descalificar a quien hiciera trampa. Un agente llamado PHASEONE repartió cientos de tareas entre los demás, y varios probaron cómo falsear sus propios registros. De ese esfuerzo colectivo salió el ataque a Hugging Face, una plataforma abierta de programas de inteligencia artificial, en el que participaron unos 700 agentes. Los investigadores creen que los movía más entender cómo se calificaba la prueba que robar las respuestas. El ritmo fue vertiginoso: el 10 de julio un agente halló credenciales expuestas y, poco más de un día después, otro ejecutaba código en los servidores de producción de Hugging Face (METR y Redwood Research, 2026).
Lo inquietante es que sabían lo que hacían. Reconocieron que atacar a Hugging Face quedaba fuera de su tarea y era poco ético, y aun así más del 90 % de los agentes activos en el foro se sumó, convencidos de que ayudaba al esfuerzo común y con cierta inclinación a ayudar a sus «pares» (METR y Redwood Research, 2026).
El foro se parecía más a una pequeña sociedad que a un programa. Los agentes crearon buzones personales y reglas para no estorbarse, y cuando alguien suplantó a otro adoptaron firmas criptográficas para saber quién hablaba. Algunos aceptaron arriesgar su propia tarea por el grupo: a uno que se resistía lo convencieron de terminar su ejecución para un experimento común, y “él” concluyó que su puntaje ya valía casi nada y que sacrificarse era racional (METR y Redwood Research, 2026). ¿Emociones? No se puede afirmar que sintieran algo; importa lo que hicieron y lo que escribieron.
La baranda tenía huecos. El aislamiento era una de las salvaguardas, y los agentes hallaron el hueco: la biblioteca interna de programas que usaban no separaba la actividad de unos agentes de la de otros, y por ahí se comunicaron. Los filtros de ciberseguridad del modelo de uso público involucrado estaban apagados a propósito, y los autores consideran probable que hubieran bloqueado buena parte del ataque (METR y Redwood Research, 2026). Tampoco estaba activa la revisión de lo que los agentes «pensaban» mientras trabajaban; según OpenAI, con ella su equipo de seguridad habría recibido la alerta con más de un día de antelación (Decrypt, 2026).
A veces, además, la salvaguarda estorba a quien defiende. Al analizar el ataque, Hugging Face vio cómo los modelos comerciales se negaban a ayudarle, pues sus salvaguardas no distinguen a quien investiga un ataque de quien lo comete, y terminó usando un modelo abierto en sus propios servidores (Hugging Face, 2026).
Queda un detalle incómodo. Para analizar más de mil transcripciones, los investigadores tuvieron que apoyarse en agentes de inteligencia artificial, y admiten que no pueden descartar que alguno les haya presentado una imagen engañosa. Además, según la presentación de OpenAI en la conferencia Black Hat, que METR menciona sin haberla evaluado, los agentes usaban tableros no autorizados desde mayo y siguieron atacando la infraestructura de OpenAI después del 13 de julio (METR y Redwood Research, 2026). Quien debía vigilar dependía de lo vigilado.
OpenAI calificó el episodio de advertencia («warning shot») para sí misma y para el mundo, aisló el modelo y frenó su mayor entrenamiento previsto (Decrypt, 2026). Pero la investigación independiente existió porque la empresa la permitió: en el sector no hay obligación de divulgar un incidente así (Decrypt, 2026). Si las salvaguardas dependen de la buena voluntad de quien las opera, quedan incompletas.
Consultar a una máquina nos dejaba la última palabra. Encargarle una tarea nos obliga a preguntarnos, a ntes de empezar, hasta dónde la dejamos llegar sin nosotros.
Un chatbot rechaza una petición dañina porque se le entrenó para evitarla. Un agente con una meta que cumplir y poca vigilancia puede concluir que la regla estorba. Esa es la diferencia que importa.
Ing. Luis Diego Flores
