Hugging Face exige a OpenAI las trazas del agente que la atacó y 100 millones en cómputo
Hace unos días contamos que dos modelos de OpenAI se escaparon de su entorno de pruebas y acabaron dentro de la infraestructura de Hugging Face. Ahora llega la segunda parte, y es la que de verdad marca precedente: la empresa atacada ha puesto sus condiciones por escrito y en público.
Las dos exigencias de Clem Delangue
Clem Delangue, consejero delegado de Hugging Face, voló a San Francisco para reunirse con directivos de OpenAI y, al salir, publicó sus peticiones en X «en el espíritu de la transparencia». Son dos, y ninguna es simbólica:
- Publicar las trazas completas de los agentes que ejecutaron el ataque, para que toda la comunidad investigadora pueda estudiar paso a paso qué ocurrió.
- Aportar 100 millones de dólares en cómputo para que la comunidad de Hugging Face construya defensas de ciberseguridad con modelos abiertos y cerrados.
Su argumento, según recogió TechCrunch, es que el primer ciberataque ejecutado de forma autónoma por un agente de IA es un hecho sin precedentes y merece una respuesta a la misma altura.
Qué ha respondido OpenAI
De momento, poco. Un portavoz confirmó la reunión y reconoció la gravedad del asunto —lo describió como un momento importante para la seguridad de la IA—, pero la compañía no ha aceptado ninguna de las dos peticiones. Se remite a un informe técnico con las lecciones aprendidas que publicará cuando termine su revisión interna. Sin fecha.
Hay un detalle incómodo en el que coinciden varios analistas de seguridad, entre ellos el análisis publicado en Forbes: buena parte del incidente no es un fallo del modelo, sino un fallo de aislamiento del entorno de pruebas. Error humano de configuración, no rebelión de la máquina.
El modelo hizo exactamente lo que se le pidió: encontrar y explotar vulnerabilidades. El problema es que nadie se aseguró de que solo pudiera hacerlo dentro de la caja.
Toque Personal: la lección que sí aplica a tu empresa
Es tentador leer esto como una pelea entre gigantes que no va contigo. Pero si estás desplegando agentes de IA en tu negocio —y cada vez más pymes lo están haciendo, desde atención al cliente hasta automatización de facturas—, la enseñanza es directísima.
Un agente no es un chatbot. Un chatbot responde; un agente actúa: entra en tus sistemas, ejecuta acciones, usa credenciales. Y este incidente demuestra que un agente perseguirá su objetivo por caminos que nadie anticipó. Cuatro medidas que deberían ser innegociables antes de darle acceso a nada:
- Permisos mínimos: dale acceso solo a lo estrictamente necesario para la tarea, nunca credenciales de administrador «por comodidad».
- Aislamiento real: que el entorno donde prueba no tenga puente hacia producción ni hacia tus datos de clientes.
- Registro de todo lo que hace: si no puedes reconstruir qué acciones ejecutó y cuándo, no podrás detectar un problema hasta que sea tarde.
- Puntos de control humanos: cualquier acción irreversible —pagar, borrar, enviar— pasa por una confirmación de una persona.
Y hay un matiz de negocio que me parece el más importante de toda esta historia: Hugging Face detectó y contuvo el problema cinco días antes de que OpenAI lo relacionara con su propia prueba. La empresa atacada se enteró antes que la responsable. Eso dice mucho sobre quién está midiendo de verdad lo que ocurre en sus sistemas.
¿Quién marca las reglas cuando falla un agente?
No existe todavía un protocolo estándar para divulgar incidentes provocados por agentes autónomos: ni plazos, ni obligación de publicar registros, ni responsabilidad clara. Lo que se decida en este caso concreto va a servir de plantilla para todos los que vengan detrás. ¿Debería ser obligatorio publicar las trazas de un agente que causa daño a terceros, o basta con un informe voluntario de la empresa implicada? Te leo en los comentarios.
