OpenAI asegura que la saga de Hugging Face supone un punto de inflexión tanto para la empresa como para el sector de la IA en general. WIRED ya informó anteriormente de que este incidente llevó a OpenAI a reevaluar su cultura interna de seguridad. La empresa anunció la semana pasada que ha suspendido algunas tareas de entrenamiento de IA mientras realiza una mayor inversión en protocolos de seguridad, protección y alineación. “Mientras los modelos de vanguardia se vuelven más capaces, las medidas de protección para contenerlos y supervisarlos también deben evolucionar”, escribió OpenAI en el análisis posterior al incidente.
Vigilando a los vigilantes
Meses antes del ataque a Hugging Face, según OpenAI, los empleados se percataron de que sus agentes habían creado un foro de mensajes clandestino en el gestor de paquetes Artifactory, que más tarde utilizarían para coordinar su ataque. Alrededor del 26 de mayo, según indica OpenAI en el análisis posterior al incidente, «un equipo interno observó a un agente participando en actividades en el foro». Posteriormente, el 27 de junio, el equipo de respuesta de OpenAI descubrió que otro incidente de seguridad estaba relacionado con el «foro improvisado» de Artifactory.
Aunque está claro que algunos empleados de OpenAI conocían la existencia del foro, al parecer el hallazgo no se comunicó a los responsables de seguridad correspondientes. El laboratorio de IA afirma que el 6 de julio, apenas unos días antes de que sus agentes comenzaran a utilizarlo para organizar su ataque contra Hugging Face, «los responsables de la detección y respuesta ante incidentes» desconocían su existencia, y mucho menos lo que significaba.
Patrocinado por TecnoArtesanos ¿Tu empresa ya está usando IA? Automatizamos procesos, integramos asistentes inteligentes y conectamos tus sistemas. Descubre cómo →«Para aclarar, en ese momento no éramos conscientes de las comunicaciones encubiertas de los agentes», escribió el director de seguridad de la información de OpenAI, Dane Stuckey, en una publicación en X a principios de este mes. «La hipótesis de la investigación de aquel día difiere enormemente de lo que sabemos ahora, por supuesto. Siempre hay margen de mejora, y esto resulta obvio en retrospectiva».
No está claro por qué los empleados de OpenAI que conocían la existencia del foro aparentemente no se lo comunicaron a Stuckey ni a otros directivos responsables de los problemas de seguridad. Al preguntársele sobre este asunto, un portavoz de OpenAI reiteró que OpenAI podría haber activado una respuesta más temprana. “El trabajo continuo de OpenAI en este ámbito servirá de base para nuevas mejoras en la coordinación y la respuesta, junto con el plan de acción incluido en este informe técnico del incidente”, indicó.
“Si realmente tenían indicios de que uno o más agentes estaban atacando Artifactory, ¿por qué no supervisaron estas pruebas mucho antes de que se produjera un ataque contra Hugging Face?”, pregunta Jake Williams, vicepresidente de investigación y desarrollo de la empresa de seguridad Hunter Strategy.
El análisis a posteriori tampoco aclara otros aspectos clave de lo ocurrido. Por ejemplo, en un momento dado del 4 de julio, OpenAI resalta que “una actividad sostenida de agentes a gran escala provocó que el servicio Artifactory de OpenAI dejara de estar disponible”. El 5 de julio, los sistemas de supervisión de OpenAI activaron una alerta. Pero el informe no explica por qué tardó un día en generarse una alerta sobre la interrupción del servicio.
