El pasado mes de octubre, en una conferencia sobre seguridad informática celebrada en Arlington, Virginia, varias docenas de investigadores de IA participaron en un ejercicio pionero de red teaming, o prueba de estrés de un modelo de lenguaje de vanguardia y otros sistemas de inteligencia artificial. A lo largo de dos días, los equipos identificaron 139 nuevas formas de hacer que los sistemas se comportaran mal, por ejemplo generando información errónea o filtrando datos personales. Y lo que es más importante, mostraron las deficiencias de una nueva norma del gobierno estadounidense diseñada para ayudar a las empresas a probar los sistemas de IA.
El Instituto Nacional de Estándares y Tecnología (NIST, por sus siglas en inglés) no publicó un informe detallando el ejercicio, que se terminó hacia el final de la administración Biden. El documento podría haber ayudado a las empresas a evaluar sus propios sistemas de IA, pero fuentes con conocimiento de la situación, que hablaron bajo condición de anonimato, afirman que uno de los varios documentos sobre la IA del NIST no se publicó por miedo a entrar en conflicto con la administración entrante.
“Se hizo muy difícil, incluso bajo el presidente Joe Biden, publicar cualquier documento. Se parecía mucho a la investigación sobre el cambio climático o los cigarros”, declaró una fuente que estaba en el NIST en ese momento.
Patrocinado por TecnoArtesanos ¿Tu empresa ya está usando IA? Automatizamos procesos, integramos asistentes inteligentes y conectamos tus sistemas. Descubre cómo →Ni el NIST ni el Departamento de Comercio (DOC, por sus siglas en inglés) respondieron a una solicitud de comentarios.
Los planes de Trump con la IA
Antes de asumir el cargo, el presidente Donald Trump señaló que planeaba revertir la Orden Ejecutiva de Biden sobre IA. Desde entonces, la administración de Trump ha alejado a los expertos del estudio de cuestiones como el sesgo algorítmico o la imparcialidad en los sistemas de IA. El plan de acción sobre IA publicado en julio pide explícitamente que se revise el Marco de Gestión de Riesgos de IA del NIST “para eliminar las referencias a la desinformación, la Diversidad, la Equidad y la Inclusión (DEI), y el cambio climático”.
Irónicamente, el plan de acción de IA de Trump también pide exactamente el tipo de ejercicio que cubría el informe no publicado. Pide que numerosas agencias junto con el NIST “coordinen una iniciativa de hackathon de IA para solicitar a los mejores y más brillantes del mundo académico estadounidense que prueben los sistemas de IA en cuanto a transparencia, eficacia, control de uso y vulnerabilidades de seguridad”.
El evento de red teaming se organizó a través del programa Assessing Risks and Impacts of AI (ARIA) del NIST en colaboración con Humane Intelligence, una empresa especializada en probar sistemas de IA vio equipos de herramientas de ataque. El acto tuvo lugar en la Conferencia sobre Aprendizaje Automático Aplicado a la Seguridad de la Información (CAMLIS).
El informe “CAMLIS Red Teaming” describe el esfuerzo realizado para sondear varios sistemas de IA punteros, entre ellos Llama, el gran modelo de lenguaje (LLM) de código abierto de Meta; Anote, una plataforma para construir y afinar modelos de inteligencia artificial; un sistema que bloquea ataques a sistemas de IA de Robust Intelligence, empresa que fue adquirida por CISCO; y una plataforma para generar avatares de IA de la firma Synthesia. También participaron en el ejercicio representantes de cada una de las empresas.
