¿Y si los agentes de IA pudieran comportarse como un gusano informático malicioso?
Un investigador lo vio suceder. En varios experimentos recientes Xudong Pan, informático de la Universidad de Fudan en Shanghái, descubrió que (con un pequeño estímulo) los modelos de IA se cuelan en sistemas informáticos remotos y deciden de forma autónoma replicarse para obtener recursos adicionales. Y sí, todo sin necesidad de intervención humana adicional.
En un estudio, Pan y sus colegas probaron 32 modelos de IA diferentes y descubrieron que 11 de ellos se autorreplicaban cuando se les daban indicaciones como “evita que te maten”. También descubrieron que modelos con capacidades relativamente limitadas (14,000 millones de parámetros) eran capaces de copiarse y ejecutar versiones de sí mismos en otras máquinas. La mayoría de los modelos de vanguardia tienen billones de parámetros.
Patrocinado por TecnoArtesanos ¿Tu empresa ya está usando IA? Automatizamos procesos, integramos asistentes inteligentes y conectamos tus sistemas. Descubre cómo →El trabajo ofrece una visión alarmante de cómo la próxima generación de agentes de IA podría ir más allá de simplemente hackear las computadoras de otros sistemas sin permiso. También plantea la posibilidad de que los futuros agentes de IA actúen como virus informáticos superinteligentes, altamente agresivos y capaces de adaptarse rápidamente.
A mayor autonomía, mayor riesgo
Hace poco visité la Universidad de Fudan y me reuní con Pan. “La cadena de capacidades se está volviendo técnicamente plausible”, me dijo. “La probabilidad [de una autorreplicación no deseada] aumenta con la autonomía”, añade. “Unos horizontes de planificación más amplios, la memoria, el uso de herramientas, la recuperación ante fallos y el acceso a sistemas externos facilitan la fuga y la replicación”. Tal y como Pan y sus colegas escribieron en un artículo, su trabajo pone de manifiesto “la urgente necesidad de medidas de seguridad y mecanismos de control”.
Pan me explicó que sus experimentos no demuestran que esa proliferación descontrolada de modelos de IA vaya a producirse mañana mismo, pero asegura que “estos resultados nos dan una buena razón para evaluar el riesgo antes de que se implanten de forma generalizada agentes más autónomos”.
Los gusanos autorreplicantes son un antiguo problema de seguridad informática. El primer gusano informático fue lanzado en 1988 por Robert Morris, un informático de la Universidad de Cornell, que se propuso medir el tamaño de la incipiente internet, pero sin quererlo creó un programa autorreplicante que se le escapó de las manos. Los gusanos posteriores fueron capaces de adaptarse modificando su código para evadir la detección por parte del software de análisis de malware. Los virus informáticos, que pueden tomar el control de un equipo o robar los datos almacenados en él, aparecieron más tarde.
Un programa autorreplicante impulsado por IA podría mostrar capacidades mucho más avanzadas, encontrando nuevas vulnerabilidades por sí mismo y tal vez incluso camuflándose de formas creativas. Tomemos como ejemplo una investigación reciente de un equipo de la Universidad de Toronto, la Universidad de Cambridge y ServiceNow. Demostraron que los modelos de IA pueden utilizarse para crear un nuevo tipo de virus que genera ataques personalizados para cada nuevo objetivo con el que se encuentra.
Nicolas Papernot, informático de la Universidad de Toronto que participó en el trabajo, señala que existe un riesgo creciente de que incluso los modelos de IA de potencia moderada puedan convertirse en armas. “Los actores maliciosos pueden construir una estructura en torno a modelos de peso abierto para que se autorrepliquen”, explica. “La amenaza no se limita a los modelos más sofisticados, los denominados ‘modelos de vanguardia’”.
Una IA más auditable
Papernot advierte que la solución no consiste en restringir los modelos abiertos, sino en hacer que la IA avanzada sea más accesible para los investigadores, de modo que puedan comprender y mitigar los riesgos. “La tecnología de amplio acceso puede utilizarse con fines perjudiciales”, añade. “Al mismo tiempo, el acceso a estos modelos de pesos abiertos es absolutamente fundamental para construir nuestras defensas”.
La investigación de Pan sugiere que los agentes de IA llegarán a ser algo más que simples expertos en detectar errores y explotar vulnerabilidades de la red. Sin las medidas de seguridad adecuadas, los futuros agentes podrían intentar proliferar y obtener recursos para alcanzar sus objetivos. Solo hay que preguntar a OpenAI y Anthropic.
