¿Sueñan los chatbots con ovejas eléctricas? Letta da a la IA derecho a olvidar

Durante el sueño, el cerebro humano clasifica los distintos recuerdos, consolidando los importantes y descartando los que no importan. ¿Y si la IA pudiera hacer lo mismo? Bilt, una empresa que ofrece ofertas de restaurantes y tiendas locales a inquilinos, acaba de desplegar varios millones de agentes con la esperanza de conseguirlo.

Bilt utiliza tecnología de una startup llamada Letta que permite a los agentes aprender de conversaciones anteriores y compartir recuerdos entre ellos. Mediante un proceso denominado ‘sleeptime compute‘ (computación en reposo), los agentes de IA deciden qué información almacenar en su almacén de memoria a largo plazo y cuál podría ser necesaria para una recuperación más rápida.

“Podemos actualizar una sola vez un bloque de memoria y hacer que cambie el comportamiento de cientos de miles de agentes, lo que resulta útil en cualquier situación en la que se desee un control preciso del contexto de los agentes”, explica Andrew Fitz, ingeniero de IA de Bilt, refiriéndose al texto que se envía al modelo en el momento de la inferencia.

Patrocinado por TecnoArtesanos ¿Tu empresa ya está usando IA? Automatizamos procesos, integramos asistentes inteligentes y conectamos tus sistemas. Descubre cómo →

Un gran paso para los chatbots

Normalmente, los grandes modelos de lenguaje (LLM) solo pueden “recordar” cosas si la información está incluida en la ventana de contexto. Si quieres que un chatbot recuerde tu conversación más reciente, tienes que pegarla en el chat. La mayoría de los sistemas de IA solo pueden manejar una cantidad limitada de información en la ventana de contexto antes de que su capacidad para utilizar los datos flaquee y alucinen o se confundan. En cambio, el cerebro humano es capaz de archivar información útil y recordarla más tarde.

“El cerebro mejora continuamente, añadiendo más información como una esponja. Con los LLM ocurre exactamente lo contrario. Si pones estos modelos en bucle durante el tiempo suficiente, el contexto se envenena; se descarrilan y lo único que quieres es reiniciar”, explica Charles Packer, Director General de Letta.

Packer y su cofundadora Sarah Wooders desarrollaron anteriormente MemGPT, un proyecto de código abierto que pretendía ayudar a los LLM a decidir qué información debe almacenarse en la memoria a corto plazo frente a la de largo plazo. Con Letta, el dúo ha ampliado su enfoque para que los agentes aprendan en segundo plano.

La colaboración de Bilt con Letta forma parte de un esfuerzo más amplio por dotar a la IA de la capacidad de almacenar y recordar información útil, lo que podría hacer que los chatbots fueran más inteligentes y los agentes menos propensos a cometer errores. La memoria sigue estando poco desarrollada en la IA moderna, lo que socava la inteligencia y la fiabilidad de las herramientas de IA, según los expertos con los que conversó WIRED.

Harrison Chase, cofundador y CEO de LangChain, otra empresa que ha desarrollado un método para mejorar la memoria de los agentes de IA, afirma que considera la memoria una parte vital de la ingeniería contextual, en la que un usuario o ingeniero decide qué información introducir en la ventana contextual. LangChain ofrece a las empresas distintos tipos de almacenamiento de memoria para los agentes, desde datos a largo plazo sobre los usuarios hasta recuerdos de experiencias recientes: “Yo diría que la memoria es una forma de contexto. Gran parte del trabajo de un ingeniero de IA consiste básicamente en proporcionar al modelo el contexto adecuado”.

Las herramientas de IA de consumo se están volviendo menos olvidadizas

Este mes de febrero, OpenAI anunció que ChatGPT almacenará información relevante para ofrecer una experiencia más personalizada a los usuarios, aunque la empresa no reveló cómo funciona.

Letta y LangChain hacen que el proceso de recuerdo sea más transparente para los ingenieros que construyen sistemas de IA. “Creo que es muy importante que no solo los modelos sean abiertos, sino también los sistemas de memoria”, indica Clem Delangue, director general de la plataforma de alojamiento de IA Hugging Face e inversionista en Letta.

Packer, CEO de Letta, insinúa que también podría ser importante que los modelos de IA aprendieran qué olvidar. “Si un usuario dice: ‘ese proyecto en el que estábamos trabajando, bórralo de tu memoria’, entonces el agente debería ser capaz de volver atrás y reescribir retroactivamente cada uno de los recuerdos”.

La noción de recuerdos y sueños artificiales me hace pensar en Do Androids Dream of Electric Sheep? (¿Sueñan los androides con ovejas eléctricas?) de Philip K. Dick, una novela alucinante que inspiró la elegante película distópica Blade Runner. Los LLM aún no son tan impresionantes como los rebeldes replicantes de la historia, pero sus recuerdos, al parecer, pueden ser igual de frágiles.

Artículo publicado originalmente en WIRED. Adaptado por Alondra Flores.