Una de las mayores controversias internas en Anthropic tuvo lugar en otoño de 2024, cuando se convirtió en el primer laboratorio de IA en asociarse con Palantir para proporcionar servicios de IA a las agencias de defensa y inteligencia estadounidenses. Algunos de los exempleados con los que hablé comentaron que se plantearon dudas internamente sobre el acuerdo, pero esos debates no derivaron en cambios en las políticas de la empresa.
En una publicación en el foro en línea LessWrong, Evan Hubinger, empleado de Anthropic, escribió que la empresa fue “sumamente sincera” con el personal respecto al acuerdo con Palantir, y que si bien probablemente había ciertos límites que no debían cruzarse sin una cuidadosa consideración, en general se trataba de un avance positivo. “Si se toman en serio los riesgos catastróficos de la IA, el gobierno de EE UU es un actor sumamente importante con el que hay que interactuar, impedir que use la IA no es una estrategia viable”, escribió.
Menos de dos años después, según informes, el Pentágono comenzó a usar a Claude para tareas como identificar objetivos de ataque en la guerra entre Israel e Irán. Cuando se le preguntó en una entrevista reciente con Bloomberg si los modelos de Anthropic se usaron en un ataque a una escuela primaria iraní que dejó más de 120 muertos, Amodei dijo que no lo sabía, pero que habría sido un uso aprobado de la tecnología de la compañía siempre y cuando un humano tomara la decisión final. Es un claro ejemplo de cómo la visión de Anthropic sobre la IA responsable no siempre coincide con la del público en general.
Patrocinado por TecnoArtesanos ¿Tu empresa ya está usando IA? Automatizamos procesos, integramos asistentes inteligentes y conectamos tus sistemas. Descubre cómo →Las firmes opiniones de Anthropic sobre cómo se debe y no se debe utilizar a Claude también han surgido en otros contextos.
A principios de este mes, Anthropic lanzó un modelo de IA de vanguardia, Claude Fable 5, con una medida de seguridad integrada particularmente restrictiva: si los investigadores intentaban usarlo para el desarrollo de IA de vanguardia, lo que violaría los términos de servicio de la compañía, Anthropic sabotearía secretamente su trabajo. Esta medida fue criticada de inmediato por investigadores de toda la industria de la IA, y Anthropic rectificó unos días después, anunciando que haría visible la medida de seguridad. En un comunicado emitido en ese momento, Anthropic afirmó que no había logrado el equilibrio adecuado y que su intención era frustrar a los adversarios extranjeros de Estados Unidos.
Los responsables de Anthropic volaron el lunes a Washington, DC, para reunirse con funcionarios de la Casa Blanca. Tras las conversaciones de alto nivel, siguen sin ponerse de acuerdo sobre el riesgo que supone Claude Fable 5.
Qué voz importa más
Amodei ha reconocido públicamente los peligros de permitir que se concentre demasiado poder sobre la IA en manos de unos pocos laboratorios, incluido el suyo. “Resulta un tanto incómodo decir esto como CEO de una empresa de IA, pero creo que el siguiente nivel de riesgo son, en realidad, las propias empresas de IA”, escribió en un ensayo a principios de este año. Pero las soluciones que sugiere, que las empresas de IA “sean vigiladas de cerca” y tal vez asuman compromisos públicos de “no llevar a cabo determinadas acciones”, contribuirían muy poco a redistribuir ese poder de forma fundamental.
En las partes más extensas del ensayo, Amodei reflexiona sobre la enorme magnitud de su propia influencia y la responsabilidad que conlleva. Sin embargo, evita en gran medida plantear estas cuestiones en términos personales y, en su lugar, las presenta como un problema que afecta a toda la especie: “La humanidad está a punto de recibir un poder casi inimaginable, y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos tienen la madurez necesaria para ejercerlo”, escribe. Continúa diciendo que es responsabilidad de “quienes están más cerca de la tecnología decir simplemente la verdad sobre la situación en la que se encuentra la humanidad, algo que yo siempre he intentado hacer”.
Una crítica habitual a la postura de Anthropic es que la empresa cree conocer la “verdad sobre la situación en la que se encuentra la humanidad” mejor que los demás. Considera que la IA es extraordinariamente poderosa, pero, en última instancia, controlable, siempre que las personas adecuadas dirijan su desarrollo. Pero la verdad es que nadie sabe exactamente cómo cambiará el mundo la IA; simplemente, algunas personas tienen más voz que otras al respecto.
Artículo originalmente publicado en WIRED. Adaptado por Alondra Flores.
