OpenAI está pidiendo a contratistas externos que carguen tareas reales de sus lugares de trabajo actuales o anteriores para poder utilizar los datos en la evaluación del rendimiento de sus modelos de IA de próxima generación, según los registros de OpenAI y la empresa de datos de formación Handshake AI obtenidos por WIRED.
El proyecto parece formar parte de los esfuerzos de OpenAI por establecer una línea de base humana para diferentes tareas que luego pueda compararse con los modelos de IA. En septiembre, la empresa puso en marcha un nuevo proceso de evaluación para medir el rendimiento de sus modelos de IA frente a profesionales humanos de diversos sectores. OpenAI afirma que este es un indicador clave de su progreso hacia la consecución de la IAG, o un sistema de IA que supere a los humanos en la mayoría de las tareas económicamente valiosas.
“Hemos contratado a personas de distintas profesiones para que nos ayuden a recopilar tareas del mundo real que se asemejen a las que realizan en sus trabajos a tiempo completo, de modo que podamos medir el rendimiento de los modelos de IA en esas tareas”, se lee en un documento confidencial de OpenAI. “Toma piezas existentes de trabajo a largo plazo o complejas (horas o días) que hayas hecho en tu ocupación y convierte cada una en una tarea”.
OpenAI está pidiendo a los contratistas que describan las tareas que han realizado en su trabajo actual o en el pasado y que suban ejemplos reales del trabajo que hicieron, según una presentación de OpenAI sobre el proyecto vista por WIRED. Cada uno de los ejemplos debe ser “un resultado concreto (no un resumen del archivo, sino el archivo real), por ejemplo, documento de Word, PDF, Powerpoint, Excel, imagen, repo”, señala la presentación. OpenAI asegura que la gente también puede compartir ejemplos de trabajo inventados y creados para demostrar cómo responderían de forma realista en escenarios específicos.
OpenAI y Handshake AI declinaron hacer comentarios.
Las tareas del mundo real tienen dos componentes, según la presentación de OpenAI. Está la solicitud de la tarea (lo que el jefe o colega de una persona le dice que haga) y la entrega de la tarea (el trabajo real que produce en respuesta a esa solicitud). La empresa insiste varias veces en las instrucciones de que los ejemplos que compartan los contratistas deben reflejar “trabajo real en el puesto de trabajo” que la persona haya “realizado realmente”.
Uno de los ejemplos de la presentación de OpenAI describe una tarea de un “director de estilo de vida de una empresa de conserjería de lujo para personas de alto poder adquisitivo”. El objetivo es “preparar un breve borrador en PDF de 2 páginas de una descripción general de un viaje en yate de 7 días a las Bahamas para una familia que viajará allí por primera vez”. Incluye detalles adicionales sobre los intereses de la familia y cómo debería ser el itinerario. A continuación, el “entregable humano experimentado” muestra lo que subiría el contratista en este caso: un itinerario real por las Bahamas creado para un cliente.
Un riesgo para la privacidad
OpenAI da instrucciones a los contratistas para que eliminen la propiedad intelectual de la empresa y la información de identificación personal de los archivos de trabajo que suben. En una sección titulada “Recordatorios importantes”, OpenAI expresa a los trabajadores que “eliminen o anonimicen cualquier: información personal, datos de propiedad o confidenciales, información material no pública (por ejemplo, estrategia interna, detalles de productos no publicados)”.
Uno de los archivos vistos por el documento de WIRED menciona una herramienta de ChatGPT llamada “Superstar Scrubbing” que ofrece consejos sobre cómo eliminar información confidencial.
