Mesmo o melhor os agentes de inteligência synthetic são bastante desesperadores no trabalho freelance on-line, de acordo com uma experiência que desafia a ideia de a IA substituir em massa os trabalhadores de escritório.
O Índice de Trabalho Remoto, um novo benchmark desenvolvido por pesquisadores da empresa de anotação de dados Scale AI e do Heart for AI Security (CAIS), uma organização sem fins lucrativos, mede a capacidade dos modelos de IA de ponta para automatizar trabalhos economicamente valiosos.
Os pesquisadores deram a vários agentes importantes de IA uma série de trabalhos freelance simulados e descobriram que mesmo os melhores poderiam realizar menos de 3% do trabalho, ganhando US$ 1.810 de um possível valor de US$ 143.991. Os pesquisadores analisaram diversas ferramentas e descobriram que a mais capaz period Manus, de uma startup chinesa de mesmo nome, seguida por Grok, da xAI, Claude, da Anthropic, ChatGPT, da OpenAI, e Gemini, do Google.
“Espero que isto dê impressões muito mais precisas sobre o que está acontecendo com as capacidades de IA”, diz Dan Hendrycks, diretor do CAIS. Ele acrescenta que, embora alguns agentes tenham melhorado significativamente ao longo do último ano, isso não significa que continuará no mesmo ritmo.
Avanços espectaculares na IA levaram a especulações sobre a possibilidade de a IA ultrapassar em breve a inteligência humana e substituir um grande número de trabalhadores. Em março, Dario Amodei, CEO da Anthropic, sugeriu que 90% do trabalho de codificação seria automatizado em questão de meses.
Vagas anteriores de IA inspiraram previsões equivocadas sobre o deslocamento de empregos, por exemplo, no que diz respeito ao substituição iminente de radiologistas com algoritmos de IA.
Os pesquisadores geraram uma série de trabalhos autônomos por meio de funcionários verificados da Upwork. As tarefas abrangem uma variedade de trabalhos, incluindo design gráfico, edição de vídeo, desenvolvimento de jogos e tarefas administrativas, como coleta de dados. Eles combinaram uma descrição de cada trabalho com um diretório de arquivos necessários para realizar o trabalho e um exemplo de projeto finalizado produzido por um ser humano.
Hendrycks diz que embora os modelos de IA tenham melhorado em codificação, matemática e raciocínio lógico nos últimos anos, eles ainda lutam para usar ferramentas diferentes e executar tarefas complexas que envolvem inúmeras etapas. “Eles não têm memória de longo prazo e não conseguem aprender continuamente com as experiências. Eles não conseguem adquirir habilidades no trabalho como os humanos”, diz ele.
A análise oferece um contraponto a um benchmark de trabalho econômico oferecido em setembro pela OpenAI denominado PIBvalque pretende medir o trabalho economicamente valioso. De acordo com o GDPval, os modelos de IA de ponta, como o GPT-5, estão aproximando as habilidades humanas em 220 tarefas em uma variedade de empregos de escritório. OpenAI não forneceu comentários.
