Início Tecnologia 50 agentes da IA ​​recebem sua primeira revisão anual de desempenho –...

50 agentes da IA ​​recebem sua primeira revisão anual de desempenho – 6 lições aprendidas

5
0

Seksan Mongkhonkhamsao/Momento through Getty Pictures

Siga ZDNet: Adicione -nos como uma fonte preferida no Google.


As principais toca de Zdnet

  • A McKinsey implementou e observou mais de 50 anos, a IA Agentic construa por um ano.
  • Os funcionários digitais exigem muito trabalho para se atualizar.
  • Os agentes da IA ​​não são a melhor resposta para todas as necessidades de negócios.

Por muitas contas, os agentes da IA ​​são considerados colegas de trabalho digitais na força de trabalho de hoje. Então, como nos trabalhadores humanos, eles devem ser submetidos a uma revisão anual de desempenho, certo?

O pessoal da McKinsey fez exatamente isso, liberando os resultados de um Revisão de desempenho de um ano dos agentes da IA ​​que a empresa de consultoria estava implementando e observando. Como esses funcionários digitais fizeram no primeiro ano de trabalho? As conclusões da equipe da McKinsey: eles exigem muito trabalho para se atualizar; Eles nem sempre são a melhor resposta para todas as necessidades de negócios; E seus colegas humanos nem sempre estão impressionados com o trabalho dos agentes.

Além disso: a Microsoft competirá com a AWS para oferecer um mercado de aplicativos e agentes de IA

O Relatório de Progresso, escrito por Lareina Yee, Michael Chui e Roger Roberts, todos com a McKinsey, revisaram pelo menos 50 IA Agentic constrói que os autores lideraram na McKinsey, entre outros. Depois de um ano com os agentes da IA, eles chegaram a seis lições aprendidas.

1. Os agentes têm um desempenho melhor dentro dos fluxos de trabalho

A implementação de agentes de IA para ter agentes de IA não o cortar, Yee e seus colegas aconselham. É mais sobre injetar agentes para aumentar os fluxos de trabalho.

“Os esforços da IA ​​agêntica que se concentram em reimaginar fundamentalmente fluxos de trabalho inteiros – ou seja, as etapas que envolvem pessoas, processos e tecnologia – têm maior probabilidade de fornecer um resultado positivo”, de acordo com a revisão. Comece abordando os principais pontos de dor do usuário, sugerem os co-autores. Organizações com fluxos de trabalho com uso intensivo de documentos, como companhias de seguros ou escritórios jurídicos, por exemplo, se beneficiam de fazer com que os agentes lidem com etapas tediosas.

2 agentes nem sempre a resposta

“Para ajudar a evitar investimentos desperdiçados ou complexidade indesejada, aborde o papel dos agentes como eles fazem ao avaliar as pessoas para uma equipe de alto desempenho”, aconselham Yee e seus co-autores. “A questão-chave a ser feita é: ‘Qual é o trabalho a ser feito e quais são os talentos relativos de cada potencial membro da equipe ou agente para trabalhar juntos para alcançar esses objetivos?'” ”

Além disso: tem ai fomo? 3 apostas ousadas, mas realistas, sua empresa pode tentar hoje

Se a IA Agentic for demais para um problema ou se o problema exigir abordagens padronizadas e repetitivas com baixa variabilidade, mantenha opções mais simples, como automação baseada em regras, análise preditiva ou modelo de linguagem grande (LLM).

3. Ai ‘slop’ tem sido uma questão recorrente

Um dos problemas mais comuns observados pela equipe da McKinsey é “os sistemas Agentic que parecem impressionantes em demos, mas frustram usuários que são realmente responsáveis ​​pelo trabalho”-com “Slop AI ou saídas de baixa qualidade”. Como resultado, os usuários perdem confiança nos agentes e param de usá -los.

“As empresas devem investir fortemente no desenvolvimento de agentes, assim como fazem para o desenvolvimento dos funcionários”, recomendam os co-autores. Assim como os funcionários humanos, “os agentes devem receber descrições claras do trabalho, a bordo e receber suggestions contínuo para que se tornem mais eficazes e melhorem regularmente”.

4. É difícil rastrear um grande número de agentes

“Ao trabalhar com apenas alguns agentes de IA, revisar seu trabalho e detectar erros pode ser principalmente direto”, afirmou Yee e sua equipe. “Mas, à medida que as empresas lançam centenas, ou até milhares, de agentes, a tarefa se torna desafiadora. Quando há um erro – e sempre haverá erros à medida que as empresas escalam agentes – é difícil descobrir exatamente o que deu errado”.

Além disso: 6 insights Os líderes de serviço precisam saber sobre a IA Agentic

A equipe aprendeu essa lição verificando o desempenho do agente em cada etapa do fluxo de trabalho, empregando ferramentas de observabilidade. “Construir monitoramento e avaliação no fluxo de trabalho podem permitir que as equipes captem erros mais cedo, refinem a lógica e melhorem continuamente o desempenho, mesmo depois que os agentes forem implantados”.

5 agentes mostram o melhor valor quando compartilhados entre funções

Os agentes podem ficar caros e redundantes se seus designers recriarem a roda para todas as tarefas que surgirem. “As empresas geralmente criam um agente único para cada tarefa identificada”, apontou a equipe da McKinsey. “Isso pode levar a redundância e desperdício significativos, porque o mesmo agente geralmente pode realizar tarefas diferentes que compartilham muitas das mesmas ações – como ingerir, extrair, pesquisar e analisar”.

Além disso: como os agentes da IA ​​podem gerar US $ 450 bilhões até 2028 – e o que fica no caminho

Investir em agentes reutilizáveis ​​exige primeiro identificar tarefas recorrentes, eles aconselharam. “Desenvolva agentes e componentes de agentes que podem ser facilmente reutilizados em diferentes fluxos de trabalho e simplifiquem que os desenvolvedores os acessam”.

6. Os agentes nunca funcionarão completamente por conta própria

Sempre haverá a necessidade de os trabalhadores humanos “supervisionarem a precisão do modelo, garantirão a conformidade, usarem o julgamento e lidar com casos de borda”, enfatizaram os co-autores. Redesenhar o trabalho “para que pessoas e agentes possam colaborar bem juntos. Sem esse foco, mesmo os programas agênticos mais avançados correm o risco de falhas silenciosas, erros de composição e rejeição de usuários”.

Como resultado, a avaliação de desempenho do agente do próximo ano também pode acabar menos que estelar.



avots

DEIXE UMA RESPOSTA

Por favor digite seu comentário!
Por favor, digite seu nome aqui