Muitas organizações hesitariam em revisar sua pilha de tecnologia e começar do zero. Não Noção. Para a versão 3.0 do seu software program de produtividade (lançada em setembro), a empresa não hesitou em reconstruir do zero; eles reconheceram que period necessário, de fato, apoiar a IA agente em escala empresarial. Enquanto os fluxos de trabalho tradicionais alimentados por IA envolvem instruções explícitas e passo a passo baseadas em aprendizado rápido, os agentes de IA alimentados por modelos de raciocínio avançados são cuidadosos com a definição de ferramentas, podem identificar e compreender quais ferramentas têm à sua disposição e planejar os próximos passos. “Em vez de tentar adaptar o que estávamos construindo, queríamos aproveitar os pontos fortes dos modelos de raciocínio”, disse Sarah Sachs, chefe de modelagem de IA da Notion, ao VentureBeat. “Reconstruímos uma nova arquitetura porque os fluxos de trabalho são diferentes dos agentes.”
Reorquestrando para que os modelos possam funcionar de forma autônoma
O Notion foi adotado por 94% das empresas Forbes AI 50, possui 100 milhões de usuários no whole e conta entre seus clientes OpenAI, Cursor, Figma, Ramp e Vercel. Em um cenário de IA em rápida evolução, a empresa identificou a necessidade de ir além de fluxos de trabalho mais simples e baseados em tarefas, para sistemas de raciocínio orientados a objetivos que permitem aos agentes selecionar, orquestrar e executar ferramentas de forma autônoma em ambientes conectados.
Muito rapidamente, os modelos de raciocínio tornaram-se “muito melhores” na aprendizagem do uso de ferramentas e na sequência de instruções da cadeia de pensamento (CoT), observou Sachs. Isso permite que eles sejam “muito mais independentes” e tomem diversas decisões dentro de um fluxo de trabalho de agência. “Reconstruímos nosso sistema de IA para aproveitar isso," ela disse. Do ponto de vista da engenharia, isso significou substituir fluxos rígidos baseados em prompts por um modelo de orquestração unificado, explicou Sachs. Este modelo central é suportado por subagentes modulares que pesquisam o Notion e an online, consultam e adicionam bancos de dados e editam conteúdo. Cada agente utiliza ferramentas contextualmente; por exemplo, eles podem decidir se desejam pesquisar no próprio Notion ou em outra plataforma como o Slack. O modelo realizará buscas sucessivas até que a informação relevante seja encontrada. Ele pode então, por exemplo, converter notas em propostas, criar mensagens de acompanhamento, rastrear tarefas e localizar e fazer atualizações em bases de conhecimento. No Notion 2.0, a equipe se concentrou em fazer com que a IA executasse tarefas específicas, o que exigia que eles “pensassem exaustivamente” sobre como ativar o modelo, observou Sachs. No entanto, com a versão 3.0, os usuários podem atribuir tarefas aos agentes, e os agentes podem realmente agir e executar diversas tarefas simultaneamente. “Nós reorquestrámos para que fosse autosselecionado nas ferramentas, em vez de poucos disparos, o que indica explicitamente como passar por todos esses cenários diferentes”, explicou Sachs. O objetivo é garantir que tudo interaja com a IA e que “tudo o que você puder fazer, seu agente Notion possa fazer”.
Bifurcando para isolar alucinações
A filosofia da Notion de “melhor, mais rápido, mais barato” impulsiona um ciclo de iteração contínuo que equilibra latência e precisão por meio de incorporações de vetores ajustadas e otimização de pesquisa elástica. A equipe de Sachs emprega uma estrutura de avaliação rigorosa que combina testes determinísticos, otimização vernacular, dados anotados por humanos e LLMs como juiz, com pontuação baseada em modelo que identifica discrepâncias e imprecisões. “Ao bifurcar a avaliação, conseguimos identificar de onde vêm os problemas e isso nos ajuda a isolar alucinações desnecessárias”, explicou Sachs. Além disso, tornar a arquitetura em si mais simples significa que será mais fácil fazer alterações à medida que os modelos e as técnicas evoluem. “Otimizamos a latência e o pensamento paralelo tanto quanto possível”, o que leva a “uma precisão muito melhor”, observou Sachs. Os modelos são baseados em dados da internet e do espaço de trabalho conectado do Notion. Em última análise, relatou Sachs, o investimento na reconstrução de sua arquitetura já proporcionou retornos ao Notion em termos de capacidade e taxa de mudança mais rápida. Ela acrescentou: “Estamos totalmente abertos para reconstruí-lo novamente, quando o próximo avanço acontecer, se for necessário”.
Compreendendo a latência contextual
Ao construir e ajustar modelos, é importante compreender que a latência é subjetiva: a IA deve fornecer as informações mais relevantes, não necessariamente as mais relevantes, em detrimento da velocidade. “Você ficaria surpreso com as diferentes maneiras pelas quais os clientes estão dispostos a esperar pelas coisas e não esperar pelas coisas”, disse Sachs. É um experimento interessante: quão lento você consegue ir antes que as pessoas abandonem o modelo? Com a pesquisa de navegação pura, por exemplo, os usuários podem não ser tão pacientes; eles querem respostas quase imediatamente. “Se você perguntar ‘Quanto é dois mais dois’, não vai querer esperar que seu agente pesquise em todos os lugares do Slack e do JIRA”, destacou Sachs. Mas quanto maior o tempo concedido, mais exaustivo pode ser o agente de raciocínio. Por exemplo, o Notion pode realizar 20 minutos de trabalho autônomo em centenas de websites, arquivos e outros materiais. Nestes casos, os usuários estão mais dispostos a esperar, explicou Sachs; eles permitem que o modelo seja executado em segundo plano enquanto realizam outras tarefas. “É uma questão de produto”, disse Sachs. “Como definimos as expectativas do usuário em relação à IU? Como verificamos as expectativas do usuário em relação à latência?”
Notion é seu maior usuário
A Notion entende a importância de usar seu próprio produto – na verdade, seus funcionários estão entre os maiores usuários avançados. Sachs explicou que as equipes têm sandboxes ativas que geram dados de treinamento e avaliação, bem como um ciclo de suggestions do usuário “realmente ativo”. Os usuários não têm vergonha de dizer o que acham que deveria ser melhorado ou os recursos que gostariam de ver. Sachs enfatizou que quando um usuário rejeita uma interação, ele está explicitamente dando permissão a um anotador humano para analisar essa interação de uma forma que o desanonimize tanto quanto possível. “Como empresa, usamos nossa própria ferramenta o dia todo, todos os dias, e por isso obtemos ciclos de suggestions muito rápidos”, disse Sachs. “Estamos realmente alimentando nosso próprio produto.” Dito isto, é o seu próprio produto que eles estão construindo, observou Sachs, então eles entendem que podem estar atentos quando se trata de qualidade e funcionalidade. Para equilibrar isso, a Notion confiou "muito experiente em IA" parceiros de design que recebem acesso antecipado a novos recursos e fornecem suggestions importante. Sachs enfatizou que isso é tão importante quanto a prototipagem interna. “Nosso objetivo é experimentar abertamente, acho que você obtém um suggestions muito mais rico”, disse Sachs. “Porque, no last das contas, se apenas observarmos como o Notion usa o Notion, não estaremos realmente proporcionando a melhor experiência aos nossos clientes.” Igualmente importante, os testes internos contínuos permitem que as equipes avaliem as progressões e garantam que os modelos não estejam regredindo (quando a precisão e o desempenho diminuem com o tempo). "Tudo o que você está fazendo permanece fiel," Sachs explicou. "Você sabe que sua latência está dentro dos limites."
Muitas empresas cometem o erro de focar intensamente em evans com foco retroativo; isso torna difícil para eles entenderem como ou onde estão melhorando, destacou Sachs. A noção considera evals como um "teste decisivo" de desenvolvimento e progressão prospectiva e avaliações de observabilidade e prova de regressão. “Acho que um grande erro que muitas empresas cometem é confundir os dois”, disse Sachs. “Nós os usamos para ambos os propósitos; pensamos neles de maneira realmente diferente.”
Conclusões da jornada do Notion
Para as empresas, o Notion pode servir como um modelo de como operacionalizar a IA de agente de forma responsável e dinâmica em um espaço de trabalho corporativo conectado e autorizado. As conclusões de Sach para outros líderes de tecnologia:
-
Não tenha medo de reconstruir quando as capacidades fundamentais mudarem; A Notion reprojetou totalmente sua arquitetura para alinhá-la com modelos baseados em raciocínio.
-
Trate a latência como contextual: otimize por caso de uso, em vez de universalmente.
-
Baseie todos os resultados em dados empresariais confiáveis e selecionados para garantir precisão e confiança. Ela aconselhou: “Esteja disposto a tomar decisões difíceis. Esteja disposto a estar no topo da fronteira, por assim dizer, no que você está desenvolvendo para construir o melhor produto possível para seus clientes.”
