O LinkedIn está lançando sua nova pesquisa de pessoas baseada em IA esta semana, depois do que parece ser uma longa espera pelo que deveria ter sido uma oferta pure para IA generativa.
Isso ocorre três anos após o lançamento do ChatGPT e seis meses após o LinkedIn lançar sua oferta de busca de empregos com IA. Para os líderes técnicos, este cronograma ilustra uma lição empresarial importante: implantar IA generativa em ambientes empresariais reais é um desafio, especialmente em uma escala de 1,3 bilhão de usuários. É um processo lento e brutal de otimização pragmática.
O relato a seguir é baseado em diversas entrevistas exclusivas com a equipe de produto e engenharia do LinkedIn por trás do lançamento.
Primeiro, veja como o produto funciona: um usuário agora pode digitar uma consulta em linguagem pure como, "Quem tem conhecimento sobre a cura do câncer?" na barra de pesquisa do LinkedIn.
A antiga busca do LinkedIn, baseada em palavras-chave, teria ficado perplexa. Teria procurado apenas referências a "Câncer". Se um usuário quisesse ser sofisticado, teria que realizar pesquisas de palavras-chave rígidas e separadas para "Câncer" e então "oncologia" e tente juntar os resultados manualmente.
O novo sistema alimentado por IA, no entanto, compreende o intenção da pesquisa porque o LLM nos bastidores capta o significado semântico. Reconhece, por exemplo, que "Câncer" está conceitualmente relacionado a "oncologia" e menos ainda diretamente, para "pesquisa genômica." Como resultado, surge uma lista muito mais relevante de pessoas, incluindo líderes e pesquisadores de oncologia, mesmo que seus perfis não usem a palavra exata "Câncer."
O sistema também equilibra esta relevância com utilidade. Em vez de apenas mostrar o melhor oncologista do mundo (que pode ser uma conexão de terceiro grau inacessível), também avaliará quem na sua rede imediata – como uma conexão de primeiro grau – está "bastante relevante" e pode servir como uma ponte essential para esse especialista.
Veja o vídeo abaixo para ver um exemplo.
Indiscutivelmente, porém, a lição mais importante para os profissionais empresariais é a "livro de receitas" O LinkedIn desenvolveu: um pipeline replicável e de vários estágios de destilação, co-design e otimização implacável. O LinkedIn teve que aperfeiçoar isso em um produto antes de tentar em outro.
"Não tente fazer muitas coisas de uma vez," escreve Wenjing Zhang, vice-presidente de engenharia do LinkedIn, em uma postagem sobre o lançamento do produto, e que também conversou com VentureBeat na semana passada em entrevista. Ela observa que um anterior "ambição extensa" para construir um sistema unificado para todos os produtos do LinkedIn "progresso estagnado."
Em vez disso, o LinkedIn se concentrou em vencer primeiro uma vertical. O sucesso de seu AI Job Search lançado anteriormente – que levou os candidatos a emprego sem um diploma de quatro anos 10% mais probabilidade de ser contratadode acordo com o vice-presidente de engenharia de produto Erran Berger – forneceu o projeto.
Agora, a empresa está aplicando esse modelo a um desafio muito maior. "Uma coisa é poder fazer isso em dezenas de milhões de empregos," Berger disse ao VentureBeat. "Outra coisa é fazer isso em mais de um bilhão de membros."
Para criadores de IA empresarial, a jornada do LinkedIn fornece um guide técnico sobre o que ele na verdade leva para passar de um piloto de sucesso para um produto em escala de bilhões de usuários.
O novo desafio: um gráfico de 1,3 bilhão de membros
O produto de busca de emprego criou uma receita robusta que o novo produto de busca de pessoas poderia desenvolver, explicou Berger.
A receita começou com um "conjunto de dados dourado" de apenas algumas centenas a mil pares reais de perfis de consulta, meticulosamente pontuados em relação a um relatório detalhado de 20 a 30 páginas "política do produto" documento. Para dimensionar isso para treinamento, o LinkedIn usou esse pequeno conjunto dourado para gerar um grande modelo de base para gerar um grande quantity de sintético dados de treinamento. Esses dados sintéticos foram usados para treinar um Parâmetro de 7 bilhões "Política de Produto" modelo – um juiz de relevância de alta fidelidade que period muito lento para produção ao vivo, mas perfeito para ensinar modelos menores.
No entanto, a equipe bateu em uma barreira emblem no início. Durante seis a nove meses, eles lutaram para treinar um modelo único que pudesse equilibrar a adesão estrita às políticas (relevância) com os sinais de envolvimento dos usuários. O "aha momento" veio quando eles perceberam que precisavam resolver o problema. Eles destilaram o modelo político 7B em um Modelo de professor 1.7B focado apenas na relevância. Eles então combinaram isso com modelos separados de professores treinados para prever ações específicas dos membros, como pedidos de emprego para o produto de empregos ou conexão e acompanhamento para busca de pessoas. Esse "multiprofessor" O conjunto produziu pontuações de probabilidade suaves que o modelo closing do aluno aprendeu a imitar por meio da perda de divergência KL.
A arquitetura resultante opera como um pipeline de dois estágios. Primeiro, um maior Modelo de parâmetro 8B lida com recuperação ampla, lançando uma rede ampla para extrair candidatos do gráfico. Em seguida, o modelo de estudante altamente destilado assume o controle da classificação refinada. Embora o produto de busca de emprego tenha implantado com sucesso um 0,6B (600 milhões) estudante de parâmetro, o novo produto de busca de pessoas exigia uma compactação ainda mais agressiva. Como observa Zhang, a equipe reduziu seu novo modelo de estudante de 440 milhões para apenas Parâmetros de 220Malcançando a velocidade necessária para 1,3 bilhão de usuários com menos de 1% de perda de relevância.
Mas aplicar isso à busca de pessoas quebrou a arquitetura antiga. O novo problema incluía não apenas classificação mas também recuperação.
“Um bilhão de registros," Berger disse, é um "fera diferente."
A pilha de recuperação anterior da equipe foi construída em CPUs. Para lidar com a nova escala e as demandas de latência de um "ágil" experiência de pesquisa, a equipe teve que mover sua indexação para Infraestrutura baseada em GPU. Esta foi uma mudança arquitetônica basic que o produto de busca de emprego não exigia.
Organizacionalmente, o LinkedIn se beneficiou de múltiplas abordagens. Por um tempo, o LinkedIn teve duas equipes separadas – procura de emprego e procura de pessoas – tentando resolver o problema em paralelo. Mas assim que a equipa de procura de emprego alcançou o seu avanço utilizando o método de destilação orientado por políticas, Berger e a sua equipa de liderança intervieram. Eles trouxeram os arquitetos da vitória na procura de emprego – líder de produto Rohan Rajiv e líder de engenharia Wenjing Zhang – transplantar seu ‘livro de receitas’ diretamente para o novo domínio.
Destilação para um ganho de rendimento de 10x
Com o problema de recuperação resolvido, a equipe enfrentou o desafio de classificação e eficiência. Foi aqui que o livro de receitas foi adaptado com técnicas de otimização novas e agressivas.
Postagem técnica de Zhang (Inserirei o hyperlink assim que estiver no ar) fornece os detalhes específicos que nosso público de engenheiros de IA apreciará. Uma das otimizações mais significativas foi o tamanho da entrada.
Para alimentar o modelo, a equipe treinou outro LLM com aprendizagem por reforço (RL) para um único propósito: resumir o contexto de entrada. Esse "resumidor" modelo foi capaz de reduzir o tamanho de entrada do modelo em 20 vezes com perda mínima de informações.
O resultado combinado do modelo de parâmetros de 220M e a redução de entrada de 20x? UM Aumento de 10x na taxa de transferência de classificaçãopermitindo que a equipe atenda o modelo com eficiência à sua enorme base de usuários.
Pragmatismo acima do hype: construir ferramentas, não agentes
Ao longo de nossas discussões, Berger foi inflexível sobre outra coisa que poderia chamar a atenção das pessoas: o verdadeiro valor para as empresas hoje reside no aperfeiçoamento dos sistemas de recomendação, e não na busca por "hype agente." Ele também se recusou a falar sobre os modelos específicos que a empresa utilizou para as buscas, sugerindo que isso quase não importa. A empresa seleciona modelos com base naquele que considera mais eficiente para a tarefa.
A nova pesquisa de pessoas baseada em IA é uma manifestação da filosofia de Berger de que é melhor otimizar primeiro o sistema de recomendação. A arquitetura inclui um novo "camada de roteamento de consulta inteligente," como explicou Berger, isso em si é alimentado pelo LLM. Este roteador determine pragmaticamente se a consulta de um usuário – como "especialista em confiança" – deve ir para a nova pilha semântica de linguagem pure ou para a antiga e confiável pesquisa lexical.
Todo este sistema complexo foi projetado para ser um "ferramenta" que um futuro agente usará, não o agente em si.
"Os produtos Agentic são tão bons quanto as ferramentas que usam para realizar tarefas para as pessoas," Berger disse. "Você pode ter o melhor modelo de raciocínio do mundo e, se estiver tentando usar um agente para fazer pesquisas de pessoas, mas o mecanismo de pesquisa de pessoas não for muito bom, você não conseguirá entregar."
Agora que a busca de pessoas está disponível, Berger sugeriu que um dia a empresa oferecerá aos agentes para utilizá-la. Mas ele não forneceu detalhes sobre o momento. Ele disse ainda que a receita usada para busca de empregos e pessoas será espalhada pelos demais produtos da empresa.
Para empresas que criam seus próprios roteiros de IA, o guide do LinkedIn é claro:
-
Seja pragmático: Não tente ferver o oceano. Ganhe uma vertical, mesmo que demore 18 meses.
-
Codifique o "livro de receitas": Transforme essa vitória em um processo repetível (documentos de política, pipelines de destilação, co-design).
-
Otimize incansavelmente: Os ganhos reais de 10x vêm depois o modelo inicial, em poda, destilação e otimizações criativas como um resumidor treinado em RL.
A jornada do LinkedIn mostra que, para a IA empresarial do mundo actual, a ênfase em modelos específicos ou sistemas de agentes interessantes deve ficar em segundo plano. A vantagem estratégica e durável vem do domínio do gasoduto – o livro de receitas ‘nativo de IA’ de co-design, destilação e otimização implacável.
(Nota do editor: publicaremos um podcast completo com Erran Berger do LinkedIn, que se aprofundará nesses detalhes técnicos, no feed do podcast VentureBeat em breve.)
