Pensando Máquinas Lab

Houve um grande interesse no que o laboratório de máquinas pensantes de Mira Murati está construindo com seus US $ 2 bilhões em financiamento de sementes e a equipe All-Star de ex-pesquisadores do Openai que se juntaram ao laboratório. Em um Postagem do blog Publicado na quarta -feira, o Laboratório de Pesquisa de Murati deu ao mundo sua primeira olhada em um de seus projetos: criar modelos de IA com respostas reprodutíveis.

A postagem do weblog de pesquisa, intitulada “Derrotando o não -determinismo na inferência do LLM”, tenta descompactar a causa raiz do que introduz a aleatoriedade nas respostas do modelo de IA. Por exemplo, faça o Chatgpt a mesma pergunta algumas vezes e é provável que você obtenha uma ampla gama de respostas. Isso foi amplamente aceito na comunidade de IA como um fato-os modelos de IA de hoje são considerados sistemas não determinísticos-mas o laboratório de máquinas de pensamento vê isso como um problema solucionável.

O put up, de autoria do pesquisador de laboratório de máquinas que pensa Horace Ele, argumenta que a causa raiz da aleatoriedade dos modelos de IA é a maneira como os kernels da GPU – os pequenos programas que correm dentro dos chips de computador da NVIDIA – são costurados no processamento de inferência (tudo o que acontece depois de pressionar Enter in Chatgpt). Ele sugere que, ao controlar cuidadosamente essa camada de orquestração, é possível tornar os modelos de IA mais determinísticos.

Além de criar respostas mais confiáveis ​​para empresas e cientistas, ele observa que obter modelos de IA para gerar respostas reprodutíveis também pode melhorar o treinamento de aprendizado de reforço (RL). RL é o processo de recompensar os modelos de IA para respostas corretas, mas se as respostas forem todas um pouco diferentes, os dados ficarão um pouco barulhentos. Criar respostas mais consistentes do modelo de IA pode tornar todo o processo RL “mais suave”, segundo ele. O laboratório de máquinas de pensar disse aos investidores que planeja usar o RL para Personalize modelos de IA para empresasAs informações relatadas anteriormente.

Murati, ex -diretor de tecnologia da Openai, disse em julho que o primeiro produto da Thinkines Machines Lab será revelado nos próximos meses e que será “útil para pesquisadores e startups que desenvolvam modelos personalizados”. Ainda não está claro o que é esse produto ou se usará técnicas desta pesquisa para gerar respostas mais reprodutíveis.

Pensando Machines Lab também disse que planeja Publique frequentemente postagens de blogCódigo e outras informações sobre sua pesquisa em um esforço para “beneficiar o público, mas também melhorar nossa própria cultura de pesquisa”. Este put up, o primeiro da nova série de blogs da empresa chamada “Connectionism”, parece fazer parte desse esforço. O Openai também assumiu o compromisso de abrir pesquisas quando foi fundada, mas a empresa ficou mais fechada à medida que se tornou maior. Vamos ver se o laboratório de pesquisa de Murati permanece fiel a essa afirmação.

O weblog de pesquisa oferece um vislumbre raro dentro de uma das startups de IA mais secretas do Vale do Silício. Embora não revele exatamente para onde a tecnologia está indo, indica que o laboratório de máquinas de pensamento está enfrentando algumas das maiores perguntas na fronteira da pesquisa de IA. O teste actual é se o Laboratório de Máquinas de Pensagem pode resolver esses problemas e criar produtos em torno de sua pesquisa para justificar sua avaliação de US $ 12 bilhões.