Na quinta -feira, a plataforma de IA Clarifai Anunciou um novo mecanismo de raciocínio que ele afirma tornar os modelos de IA em execução duas vezes mais rápidos e 40% menos baratos. Projetado para ser adaptável a uma variedade de modelos e hosts em nuvem, o sistema emprega uma variedade de otimizações para obter mais energia de inferência do mesmo {hardware}.
“É uma variedade de tipos diferentes de otimizações, até os núcleos da CUDA para técnicas avançadas de decodificação especulativa”, disse o CEO Matthew Zeiler. “Você pode tirar mais das mesmas cartas, basicamente.”
Os resultados foram verificados por um corda de Testes de referência pela empresa synthetic de terceiros, que registrou registros melhores do setor para a taxa de transferência e a latência.
O processo se concentra especificamente na inferência, as demandas de computação de operar um modelo de IA que já foi treinado. Essa carga de computação se tornou particularmente intensa com o aumento dos modelos agênticos e de raciocínio, que requerem várias etapas em resposta a um único comando.
Lançado pela primeira vez como um serviço de visão computacional, a Clarifai se concentrou cada vez mais na orquestração de computação, à medida que o growth da AI aumentou drasticamente a demanda por GPUs e os knowledge facilities que os abrigam. A empresa anunciou pela primeira vez sua plataforma de computação na AWS RE: Invent em dezembro, mas o novo mecanismo de raciocínio é o primeiro produto especificamente adaptado para modelos agênticos em várias etapas.
O produto ocorre em meio à intensa pressão sobre a infraestrutura de IA, que estimulou uma série de acordos de bilhões de dólares. OpenAI estabeleceu planos para US $ 1 trilhão em novos gastos com data centerprojetando demanda futura quase ilimitada por computação. Mas, embora a construção de {hardware} tenha sido intensa, o CEO da Clarifai acredita que há mais a ser feito para otimizar a infraestrutura que já temos.
“Existem truques de software program que levam um bom modelo como esse, como o mecanismo de raciocínio Clarifai”, diz Zeiler, “mas também há melhorias no algoritmo que podem ajudar a combater a necessidade de knowledge facilities do Gigawatt. E não acho que estamos no last das inovações de algoritmos”.
