Siga ZDNet: Adicione -nos como uma fonte preferida no Google.
As principais toca de Zdnet
- O OpenAI diz que a alucinação da IA decorre de métodos de avaliação defeituosos.
- Os modelos são treinados para adivinhar, em vez de admitir a ignorância.
- A empresa sugere revisar como os modelos são treinados.
Até os maiores e mais avançados modelos de IA generativos ocasionalmente alucinam, ou geram informações imprecisas apresentadas como fato. Agora, o Openai afirma entender o porquê – enquanto oferece uma possível solução.
Em um Trabalho de pesquisa Publicado na semana passada, uma equipe de pesquisadores da empresa argumentou que a alucinação decorre não da qualidade dos dados de treinamento de um modelo, mas de incentivos de avaliação defeituosos. Estes são amplamente utilizados em toda a indústria e recompensam a adivinhação sobre a admissão da incerteza.
Além disso: seu chatbot de AI favorito está cheio de mentiras
“Os modelos de idiomas são otimizados para serem bons tomadores de testes e adivinhar quando a incerteza melhora o desempenho dos testes”, escrevem os autores no artigo.
Os modelos são treinados para identificar padrões matemáticos sutis de um enorme corpus de dados de treinamento, que eles usam como uma estrutura para gerar respostas às consultas do usuário. O paradigma de avaliação atual usa essencialmente uma métrica simples e de classificação binária, recompensando -os por respostas precisas e penalizando -as para as imprecisas. De acordo com esse método, a admissão de ignorância é julgada como uma resposta imprecisa, que leva os modelos a gerar o que o Openai descreve como “falsidades plausíveis demais e confiantes” – alucinação, em outras palavras.
(Divulgação: Ziff Davis, empresa controladora da ZDNET, entrou com um processo de abril de 2025 contra o Openai, alegando que ele violou a Ziff Davis Copyrights em treinamento e operação de seus sistemas de IA.)
Se solicitado a declarar seu aniversário, por exemplo, um modelo pode adivinhar, em vez de simplesmente dizer: “Eu não sei”. Tem uma likelihood de um em 365 estar correta; Não é tremendamente grandes possibilities, mas melhor do que apenas admitir ignorância – que, de acordo com as métricas atuais de avaliação, garantiria zero pontos para o modelo. Os modelos são avaliados sobre seu desempenho médio em milhões de resultados, exercendo uma pressão estatística sutil para supor. Se usuários suficientes solicitarem ao modelo para adivinhar o aniversário de seus tempos suficientes, é provável que ele gerará a resposta correta em uma pequena porcentagem do tempo. Melhor rolar os dados e obter esses pontos do que apenas admitir ignorância e nunca ganhar.
Além disso: Deepseek pode estar prestes a sacudir o mundo da IA novamente – o que sabemos
“A adivinhação estrategicamente quando a incerteza melhora a precisão, mas aumenta erros e alucinações”, escreveu Openai em um acompanhamento Postagem do blog sobre suas descobertas.
Como essa abordagem “somente com precisão” atualmente permeia a indústria, determinando quais modelos dominam os scoreboards, os desenvolvedores são incentivados a manter os modelos de construção que priorizam a adivinhação sobre a admissão de incerteza, levando a mais alucinações.
Como consertar alucinações
A solução, de acordo com o OpenAI, é, portanto, focar não na alimentação de modelos mais precisos, mas para ajustar a estrutura de como seu desempenho é avaliado.
Como um sistema binário de classificação de um modelo como certo ou errado está supostamente alimentando a alucinação, os pesquisadores do OpenAI dizem que a indústria da IA deve começar a recompensar modelos quando expressam incerteza.
Afinal, a verdade não existe em preto e branco no mundo actual, então por que a IA deve ser treinada como se fosse? Executar um modelo através de milhões de exemplos sobre o arranjo adequado de sujeitos, verbos e predicados os tornará mais fluentes no uso da linguagem pure, mas como qualquer ser humano vivo sabe, a realidade está aberta à interpretação. Para viver funcionalmente no mundo, rotineiramente temos que dizer: “Eu não sei”.
Além disso: os chatbots estão distorcendo notícias – mesmo para usuários pagos
Da mesma forma, os pesquisadores do Openai argumentam que os modelos continuarão a alucinar, desde que sejam recompensados por adivinhar quando deveriam admitir ignorância. “Modificações simples das avaliações principais podem realinhar incentivos, recompensando expressões apropriadas de incerteza em vez de penalizá -las”, eles escrevem no novo artigo. “Isso pode remover barreiras à supressão de alucinações e abrir a porta para trabalhos futuros em modelos de linguagem diferenciados com competência pragmática mais rica”.
