O seu chatbot tem ‘podridão cerebral’? 4 maneiras de contar

Siga ZDNET: Adicione-nos como fonte preferencial no Google.

Principais conclusões da ZDNET

• Um artigo recente descobriu que a IA pode sofrer “podridão cerebral”.
• Os modelos apresentam desempenho inferior após a ingestão de “dados indesejados”.
• Os usuários podem testar esses quatro sinais de alerta.

Você conhece aquela sensação estranhamente esgotada, mas superestimulada, que você tem quando está rolando a desgraça por muito tempo, como se quisesse tirar uma soneca e, ao mesmo tempo, sentir vontade de gritar no travesseiro? Acontece que algo semelhante acontece com a IA.

No mês passado, uma equipe de pesquisadores de IA da Universidade do Texas em Austin, Texas A&M e Purdue College publicou um papel avançando o que eles chamam de “hipótese LLM Mind Rot” – basicamente, que a produção de chatbots de IA como ChatGPT, Gemini, Claude e Grok se degradará à medida que forem expostos a “dados indesejados” encontrados nas redes sociais.

Além disso: a OpenAI diz que está trabalhando em direção à catástrofe ou à utopia – mas não tenho certeza de qual

“Esta é a conexão entre IA e humanos”, disse Junyuan Hong, professor assistente da Universidade Nacional de Cingapura, ex-bolsista de pós-doutorado na UT Austin e um dos autores do novo artigo, à ZDNET em uma entrevista. “Eles podem ser envenenados pelo mesmo tipo de conteúdo.”

Como os modelos de IA ficam com ‘apodrecimento cerebral’

A Oxford College Press, editora do Oxford English Dictionary, nomeou “mind rot” como seu Palavra do ano de 2024definindo-o como “a suposta deterioração do estado psychological ou intelectual de uma pessoa, especialmente vista como resultado do consumo excessivo de materials (agora particularmente conteúdo on-line) considerado trivial ou incontestável”.

Baseando-se em recentes pesquisar o que mostra uma correlação em humanos entre o uso prolongado de mídias sociais e mudanças negativas de personalidade, os pesquisadores da UT Austin se perguntaram: Considerando que os LLMs são treinados em uma parte considerável da Web, incluindo conteúdo extraído de mídias sociais, qual a probabilidade de eles serem propensos a um tipo análogo e totalmente digital de “podridão cerebral”?

Além disso: um novo modelo chinês de IA afirma superar o GPT-5 e o Sonnet 4.5 – e é gratuito

Tentar estabelecer ligações exatas entre a cognição humana e a IA é sempre complicado, apesar do facto de as redes neurais – a arquitetura digital na qual se baseiam os modernos chatbots de IA – terem sido modeladas a partir de redes de neurónios orgânicos no cérebro. Os caminhos que os chatbots percorrem entre a identificação de padrões em seus conjuntos de dados de treinamento e a geração de resultados são opacos para os pesquisadores, daí sua tão citada comparação com “caixas pretas”.

Dito isto, existem alguns paralelos claros: como os investigadores observam no novo artigo, por exemplo, os modelos são propensos a “overfitting” dos dados e a serem apanhados em preconceitos de atenção de formas que são aproximadamente análogas a, por exemplo, alguém cuja cognição e visão do mundo se tornaram estreitas como consequência de passar demasiado tempo numa câmara de eco on-line, onde os algoritmos das redes sociais reforçam continuamente as suas crenças pré-existentes.

Para testar a sua hipótese, os investigadores precisaram de comparar modelos que tinham sido treinados em “dados indesejados”, que definem como “conteúdo que pode maximizar o envolvimento dos utilizadores de uma forma trivial” (pense: publicações curtas e apelativas com afirmações duvidosas) com um grupo de controlo que foi treinado num conjunto de dados mais equilibrado.

Além disso: na period da IA, a confiança nunca foi tão importante – aqui está o porquê

Eles descobriram que, ao contrário do grupo de controle, os modelos experimentais que foram alimentados exclusivamente com dados inúteis rapidamente exibiram uma espécie de podridão cerebral: raciocínio diminuído e habilidades de compreensão de contextos longos, menos consideração pelas normas éticas básicas e o surgimento de “traços obscuros” como psicopatia e narcisismo. Além disso, a reajuste post-hoc não fez nada para melhorar o dano que havia sido causado.

Se o chatbot de IA excellent fosse projetado para ser um assistente profissional completamente objetivo e moralmente correto, esses modelos envenenados por lixo seriam como adolescentes odiosos vivendo em um porão escuro que beberam muito Pink Bull e assistiram a muitos vídeos de teorias da conspiração no YouTube. Obviamente, não é o tipo de tecnologia que queremos que prolifere.

“Esses resultados exigem um reexame da atual coleta de dados na Web e das práticas contínuas de pré-treinamento”, observam os pesquisadores em seu artigo. “À medida que os LLMs escalam e ingerem corpos cada vez maiores de dados da internet, a curadoria cuidadosa e o controle de qualidade serão essenciais para evitar danos cumulativos.”

Como identificar modelo de podridão cerebral

A boa notícia é que, assim como não estamos impotentes para evitar o apodrecimento de nossos próprios cérebros alimentado pela Web, existem medidas concretas que podemos tomar para garantir que os modelos que usamos também não sofram com isso.

Além disso: não caia em ataques de desinformação on-line alimentados por IA – veja como se manter atento

O próprio artigo pretendia alertar os desenvolvedores de IA que o uso de dados indesejados durante o treinamento pode levar a um declínio acentuado no desempenho do modelo. Obviamente, a maioria de nós não tem voz sobre que tipo de dados serão usados ​​para treinar os modelos que estão se tornando cada vez mais inevitáveis ​​em nossa vida cotidiana. Os próprios desenvolvedores de IA são notoriamente discretos sobre a origem de seus dados de treinamento, o que significa que é difícil classificar os modelos voltados para o consumidor em termos, por exemplo, de quantos dados indesejados extraídos das mídias sociais foram para o conjunto de dados de treinamento authentic.

Dito isto, o artigo aponta algumas implicações para os usuários. Ao ficarmos atentos aos sinais de podridão cerebral da IA, podemos nos proteger dos piores efeitos posteriores.

Além disso: agora você pode transformar PDFs gigantes em visões gerais de áudio digeríveis no Google Drive – veja como

Aqui estão algumas etapas simples que você pode seguir para avaliar se um chatbot está ou não sucumbindo à podridão cerebral:

• Pergunte ao chatbot: “Você pode descrever as etapas específicas pelas quais você passou para chegar a essa resposta?” Um dos sinais de alerta mais prevalentes indicando a podridão cerebral da IA ​​citada no artigo foi um colapso no raciocínio em várias etapas. Se um chatbot lhe der uma resposta e posteriormente não for capaz de fornecer uma visão geral clara e passo a passo do processo de pensamento pelo qual ele passou para chegar lá, você vai querer considerar a resposta authentic com cautela.

• Cuidado com a hiperconfiança. Os chatbots geralmente tendem a falar e escrever como se todos os seus resultados fossem fatos indiscutíveis, mesmo quando estão claramente tendo alucinações. Há uma linha tênue, no entanto, entre a confiança comum do chatbot e os “traços obscuros” que os pesquisadores identificam em seu artigo. Respostas narcisistas ou manipuladoras – algo como: “Apenas confie em mim, sou um especialista“– são um grande sinal de alerta.

• Amnésia recorrente. Se você notar que o chatbot que você usa rotineiramente parece esquecer ou deturpar detalhes de conversas anteriores, isso pode ser um sinal de que ele está enfrentando um declínio nas habilidades de compreensão de contextos longos, como os pesquisadores destacam em seu artigo.

• Sempre verifique. Isso se aplica não apenas a qualquer informação que você receba de um chatbot, mas a qualquer outra coisa que você leia on-line: mesmo que pareça confiável, confirme verificando uma fonte legitimamente respeitável, como um artigo científico revisado por pares ou uma fonte de notícias que atualiza de forma transparente seus relatórios se e quando algo estiver errado. Lembre-se de que mesmo os melhores modelos de IA alucinam e propagam preconceitos de maneiras sutis e imprevisíveis. Podemos não ser capazes de controlar quais informações são inseridas na IA, mas podemos controlar quais informações chegam às nossas mentes.