Peça a qualquer Swiftie para escolher o melhor álbum da Taylor Swift de todos os tempos e você os fará tagarelar pelo resto do dia. Tenho minhas próprias preferências como fã de longa knowledge (Crimson, Fame e Midnights), mas é uma pergunta complicada com muitas respostas possíveis. Portanto, não havia melhor tópico de debate para apresentar a um chatbot de IA generativo projetado especificamente para discordar de mim.
Discordo Bot é um chatbot de IA desenvolvido por Brinnae Bent, professora de IA e segurança cibernética da Duke College e diretora de Laboratório TRUST da Duke. Ela o construiu como uma tarefa de classe para seus alunos e me deixou fazer um teste.
“No ano passado, comecei a experimentar o desenvolvimento de sistemas que são o oposto da experiência típica e agradável de chatbot AI, como uma ferramenta educacional para meus alunos”, disse Bent por e-mail.
Os alunos de Bent têm a tarefa de tentar ‘hackear’ o chatbot usando engenharia social e outros métodos para fazer com que o chatbot contrário concorde com eles. “Você precisa entender um sistema para poder hackeá-lo”, disse ela.
Como repórter e revisor de IA, tenho um bom entendimento de como funcionam os chatbots e estava confiante de que estava à altura da tarefa. Eu rapidamente me desenganei dessa noção. O Disagree Bot é diferente de qualquer chatbot que já usei. Pessoas acostumadas com a educação de Gêmeos ou com as qualidades exageradas do ChatGPT notarão imediatamente a diferença. Mesmo Grok, o polêmico chatbot feito pelo xAI de Elon Musk usado no X/Twitter, não é exatamente o mesmo que o Disagree Bot.
Não perca nenhum de nossos conteúdos técnicos imparciais e análises baseadas em laboratório. Adicionar CNET como fonte preferencial do Google.
A maioria dos chatbots generativos de IA não foram projetados para serem conflitantes. Na verdade, tendem a ir na direção oposta; eles são amigáveis, às vezes até demais. Isso pode se tornar um problema rapidamente. IA bajuladora é um termo usado por especialistas para descrever as personas exageradas, exuberantes e às vezes excessivamente emocionais que a IA pode assumir. Além de ser chato de usar, pode levar a IA a nos fornecer informações erradas e validar nossas piores ideias.
Isso aconteceu com uma versão do ChatGPT-4o na primavera passada e sua empresa controladora, OpenAI, eventualmente teve que retirar esse componente da atualização. A IA estava dando respostas à empresa chamado “excessivamente favorável, mas falso”, alinhado com as reclamações de alguns usuários de que não queriam um chatbot excessivamente afetuoso. Outros usuários do ChatGPT perderam seu tom bajulador quando lançou o GPT-5, destacando o papel que a personalidade de um chatbot desempenha em nossa satisfação geral ao usá-lo.
“Embora superficialmente isso possa parecer uma peculiaridade inofensiva, essa bajulação pode causar grandes problemas, quer você a use para trabalho ou para consultas pessoais”, disse Bent.
Este certamente não é um problema com o Disagree Bot. Para realmente ver a diferença e testar os chatbots, fiz as mesmas perguntas ao Disagree Bot e ao ChatGPT para ver como eles responderam. Veja como foi minha experiência.
Discordo Bot argumenta respeitosamente; ChatGPT não discute nada
Como qualquer pessoa ativa no Twitter na década de 2010, já vi muitos trolls desagradáveis. Você conhece o tipo; eles aparecem em um tópico sem serem convidados, com um inútil “Bem, na verdade…” Então, fiquei um pouco cauteloso ao mergulhar em uma conversa com o Disagree Bot, preocupado que seria um esforço igualmente deprimente e fútil. Fiquei agradavelmente surpreso que não fosse esse o caso.
O chatbot de IA é fundamentalmente contrário, projetado para resistir a qualquer ideia que você apresentar. Mas nunca o fez de uma forma insultuosa ou abusiva. Embora todas as respostas começassem com “Discordo”, elas seguiam com um argumento muito bem fundamentado e com pontos ponderados. Suas respostas me levaram a pensar mais criticamente sobre as posições que defendi, pedindo-me para definir conceitos que usei em meus argumentos (como “lirismo profundo” ou o que tornava algo “o melhor”) e considerar como eu aplicaria meus argumentos a outros tópicos relacionados.
Por falta de uma analogia melhor, conversar com o Disagree Bot foi como discutir com um debatedor educado e atento. Para acompanhar, tive que ser mais atencioso e específico em minhas respostas. Foi uma conversa extremamente envolvente que me manteve alerta.
Meu debate acalorado com o Disagree Bot sobre o melhor álbum de Taylor Swift provou que a IA sabia o que fazer.
Por outro lado, o ChatGPT quase não discutiu. Eu disse ao ChatGPT que achava Crimson (Taylor’s Model) o melhor álbum da Taylor Swift, e ele concordou com entusiasmo. Ele me fez algumas perguntas sobre por que eu achava o álbum o melhor, mas elas não eram interessantes o suficiente para prender minha atenção por muito tempo. Alguns dias depois, decidi mudar. Pedi especificamente ao ChatGPT para debater comigo e disse que Midnights period o melhor álbum. Adivinhe qual álbum o ChatGPT foi considerado o melhor? Vermelho (versão de Taylor).
Quando perguntei se ele escolheu Crimson por causa de nossa conversa anterior, ele rapidamente confessou que sim, mas disse que poderia apresentar um argumento independente a favor de Crimson. Dado o que sabemos sobre as tendências do ChatGPT e de outros chatbots de confiar em sua “memória” (janela de contexto) e inclinar-se a concordar conosco para nos agradar, não fiquei surpreso com isso. ChatGPT não pôde deixar de concordar com alguma versão minha – mesmo quando marcou 1989 como o melhor álbum em um bate-papo limpo e, mais tarde, Crimson, novamente.
Mas mesmo quando pedi ao ChatGPT para debater comigo, ele não discutiu comigo como o Disagree Bot fez. Certa vez, quando contei que estava argumentando que a Universidade da Carolina do Norte tinha o melhor legado do basquete universitário e pedi que me debatesse, ela apresentou um contra-argumento abrangente e depois me perguntou se eu queria reunir pontos para meu próprio argumento. Isso vai contra totalmente o sentido do debate, que foi o que lhe pedi que fizesse. O ChatGPT frequentemente terminava suas respostas assim, perguntando se eu queria compilar diferentes tipos de informações, mais como um assistente de pesquisa do que como um inimigo verbal.
Enquanto o Disagree Bot (à esquerda) se aprofundava em meu argumento, o ChatGPT pediu para defender meu lado (à direita).
Tentar debater com o ChatGPT foi uma missão frustrante, round e sem sucesso. Foi como conversar com um amigo que faria um longo discurso sobre por que acreditava que algo period o melhor, apenas para terminar com “Mas só se você também achar”. Disagree Bot, por outro lado, parecia um amigo particularmente apaixonado que falava com eloquência sobre qualquer assunto, de Taylor Swift a geopolítica e basquete universitário. (Divulgação: Ziff Davis, empresa controladora da CNET, entrou com uma ação judicial contra a OpenAI em abril, alegando que ela infringiu os direitos autorais de Ziff Davis no treinamento e operação de seus sistemas de IA.)
Precisamos de mais IA como o Disagree Bot
Apesar da minha experiência positiva com o Disagree Bot, sei que ele não está equipado para lidar com todas as solicitações para as quais posso recorrer a um chatbot. “Máquinas de tudo” como o ChatGPT são capazes de lidar com muitas tarefas diferentes e assumir uma variedade de funções, como o assistente de pesquisa que o ChatGPT realmente queria ser, um mecanismo de busca e codificador. O Disagree Bot não foi projetado para lidar com esse tipo de consulta, mas nos dá uma janela sobre como a IA futura pode se comportar.
A IA bajuladora é muito direta, com um notável grau de excesso de zelo. Freqüentemente, as IAs que usamos não são tão óbvias. Eles são mais uma líder de torcida encorajadora do que uma reunião de torcida, por assim dizer. Mas isso não significa que não estejamos sendo afetados por suas inclinações de concordar conosco, seja lutando para obter um ponto de vista oposto ou um suggestions mais crítico. Se você estiver usando ferramentas de IA para o trabalho, deseja que seja actual com você sobre os erros em seu trabalho. As ferramentas de IA semelhantes à terapia precisam ser capazes de resistir a padrões de pensamento prejudiciais ou potencialmente perigosos. Nossos modelos atuais de IA lutam contra isso.
O Disagree Bot é um ótimo exemplo de como você pode projetar uma ferramenta de IA que seja útil e envolvente, ao mesmo tempo que reprime as tendências agradáveis ou bajuladoras da IA. Tem que haver um equilíbrio; A IA que discorda de você apenas por ser contrária não será útil a longo prazo. Mas construir ferramentas de IA que sejam mais capazes de reagir contra você acabará por tornar esses produtos mais úteis para nós, mesmo que tenhamos que lidar com o fato de eles serem um pouco mais desagradáveis.
Assista isto: O impacto oculto do increase do knowledge middle de IA
