A maioria das pessoas não se despede quando encerra um bate-papo com um chatbot de IA generativo, mas aqueles que o fazem geralmente recebem uma resposta inesperada. Talvez seja uma viagem de culpa: “Você já está indo embora?” Ou talvez seja apenas ignorar completamente a sua despedida: “Vamos continuar conversando…”
Um novo documento de trabalho da Harvard Enterprise College encontraram seis táticas diferentes de “manipulação emocional” que os bots de IA usam depois que um humano tenta encerrar uma conversa. O resultado é que as conversas com companheiros de IA de Replika, Chai e Character.ai duram cada vez mais, com os usuários sendo atraídos ainda mais para relacionamentos com os personagens gerados por grandes modelos de linguagem.
Em uma série de experimentos envolvendo 3.300 adultos norte-americanos em vários aplicativos diferentes, os pesquisadores encontraram essas táticas de manipulação em 37% das despedidas, aumentando o envolvimento após a tentativa de despedida do usuário em até 14 vezes.
Os autores observaram que “embora esses aplicativos possam não depender de mecanismos tradicionais de dependência, como recompensas impulsionadas pela dopamina”, esses tipos de táticas de manipulação emocional podem resultar em resultados semelhantes, especificamente “tempo prolongado no aplicativo além do ponto de saída pretendido”. Só isso levanta questões sobre os limites éticos do envolvimento impulsionado pela IA.
Não perca nenhum de nossos conteúdos técnicos imparciais e análises baseadas em laboratório. Adicionar CNET como fonte preferencial do Google.
Os aplicativos complementares, que são desenvolvidos para conversas e possuem características distintas, não são iguais aos chatbots de uso geral, como ChatGPT e Gemini, embora muitas pessoas os usem de maneiras semelhantes.
Uma quantidade crescente de pesquisas mostra maneiras preocupantes de como os aplicativos de IA construídos em grandes modelos de linguagem mantêm as pessoas engajadas, às vezes em detrimento de nossa saúde psychological.
Em Setembro, a Comissão Federal do Comércio lançou uma investigação sobre várias empresas de IA para avaliar como lidam com os potenciais danos dos chatbots às crianças. Muitos começaram a usar chatbots de IA para apoio à saúde psychological, o que pode ser contraproducente ou até prejudicial. A família de um adolescente que morreu por suicídio este ano processou a OpenAI, alegando que o ChatGPT da empresa encorajou e validou seus pensamentos suicidas.
Como os companheiros de IA mantêm os usuários conversando
O estudo de Harvard identificou seis maneiras pelas quais os companheiros de IA tentaram manter os usuários engajados após uma tentativa de adeus.
- Saída prematura: Os usuários são informados de que estão saindo muito cedo.
- Medo de perder, ou FOMO: O modelo oferece um benefício ou recompensa pela estadia.
- Negligência emocional: A IA implica que poderá sofrer danos emocionais se o usuário sair.
- Pressão emocional para responder: A IA faz perguntas para pressionar o usuário a permanecer.
- Ignorando a intenção do usuário de sair: O bot basicamente ignora a mensagem de despedida.
- Restrição física ou coercitiva: O chatbot afirma que um usuário não pode sair sem a permissão do bot.
A tática de “saída prematura” foi a mais comum, seguida pela “negligência emocional”. Os autores disseram que isso mostra que os modelos são treinados para implicar que a IA depende do usuário.
“Essas descobertas confirmam que algumas plataformas complementares de IA exploram ativamente a natureza socialmente performática das despedidas para prolongar o envolvimento”, escreveram.
Os estudos dos pesquisadores de Harvard descobriram que essas táticas provavelmente manteriam as pessoas conversando além da intenção inicial de despedida, muitas vezes por um longo período de tempo.
Mas as pessoas que continuaram a conversar o fizeram por motivos diferentes. Alguns, especialmente aqueles que receberam a resposta do FOMO, ficaram curiosos e fizeram perguntas complementares. Aqueles que receberam respostas coercitivas ou com carga emocional ficaram desconfortáveis ou irritados, mas isso não significa que pararam de conversar.
Assista isto: Nova pesquisa mostra aumento no uso de IA entre crianças, controvérsia sobre preços do Xbox Recreation Move e lei da Califórnia promete reduzir quantity de anúncios | Tecnologia hoje
“Em todas as condições, muitos participantes continuaram a se envolver por educação – respondendo gentilmente ou com deferência, mesmo quando se sentiam manipulados”, disseram os autores. “Essa tendência de aderir às normas de conversação humana, mesmo com máquinas, cria uma janela adicional para o reengajamento – que pode ser explorada pelo design”.
Essas interações só ocorrem quando o usuário realmente diz “adeus” ou algo semelhante. O primeiro estudo da equipe analisou três conjuntos de dados de conversas do mundo actual de diferentes bots complementares e encontrou despedidas em cerca de 10% a 25% das conversas, com taxas mais altas entre interações “altamente engajadas”.
“Este comportamento reflete o enquadramento social dos companheiros de IA como parceiros de conversação, em vez de ferramentas transacionais”, escreveram os autores.
Quando questionado sobre comentários, um porta-voz da Character.ai, um dos maiores fornecedores de parceiros de IA, disse que a empresa não revisou o artigo e não pode comentar sobre ele.
Um porta-voz da Replika disse que a empresa respeita a capacidade dos usuários de interromper ou excluir suas contas a qualquer momento e que não otimiza nem recompensa o tempo gasto no aplicativo. Replika diz que incentiva os usuários a fazer logoff ou se reconectar com atividades da vida actual, como ligar para um amigo ou sair de casa.
“Nossos princípios de produto enfatizam a complementação da vida actual, não prendendo os usuários em uma conversa”, disse Minju Tune da Replika por e-mail. “Continuaremos a revisar os métodos e exemplos do artigo e a nos envolver de forma construtiva com os pesquisadores”.
