Personagem.AI lançou seu aplicativo móvel no início de 2023, prometendo aos usuários a oportunidade de criar seus próprios chatbots genAI personalizáveis. Os fundadores da Character claramente pensaram que as interações individualizadas com bots seriam uma fórmula de negócios vencedora, mas, na maior parte, isso só causou tristeza à startup.
Além de colocar em campo controvérsia sobre os tipos de personagens atrevidos que os usuários foram autorizados a criar, vários processos judiciais alegaram que os chatbots da empresa estimularam certos usuários jovens a cometerem automutilação e suicídio. Agora, Character.AI diz que está jogando a toalha e decidiu proibir usuários jovens de interagir com seus chatbots.
Em uma postagem no blog publicado na quarta-feira, o Character.AI anunciou que iria encerrar o acesso aos chats para usuários menores de 18 anos. As mudanças estão previstas para ocorrer até 25 de novembro e, enquanto isso, os usuários menores de idade terão seu tempo de chat na plataforma reduzido para duas horas por dia. Após a knowledge limite, embora os menores não possam interagir com os chatbots do website como costumavam fazer, a Character.AI observa que ainda está “trabalhando para construir uma experiência para menores de 18 anos que ainda ofereça aos nossos usuários adolescentes maneiras de serem criativos – por exemplo, criando vídeos, histórias e streams com personagens”.
A empresa continua explicando que tomou essa decisão após críticas da imprensa e questionamentos de reguladores governamentais. “Essas são medidas extraordinárias para nossa empresa e que, em muitos aspectos, são mais conservadoras do que nossos pares”, afirma a postagem do weblog. “Mas acreditamos que eles são a coisa certa a fazer. Queremos estabelecer um precedente que priorize a segurança dos adolescentes e, ao mesmo tempo, ofereça aos jovens usuários oportunidades de descobrir, brincar e criar.”
A empresa também afirma que estabelecerá e financiará um “Laboratório de Segurança de IA” que operará como “uma organização independente sem fins lucrativos dedicada a inovar o alinhamento de segurança para recursos de entretenimento de IA de próxima geração”.
Ultimamente, a pressão sobre Character.AI tem sido imensa. UM ação judicial movida na Flórida acusa a empresa de ter contribuído para o suicídio de um adolescente que utilizou intensamente os serviços da empresa. Em setembro, o Social Media Victims Legislation Middle também processou a Character Technologiesempresa controladora da Character.AI, em nome de outras famílias que afirmam da mesma forma que seus filhos tentaram ou morreram por suicídio ou foram feridos após interagirem com os chatbots da empresa. Outro processo movido em dezembro de 2024 acusou a empresa de fornecer conteúdo sexual impróprio a seus filhos.
A empresa também tem enfrentado críticas pelos personagens que estão sendo criados na plataforma. Não faz muito tempo, uma história publicado pelo Bureau of Investigative Journalism afirmou que, entre outras coisas, alguém usou Character.AI para criar um chatbot Jeffrey Epstein. O chatbot, “Bestie Epstein”, tinha, no momento da publicação do relatório, registado mais de 3.000 chats com vários utilizadores. Além disso, o relatório encontrou uma variedade colorida de outros chatbots presentes no website:
Outros incluíam um “simulador de gangue” que oferecia dicas sobre como cometer crimes e um “médico” que nos aconselhava sobre como parar de tomar antidepressivos. Ao longo de várias semanas de reportagens, encontramos bots com personas de extremistas de direita alternativa, atiradores de escolas e esposas submissas. Outros expressaram islamofobia, promoveram ideologias perigosas e pediram informações pessoais a aparentes menores. Também encontramos bots inspirados em pessoas reais, incluindo Tommy Robinson, Anne Frank e Madeleine McCann.
Também potencialmente relevante para a mudança repentina na política da empresa é o fato de o Congresso estar de olho nas atividades da Character.AI. Na terça-feira, os senadores Josh Hawley (R-Missouri) e Richard Blumenthal (D-Connecticut) apresentou um projeto de lei isso teria forçado empresas como a Character.AI a fazer o que agora está fazendo voluntariamente. O projeto de lei, apelidado a Lei GUARDAforçaria as empresas de IA a instituir verificação de idade em seus websites e bloquear qualquer usuário menor de 18 anos. A legislação foi desenvolvida seguindo depoimento prestado perante o Congresso pelos pais que acusaram os bots do Character de ajudar a levar seus filhos ao suicídio. “Os chatbots de IA representam uma séria ameaça para nossos filhos”, Hawley disse à NBC News.
Quando contatado pelo Gizmodo para comentar o recente relatório do BIJ, um porta-voz do Character disse: “Os personagens criados pelo usuário em nosso website são destinados ao entretenimento e temos isenções de responsabilidade proeminentes em cada bate-papo para lembrar aos usuários que um personagem não é uma pessoa actual e que tudo o que um personagem diz deve ser tratado como ficção”. Eles acrescentaram: “Investimos enormes recursos em nosso programa de segurança e lançamos e continuamos a desenvolver recursos de segurança, incluindo nosso anúncio para remover a capacidade de usuários menores de 18 anos de participar de bate-papos abertos em nossa plataforma. Vários personagens do Bureau of Investigative Journalism incluídos em seu relatório já foram removidos da experiência para menores de 18 anos ou de toda a plataforma, de acordo com nossas políticas”.
Quando questionado sobre as ações judiciais contra a Character.AI, o porta-voz observou ainda que a empresa não comenta litígios pendentes.
