Character.AI, uma plataforma fashionable de chatbot onde os usuários interpretam diferentes personas, não permitirá mais que titulares de contas menores de 18 anos tenham conversas abertas com chatbots, a empresa anunciou Quarta-feira. Também começará a contar com técnicas de garantia de idade para garantir que menores não possam abrir contas de adultos.
A mudança dramática ocorre apenas seis semanas depois que Character.AI foi processado novamente na Justiça Federal por múltiplos pais de adolescentes que morreram por suicídio ou supostamente sofreram danos graves, incluindo abuso sexual; os pais afirmam que o uso da plataforma por seus filhos foi responsável pelos danos. Em outubro de 2024, Megan Garcia entrou com uma ação por homicídio culposo buscando responsabilizar a empresa pelo suicídio de seu filho, argumentando que seu produto period perigosamente defeituoso.
Os defensores da segurança on-line declararam recentemente que o Character.AI é inseguro para adolescentes depois que eles testei a plataforma esta primavera e registou centenas de interações prejudiciais, incluindo violência e exploração sexual.
Ao enfrentar pressão authorized no ano passado, a Character.AI implementou controles parentais e filtros de conteúdo em um esforço para melhorar a segurança dos adolescentes.
Character.AI inseguro para adolescentes, dizem especialistas
Em uma entrevista ao Mashable, o CEO da Character.AI, Karandeep Anand, descreveu a nova política como “ousada” e negou que restringir as conversas abertas do chatbot com adolescentes fosse uma resposta a preocupações específicas de segurança.
Em vez disso, Anand enquadrou a decisão como “a coisa certa a fazer” à luz de questões mais amplas não respondidas sobre os efeitos a longo prazo do envolvimento do chatbot nos adolescentes. Anand referenciado Reconhecimento recente da OpenAIapós o suicídio de um usuário adolescente, conversas longas podem se tornar imprevisíveis.
Anand classificou a nova política da Character.AI como padrão: “Espero que isso coloque todos em um caminho onde a IA possa continuar sendo segura para todos.”
Ele acrescentou que a decisão da empresa não mudará, independentemente da reação dos usuários.
Como será o Character.AI para os adolescentes agora?
Em um postagem no blog anunciando Seguindo a nova política, Character.AI pediu desculpas aos seus usuários adolescentes.
Relatório de tendências do Mashable
“Não tomamos essa medida de remover o bate-papo aberto com personagens levianamente – mas achamos que é a coisa certa a fazer, dadas as questões que foram levantadas sobre como os adolescentes interagem e devem interagir com essa nova tecnologia”, disse a postagem do weblog.
Atualmente, usuários de 13 a 17 anos podem enviar mensagens com chatbots na plataforma. Esse recurso deixará de existir até 25 de novembro. Até então, as contas registradas para menores terão limites de tempo a partir de duas horas por dia. Esse limite diminuirá à medida que a transição para os bate-papos abertos se aproxima.
Character.AI verá essas notificações sobre mudanças iminentes na plataforma.
Crédito: Cortesia de Character.AI
Mesmo que os bate-papos abertos desapareçam, os históricos de bate-papo dos adolescentes com chatbots individuais permanecerão intactos. Anand disse que os usuários podem aproveitar esse materials para gerar pequenas histórias em áudio e vídeo com seus chatbots favoritos. Nos próximos meses, Character.AI também explorará novos recursos, como jogos. Anand acredita que a ênfase no “entretenimento de IA” sem bate-papo aberto irá satisfazer o interesse criativo dos adolescentes na plataforma.
“Eles vêm para encenação e para se divertir”, disse Anand.
Ele insistiu que os históricos de bate-papo existentes com conteúdo sensível ou proibido que pode não ter sido previamente detectado por filtros, como violência ou sexo, não seriam incluídos nas novas histórias de áudio ou vídeo.
Um porta-voz da Character.AI disse ao Mashable que a equipe de confiança e segurança da empresa revisou as conclusões de um relatório co-publicado em setembro pela Warmth Initiative, documentando trocas prejudiciais de chatbots com contas de teste registradas para menores. A equipe concluiu que algumas conversas violavam as diretrizes de conteúdo da plataforma, enquanto outras não. Também tentou replicar as conclusões do relatório.
“Com base nesses resultados, refinamos alguns de nossos classificadores, em linha com nosso objetivo de que os usuários tenham uma experiência segura e envolvente em nossa plataforma”, disse o porta-voz.
Independentemente disso, Character.AI começará a implementar a garantia de idade imediatamente. Levará um mês para entrar em vigor e terá várias camadas. Anand disse que a empresa está construindo seus próprios modelos de garantia internamente, mas que fará parceria com uma empresa terceirizada na tecnologia.
Ele também usará dados e sinais relevantes, como se um usuário tem uma conta verificada com mais de 18 anos em outra plataforma, para detectar com precisão a idade de usuários novos e existentes. Finalmente, se um usuário quiser contestar a determinação de idade do Character.AI, ele terá a oportunidade de fornecer verificação por meio de um terceiro, que lidará com documentos e dados confidenciais, incluindo identificação emitida pelo estado.
Finalmente, como parte das novas políticas, a Character.AI está estabelecendo e financiando uma organização independente sem fins lucrativos chamada AI Security Lab. O laboratório se concentrará em “novas técnicas de segurança”.
“[W]Queremos trazer especialistas do setor e outros parceiros para continuar garantindo que a IA proceed segura, especialmente no domínio do entretenimento de IA”, disse Anand.
