Califórnia se torna o primeiro estado a regulamentar chatbots complementares de IA

Governador da Califórnia, Gavin Newsom assinado um projeto de lei histórico na segunda-feira que regulamenta os chatbots complementares de IA, tornando-o o primeiro estado do país a exigir que os operadores de chatbots de IA implementem protocolos de segurança para acompanhantes de IA.

A lei, SB 243, foi projetada para proteger crianças e usuários vulneráveis ​​de alguns dos danos associados ao uso de chatbot complementar de IA. Ele responsabiliza empresas – desde grandes laboratórios como Meta e OpenAI até startups parceiras mais focadas, como Character AI e Replika – legalmente responsáveis ​​se seus chatbots não atenderem aos padrões da lei.

O SB 243 foi apresentado em janeiro pelos senadores estaduais Steve Padilla e Josh Becker e ganhou impulso após a morte do adolescente Adam Raine, que morreu por suicídio após uma longa série de conversas suicidas com ChatGPT da OpenAI. A legislação também responde a documentos internos vazados que supostamente mostravam que os chatbots da Meta eram autorizados a participar de bate-papos “românticos” e “sensuais” com crianças. Mais recentemente, uma família do Colorado entrou com uma ação contra a startup de RPG Character AI depois que sua filha de 13 anos tirou a própria vida após uma série de conversas problemáticas e sexualizadas com os chatbots da empresa.

“Tecnologias emergentes, como chatbots e mídias sociais, podem inspirar, educar e conectar – mas sem barreiras de proteção reais, a tecnologia também pode explorar, enganar e colocar nossos filhos em perigo”, disse Newsom em um comunicado. “Vimos alguns exemplos verdadeiramente horríveis e trágicos de jovens prejudicados pela tecnologia não regulamentada e não ficaremos parados enquanto as empresas continuam sem os limites e a responsabilização necessários. Podemos continuar a liderar em IA e tecnologia, mas devemos fazê-lo com responsabilidade – protegendo os nossos filhos em cada passo do caminho. A segurança dos nossos filhos não está à venda.”

O SB 243 entrará em vigor em 1º de janeiro de 2026 e exige que as empresas implementem certos recursos, como verificação de idade e avisos sobre mídias sociais e chatbots complementares. A lei também implementa penalidades mais severas para aqueles que lucram com deepfakes ilegais, incluindo até US$ 250.000 por infração. As empresas também devem estabelecer protocolos para abordar o suicídio e a automutilação, que serão compartilhados com a Secretaria de Saúde Pública do estado juntamente com estatísticas sobre como o serviço forneceu aos usuários notificações de prevenção de centros de crise.

De acordo com a linguagem do projeto de lei, as plataformas também devem deixar claro que quaisquer interações são geradas artificialmente e os chatbots não devem se apresentar como profissionais de saúde. As empresas são obrigadas a oferecer lembretes de intervalo aos menores e impedi-los de ver imagens sexualmente explícitas geradas pelo chatbot.

Algumas empresas já começaram a implementar algumas salvaguardas destinadas às crianças. Por exemplo, a OpenAI começou recentemente a implementar controles parentais, proteções de conteúdo e um sistema de detecção de automutilação para crianças que usam ChatGPT. Character AI disse que seu chatbot inclui uma isenção de responsabilidade de que todos os chats são gerados por IA e ficcionalizados.

É a segunda regulamentação significativa de IA lançada na Califórnia nas últimas semanas. Em 29 de setembro, o governador Newsoms sancionou o SB 53, estabelecendo novos requisitos de transparência para grandes empresas de IA. O projeto de lei exige que grandes laboratórios de IA, como OpenAI, Anthropic, Meta e Google DeepMind, sejam transparentes sobre os protocolos de segurança. Também garante proteção aos denunciantes para os funcionários dessas empresas.

Outros estados, como Illinois, Nevada e Utah, aprovaram leis para restringir ou proibir totalmente o uso de chatbots de IA como substitutos de cuidados de saúde mental licenciados.

O TechCrunch entrou em contato com Character AI, Meta, OpenAI e Replika para comentar.