Após protestos sustentados de defensores da segurança infantil, famílias e políticos, o governador da Califórnia, Gavin Newsom, sancionou um projeto de lei destinado a restringir o comportamento do chatbot de IA que os especialistas consideram inseguro ou perigoso, especialmente para os adolescentes.
A lei, conhecido como SB 243exige que os operadores de chatbot evitem que seus produtos exponham menores a conteúdo sexual, ao mesmo tempo que lembram consistentemente aos usuários que os chatbots não são humanos. Além disso, as empresas sujeitas à lei devem implementar um protocolo para lidar com situações em que um usuário discuta ideação suicida, suicídio e automutilação.
O senador estadual Steve Padilla, um democrata que representa San Diego, foi o autor e apresentou o projeto no início deste ano. Em fevereiro, ele disse ao Mashable que o SB 243 foi criado para resolver problemas urgentes de segurança emergentes com chatbots de IA. Dada a rápida evolução e implantação da tecnologia, Padilla disse que “as barreiras regulatórias estão muito atrasadas”.
Common Sense Media, um grupo sem fins lucrativos que apoia crianças e pais enquanto eles navegam na mídia e na tecnologia, declarou os companheiros de chatbot de IA como inseguros para adolescentes menores de 18 anos no início deste ano.
A Comissão Federal de Comércio lançou recentemente um investigação sobre chatbots atuando como companheiros. No mês passado, a agência informou às principais empresas com produtos de chatbot, incluindo OpenAI, Alphabet, Meta e Character Technologies, que buscava informações sobre como elas monetizam o envolvimento do usuário, geram resultados e desenvolvem os chamados personagens.
Antes da aprovação do SB 243, Padilla lamentou como o chatbot de IA acompanha pode prejudicar exclusivamente os jovens utilizadores: “Esta tecnologia pode ser uma poderosa ferramenta educacional e de investigação, mas deixada à sua própria sorte, a indústria tecnológica é incentivada a captar a atenção dos jovens e mantê-la à custa das suas relações no mundo real.”
No ano passado, a enlutada mãe Megan Garcia entrou com uma ação por homicídio culposo contra Character.AI, uma das plataformas de chatbot complementares de IA mais populares. Seu filho, Sewell Setzer III, morreu por suicídio após um forte envolvimento com um companheiro Character.AI. O processo alega que o Character.AI foi projetado para “manipular Sewell – e milhões de outros jovens clientes – para fundir realidade e ficção”, entre outros defeitos perigosos.
Garcia, que fez lobby em nome do SB 243, aplaudiu a assinatura de Newsom.
“Hoje, a Califórnia garantiu que um chatbot complementar não será capaz de falar com uma criança ou indivíduo vulnerável sobre suicídio, nem um chatbot será capaz de ajudar uma pessoa a planejar seu próprio suicídio”, Garcia disse em comunicado.
O SB 243 também exige que plataformas de chatbot complementares produzam um relatório anual sobre a conexão entre o uso de seu produto e a ideação suicida. Ele permite que as famílias busquem ações legais privadas contra “desenvolvedores inadimplentes e negligentes”.
A Califórnia está rapidamente se tornando líder na regulamentação da tecnologia de IA. Na semana passada, o Governador Newsom assinou legislação que exige que os laboratórios de IA divulguem potenciais danos da sua tecnologia, bem como informações sobre os seus protocolos de segurança.
Como relatou Chase DiBenedetto, do Mashable, o projeto de lei visa “manter os desenvolvedores de IA responsáveis pelos padrões de segurança, mesmo quando enfrentam pressão competitiva e inclui proteções para potenciais denunciantes”.
Na segunda-feira, Newsom também sancionou dois projetos de lei separados que visam melhorar a segurança infantil online. AB 56 exige rótulos de advertência para plataformas de mídia social, destacando o impacto que os feeds viciantes de mídia social podem ter na saúde mental e no bem-estar das crianças. A outra conta, AB 1043implementa um requisito de verificação de idade que entrará em vigor em 2027.
