Imagens degradantes de crianças e mulheres com suas roupas removidas digitalmente pela Grok AI continuam a ser compartilhadas no X de Elon Musk, apesar do compromisso da plataforma de suspender os usuários que as geram.
Depois de dias de preocupação com o uso do chatbot para alterar fotografias para criar imagens sexualizadas de mulheres e crianças reais, nuas, apenas de roupa inside, sem o seu consentimento, o órgão de vigilância da comunicação do Reino Unido, Ofcom, disse na segunda-feira que tinha feito “contacto urgente com X e xAI para compreender que medidas tomaram para cumprir os seus deveres legais para proteger os utilizadores no Reino Unido”. Ofcom acrescentou que avaliaria se uma investigação é necessária com base na resposta da empresa.
Entretanto, políticos e defensores dos direitos das mulheres acusaram o governo do Reino Unido de “se arrastar” ao não aprovar a legislação que foi aprovada há seis meses, tornando ilegal a criação de tais imagens íntimas.
A tendência, que se tornou viral durante o período de ano novo, também levou a Comissão Europeia a dizer na segunda-feira que estava a analisar “muito seriamente” as queixas de que Grok estava a ser usado para gerar e disseminar imagens infantis sexualmente explícitas.
A preocupação começou a surgir depois que uma atualização de dezembro do assistente gratuito de IA de Musk, Grok, tornou mais fácil para os usuários postarem fotos e solicitarem que suas roupas fossem removidas. Embora o website não permita a nudificação completa, ele permite que os usuários solicitem que as imagens sejam alteradas para mostrar indivíduos em roupas íntimas pequenas e reveladoras e em poses sexualmente sugestivas.
No domingo e na segunda-feira, os usuários do Grok continuaram a gerar fotos sexualmente sugestivas de menores, com imagens de crianças de até 10 anos criadas durante a noite. Ashley St Clair, mãe de um dos filhos de Musk, reclamou que a ferramenta de IA gerou uma foto dela quando ela tinha 14 anos de biquíni.
Uma foto da atriz de Stranger Issues, Nell Fisher, foi manipulada por Grok no domingo para colocá-la em um biquíni com estampa de banana. Fischer tem 14 anos. Muitas mulheres expressaram fúria contra X depois de descobrirem que suas imagens foram despidas sem o seu consentimento. Algumas fotos de mulheres e crianças que foram manipuladas pela ferramenta de IA parecem ter substâncias semelhantes a sêmen espalhadas em seus rostos e peitos.
Pesquisadores da AI Forensics, uma organização sem fins lucrativos com sede em Paris, examinaram 50 mil menções ao @Grok no X e 20 mil imagens geradas pela ferramenta, encontradas durante um período de uma semana entre 25 de dezembro e 1º de janeiro. Pelo menos um quarto das menções ao @Grok foram solicitações da ferramenta para criar uma imagem. Dentro desses prompts de geração de imagens, houve uma alta prevalência de termos como “ela”, “colocar”, “remover”, “biquíni” e “roupa”.
Descobriu que mais de metade das imagens eram de pessoas em “trajes mínimos”, como roupa inside ou biquínis, sendo a maioria mulheres que pareciam ter menos de 30 anos. Uma minoria das imagens, ou 2%, parece mostrar pessoas com 18 anos ou menos, acrescentou a AI Forensics, com algumas imagens representando crianças com menos de cinco anos. Os pesquisadores disseram que a maior parte do conteúdo ainda estava disponível on-line e incluía pedidos para gerar propaganda nazista e do Estado Islâmico.
Inicialmente, Musk expressou diversão com a tendência, postando o emoji chorando e rindo na sexta-feira em resposta a uma foto de uma torradeira manipulada digitalmente usando um biquíni. Ele disse: “Não sei por que, mas não conseguia parar de rir disso”. Após protestos globais sobre a natureza prejudicial do conteúdo, ele postou mais tarde que “qualquer pessoa que use o Grok para criar conteúdo ilegal sofrerá as mesmas consequências que se carregasse conteúdo ilegal”.
Um porta-voz do X disse: “Tomamos medidas contra o conteúdo ilegal no X, incluindo materials de abuso sexual infantil (CSAM), removendo-o, suspendendo permanentemente as contas e trabalhando com os governos locais e as autoridades policiais, conforme necessário”.
Uma declaração anterior da Grok anunciando que tinha “identificado falhas nas salvaguardas” e que as estava “corrigindo urgentemente” acabou por ter sido gerada por inteligência synthetic; não estava claro se a empresa estava realmente tomando medidas para corrigir lapsos de salvaguarda.
Os reguladores têm trabalhado durante anos para proibir aplicativos de nudificação em telefones, com sucesso misto, mas as atualizações do mês passado para Grok generalizaram o problema, simplificando a criação e compartilhamento de imagens íntimas de indivíduos com a maior parte de suas roupas removidas em uma das plataformas mais populares da Web.
Embora a criação de imagens envolvendo crianças sem roupas já seja ilegal, a lei que cerca a criação de deepfakes de adultos é mais complicada. Os activistas do Reino Unido conseguiram aprovar legislação em Junho passado que torna ilegal criar e solicitar a criação de imagens íntimas sem o consentimento de uma pessoa, mas as disposições relevantes ainda não foram implementadas, o que significa que a legislação não é actualmente aplicável. No entanto, já é ilegal compartilhar essas imagens deepfake não consensuais.
Charlotte Owen, a colega conservadora que defendeu a legislação, disse: “O governo tem repetidamente hesitado e recusado fornecer um prazo para a entrada em vigor destas disposições vitais. Não podemos permitir mais atrasos. Os sobreviventes deste abuso merecem coisa melhor. Ninguém deveria ter de viver com medo de que o seu consentimento fosse violado desta forma terrível”.
Um porta-voz disse que o governo estava empenhado em implementar os novos crimes de criação, ou solicitação, de um deepfake íntimo sem consentimento o mais rápido possível, acrescentando que os deepfakes sexualmente explícitos “são degradantes e prejudiciais… é por isso que legislamos para proibir a sua criação não consensual, garantindo que os infratores enfrentem as punições apropriadas por este dano atroz”.
Gabby Bertin, a colega conservadora que fez campanha para regulamentar a tecnologia de nudificação, disse que o governo precisa de agir rapidamente porque a legislação precise “está sempre a tentar recuperar o atraso”.
Jess Asato, a deputada trabalhista que tem feito campanha por uma melhor regulamentação da pornografia, disse: “Cabe a Elon Musk perceber que isto é uma forma de agressão sexual e tomar as medidas adequadas. É tirar uma imagem de uma mulher sem o seu consentimento e despi-la para a degradar – não há outra razão para o fazer, excepto para humilhá-la”.
