O mais recente relatório do OpenAI sobre o uso malicioso da IA ressalta a corda bamba que as empresas de IA estão andando entre impedir o uso indevido de seus chatbots e tranquilizar os usuários de que sua privacidade é respeitada.
O relatórioque caiu hoje, destaca vários casos em que o Openai investigou e interrompeu atividades prejudiciais envolvendo seus modelos, focando em golpes, ataques cibernéticos e campanhas de influência vinculadas ao governo. No entanto, chega em meio a um escrutínio crescente sobre outro tipo de risco de IA, os possíveis danos psicológicos dos chatbots. Somente este ano viu vários relatos de usuários cometer atos de auto-mutilação, suicídio e assassinato depois de interagir com os modelos de IA. Este novo relatório, juntamente com as divulgações anteriores da empresa, fornece algumas informações adicionais sobre como o OpenAi modera os bate -papos para diferentes tipos de uso indevido.
O Openai disse que, desde que começou a denunciar ameaças públicas em fevereiro de 2024, interrompeu e relatou mais de 40 redes que violavam suas políticas de uso. No relatório de hoje, a empresa compartilhou novos estudos de caso do trimestre passado e detalhes sobre como detecta e interrompe o uso malicioso de seus modelos.
Por exemplo, a empresa identificou uma rede prison organizada, baseada no Camboja, que tentou usar a IA para otimizar seus fluxos de trabalho. Além disso, uma operação de influência política russa usou o ChatGPT para gerar instruções em vídeo para outros modelos de IA. O OpenAI também sinalizou contas vinculadas ao governo chinês que violava suas políticas sobre o uso de segurança nacional, incluindo solicitações para gerar propostas para sistemas de larga escala projetados para monitorar conversas de mídia social.
A empresa disse anteriormente, inclusive em seu política de Privacidadeque usa dados pessoais, como solicitações de usuário, para ‘prevenir fraudes, atividades ilegais ou uso indevido’ de seus serviços. O OpenAI também disse que se baseia em sistemas automatizados e revisores humanos para monitorar a atividade. Mas no relatório de hoje, a empresa ofereceu um pouco mais de informações sobre seu processo de pensamento para impedir o uso indevido, enquanto ainda protege os usuários de maneira mais ampla.
“Para detectar e interromper as ameaças de maneira eficaz, sem interromper o trabalho dos usuários cotidianos, empregamos uma abordagem diferenciada e informada, que se concentra nos padrões de comportamento do ator de ameaças, em vez de interações modelo isoladas”, escreveu a empresa no relatório.
Embora o monitoramento de violações de segurança nacional seja uma coisa, a empresa também descreveu recentemente como aborda o uso prejudicial de seus modelos por usuários que sofrem de sofrimento emocional ou psychological. Há pouco mais de um mês, a empresa publicou um blog posT detalhando como lida com esses tipos de situações. O submit ocorreu em meio à cobertura da mídia de incidentes violentos, teria vinculado a interações ChatGPT, incluindo um assassinato-suicídio em Connecticut.
A empresa disse que, quando os usuários escrevem que desejam se machucar, o ChatGPT é treinado para não cumprir e, em vez disso, reconhecer os sentimentos do usuário e orientá-los em relação à ajuda e aos recursos do mundo actual.
Quando a IA detecta alguém planejando prejudicar outras pessoas, as conversas são sinalizadas para a revisão humana. Se um revisor humano determinar que a pessoa representa uma ameaça iminente a outras pessoas, poderá denunciá -la à aplicação da lei.
O OpenAI também reconheceu que o desempenho de segurança de seu modelo pode se degradar durante interações mais longas e disse que já está trabalhando para melhorar suas salvaguardas.
