Ainda assim, os modelos estão a melhorar muito mais rapidamente do que os esforços para os compreender. E a equipe da Anthropic admite que, à medida que os agentes de IA proliferam, a criminalidade teórica do laboratório fica cada vez mais próxima da realidade. Se não quebrarmos a caixa preta, ela poderá nos quebrar.
“A maior parte dos meus a vida tem se concentrado em tentar fazer coisas que acredito serem importantes. Quando tinha 18 anos, abandonei a universidade para apoiar um amigo acusado de terrorismo, porque acredito que é mais importante apoiar as pessoas quando outras não o fazem. Quando ele foi declarado inocente, percebi que o aprendizado profundo afetaria a sociedade e me dediquei a descobrir como os humanos poderiam entender as redes neurais. Passei a última década trabalhando nisso porque acho que poderia ser uma das chaves para tornar a IA segura.”
Assim começa o “date me doc” de Chris Olah, que ele postou no Twitter em 2022. Ele não está mais solteiro, mas o documento permanece em seu web site no Github “já que period um documento importante para mim”, escreve ele.
A descrição de Olah deixa de fora algumas coisas, inclusive que, apesar de não ter obtido um diploma universitário, ele é cofundador da Antrópico. Uma omissão menos significativa é que ele recebeu uma bolsa Thiel, que concede US$ 100 mil a desistentes talentosos. “Isso me deu muita flexibilidade para me concentrar em tudo o que eu considerava importante”, ele me disse em uma entrevista em 2024. Estimulado pela leitura de artigos na WIRED, entre outras coisas, ele tentou construir impressoras 3D. “Aos 19 anos, não se tem necessariamente o melhor gosto”, admitiu. Então, em 2013, ele participou de uma série de seminários sobre aprendizagem profunda e ficou entusiasmado. Ele saiu das sessões com uma pergunta que ninguém mais parecia estar fazendo: O que está acontecendo nesses sistemas?
Olah teve dificuldade em interessar outras pessoas sobre a questão. Quando ingressou no Google Mind como estagiário em 2014, ele trabalhou em um produto estranho chamado Deep Dream, um experimento inicial na geração de imagens de IA. A rede neural produzia padrões psicodélicos bizarros, quase como se o software program estivesse drogado. “Não entendemos os resultados”, diz Olah. “Mas uma coisa que eles mostraram é que há muita estrutura dentro das redes neurais.” Pelo menos alguns elementos, concluiu ele, poderiam ser compreendidos.
Olah decidiu encontrar tais elementos. Ele foi cofundador de uma revista científica chamada Destilar para trazer “mais transparência” ao aprendizado de máquina. Em 2018, ele e alguns colegas do Google publicaram um artigo na Distill chamado “The Constructing Blocks of Interpretability”. Eles identificaram, por exemplo, que neurônios específicos codificavam o conceito de orelhas caídas. A partir daí, Olah e seus co-autores conseguiram descobrir como o sistema sabia a diferença entre, digamos, um labrador retriever e um gato tigre. Eles reconheceram no artigo que este period apenas o começo da decifração das redes neurais: “Precisamos torná-las em escala humana, em vez de depósitos avassaladores de informações”.
O jornal period o canto do cisne de Olah no Google. “Na verdade, havia uma sensação no Google Mind de que você não estava falando muito sério se estivesse falando sobre segurança de IA”, diz ele. Em 2018, a OpenAI ofereceu-lhe a oportunidade de formar uma equipa permanente em interpretabilidade. Ele pulou. Três anos depois, ele se juntou a um grupo de colegas da OpenAI para fundar a Anthropic.
