O centro da Adobe para todas as coisas relacionadas à IA, Firefly, é basic para suas inovações mais recentes. A empresa anunciou uma série de atualizações baseadas em IA em sua conferência criativa Max na terça-feira. Enquanto o resto de nós está obcecado (e preocupante) sobre OpenAI novo aplicativo Sora AI slopa Adobe está caminhando em uma direção diferente: seus recursos mais recentes são para geração de áudio AI.
Adobe foi a segunda grande empresa de tecnologia a apresentar áudio gerado por IA ao seu modelo de vídeo AI, seguindo o Veo 3 do Google. Sua ferramenta de áudio AI anterior concentrava-se principalmente em efeitos sonoros. Com essa ferramenta, você poderia gravar seu rugido como um monstro, e a IA manteria a cadência de sua gravação, mas a reforçaria com a IA. Agora, a Adobe está desenvolvendo suas ferramentas de áudio e introduzindo novas.
Gerar trilha sonora e gerar fala faz exatamente o que eles sugerem: você pode criar música de fundo e gravar roteiros para seu vídeo. Mas cada um vem com vantagens pioneiras no setor que os tornam atraentes para qualquer criador. Eles estão disponíveis em beta agora.
A Adobe também está lançando seu mais recente Firefly Picture Mannequin de quinta geração. É melhor produzir imagens fotorrealistas e agora você pode usar a edição baseada em prompts. Há também um novo editor de vídeo Firefly, uma linha do tempo multitrack destinada a ajudá-lo a gerenciar clipes gerados por IA. A Adobe está expandindo suas parcerias com duas novas empresas de IA, ElevenLabs e Topaz Labs. E com a Adobe, você também poderá criar seus próprios modelos de IA personalizados. Para ainda mais novidades sobre IA, você pode aprender sobre os assistentes de IA que chegarão ao Photoshop e Categorical.
Gerando fala
Gerar fala no Firefly é simples e inclui muitos recursos que o tornarão útil para praticamente qualquer projeto. É uma janela simples onde você pode digitar as palavras que deseja que a voz da IA leia. Você também pode enviar um roteiro de até 7.500 caracteres – um vídeo de aproximadamente 15 a 20 minutos. Após o add, você pode escolher entre 50 vozes, cada uma marcada com idade e sexo aproximados, incluindo opções não binárias. Você pode gerar fala em 20 idiomas diferentes. Mas a parte divertida é o que você pode fazer para ajustar seu immediate.
A fala é mais do que apenas ler palavras em uma página. Quando lemos passagens longas ou conversamos com outras pessoas, naturalmente adicionamos ênfase, emoção e ritmo ao nosso discurso. Com o novo programa, você pode fazer o mesmo, adicionando pausas onde deseja que a IA faça uma pausa e destacando seções onde o tom deve mudar.
Se você é como eu e ninguém pronuncia seu nome corretamente na primeira tentativa, você pode usar a ferramenta “corrigir pronúncia” para garantir que não haja erros. Selecione o nome ou nome próprio e adicione uma divisão fonética, e a IA usará isso para suavizar a pronúncia.
Essas ferramentas, juntamente com sua capacidade prática de ajustar seções específicas, têm como objetivo oferecer mais controle, algo que outros programas de conversão de texto em fala nem sempre oferecem.
“É uma maneira de oferecermos um discurso realista aos criadores, aos proprietários de pequenas empresas, aos educadores, a todos que realmente têm uma história para contar, e talvez eles não se sintam tão confortáveis quando estamos apenas pegando um microfone e conversando”, disse Jay LeBoeuf, chefe de áudio de IA da Adobe, em uma entrevista.
O áudio Firefly é um modelo de IA totalmente novo. Mas essa não é sua única opção. A Adobe tem aumentado constantemente sua lista de modelos de IA de terceiros este ano, tanto para vídeo quanto para imagem de IA. Ele está expandindo essas opções novamente ao incluir o modelo multilíngue V2 do ElevenLab como uma opção para gerar fala.
Aqui está um exemplo de como você é solicitado a escrever a descrição da sua música de IA.
Gere músicas e trilhas sonoras
O licenciamento de música é complicado, especialmente para uso comercial. Então deixe-me começar com a parte que mais importa: qualquer música gerada com a trilha sonora gerada do Firefly recebe uma licença common, o que significa que você pode usá-la para qualquer finalidade, indefinidamente. A Adobe cria suas ferramentas de IA usando conteúdo (neste caso, áudio) que tem permissão para usar para treinamento de IA. Portanto, em teoria, você não deveria remover o áudio do Firefly AI do YouTube ou de outras plataformas ou receber um temido aviso de direitos autorais.
“Este é um momento único no mundo onde o licenciamento de música está no topo da mente de todos e os criadores estão frustrados porque estão tentando fazer o melhor para seu conteúdo, ou estão confusos”, disse LeBoeuf. “Portanto, esperamos apenas eliminar a confusão.”
Em uma demonstração, Firefly rejeitou uma solicitação com o nome de um artista, pois violava as diretrizes do usuário devido a questões de direitos autorais. Como a modelo não é treinada na música de Taylor Swift, por exemplo, ela não consegue criar músicas semelhantes às dela.
Agora, a diversão: Gerar trilha sonora é a primeira ferramenta musical de IA da Adobe e foi projetada para eliminar as suposições sobre o que você deseja. Você envia seu vídeo e a IA o analisa. Com base em sua avaliação, a Firefly escreverá um aviso que acha que pode funcionar bem para o seu vídeo. É um immediate no estilo Mad Libs e você pode trocar os descritores conforme achar necessário. O immediate tem três partes: descrevendo a vibração geral, estilo (gênero de pensamento) e propósito (comercial, experimental, and so forth.). Você também pode ajustar o ritmo e o nível de energia.
Quando estiver satisfeito com sua solicitação, clique em gerar e menos de dois minutos depois, quatro variações musicais estarão prontas para você tocar. Seu áudio será tão longo quanto o vídeo, mas você pode editá-lo conforme necessário. Você pode enviar vídeos com até cinco minutos de duração.
Para mais, confira como funciona o aplicativo de câmera Venture Indigo da Adobe, agora com suporte para iPhone 17.
