Muitas das notícias e atualizações de produtos que a Adobe lançou esta semana foram, sem surpresa, centrado em IA generativa. Mas embora durante a maior parte deste ano tenha havido grandes saltos na geração de imagens e vídeos, a Adobe está se concentrando em elevar suas ofertas de IA em outra área: áudio de IA.
Os dois novos recursos, geração de trilha sonora e geração de fala, fazem exatamente o que seus nomes sugerem. Você pode criar música de fundo e gravar roteiros para o seu vídeo. Mas cada um vem com controles práticos que tornam o áudio de IA menos uma aposta e mais uma ferramenta útil para criadores de todos os níveis de habilidade. Eles estão disponíveis em beta agora.
A Adobe também está lançando uma versão beta de seu mais recente Firefly Picture Mannequin de quinta geração. Ele promete ser melhor na produção de imagens fotorrealistas e agora você pode usar a edição baseada em prompts. Há também um novo editor de vídeo beta Firefly que vem com uma linha do tempo multitrack destinada a ajudá-lo a compilar clipes gerados por IA. A Adobe também está expandindo suas parcerias com duas novas empresas de IA, ElevenLabs e Topaz Labs. Para ainda mais novidades sobre IA, você pode aprender sobre os assistentes de IA que chegarão ao Photoshop e Specific.
Aqui está um exemplo de como você é solicitado a escrever a descrição da sua música de IA.
Gere músicas e trilhas sonoras
O licenciamento de música é complicado, especialmente para uso comercial. Então deixe-me começar com a parte que mais importa: qualquer música gerada com a trilha sonora gerada do Firefly recebe uma licença common, o que significa que você pode usá-la para qualquer finalidade, indefinidamente. A Adobe cria suas ferramentas de IA usando conteúdo (neste caso, áudio) que tem permissão para usar para treinamento de IA. Portanto, em teoria, você não deveria remover o áudio do Firefly AI do YouTube ou de outras plataformas ou receber um temido aviso de direitos autorais.
“Este é um momento único no mundo em que o licenciamento de música está na mente de todos e os criadores estão frustrados porque estão tentando fazer o melhor para seu conteúdo ou confusos”, disse Jay LeBoeuf, chefe de áudio de IA da Adobe, em uma entrevista. “Portanto, esperamos apenas eliminar a confusão.”
Em uma demonstração, Firefly rejeitou uma solicitação com o nome de um artista, pois violava as diretrizes do usuário devido a questões de direitos autorais. Como a modelo não é treinada na música de Taylor Swift, por exemplo, ela não consegue criar músicas semelhantes às dela.
Agora, a diversão: Gerar trilha sonora é a primeira ferramenta musical de IA da Adobe e foi projetada para eliminar as suposições sobre o que você deseja. Você envia seu vídeo e a IA o analisa. Com base em sua avaliação, a Firefly escreverá um aviso que acha que pode funcionar bem para o seu vídeo. É um immediate no estilo Mad Libs e você pode trocar os descritores conforme achar necessário. O immediate tem três partes: descrevendo a vibração geral, estilo (gênero de pensamento) e propósito (comercial, experimental, and so on.). Você também pode ajustar o ritmo e o nível de energia.
Quando estiver satisfeito com o seu immediate, clique em gerar e menos de dois minutos depois, quatro variações apenas instrumentais estarão prontas para você tocar. Seu áudio será tão longo quanto o vídeo, mas você pode editá-lo conforme necessário. Você pode enviar vídeos com até cinco minutos de duração.
Como gerar música com Firefly
Você pode tentar criar música instrumental de IA para seus vídeos agora. Gerar trilha sonora e gerar fala estão disponíveis no Firefly e estão em beta. Verifique se o seu plano Adobe inclui acesso ao Firefly e, caso não inclua, você pode obter um plano a partir de $ 10 por mês.
- Abra o Firefly na net.
- Clique em Gerar no menu do lado esquerdo.
- Clique em Gerar trilha sonora nos cartões disponíveis abaixo da janela de bate-papo.
- Envie seu vídeo usando o menu do lado esquerdo.
- O Firefly irá então analisar seu vídeo e escrever um immediate apropriado no menu do lado esquerdo.
- Se você não gosta do que o Firefly criou, você pode clicar no “X” e digitar o immediate de sua preferência. Você também pode escolher entre sugestões de vibrações, estilos e propósitos no menu do lado esquerdo.
- Function para baixo e ajuste a energia, o andamento e a duração conforme necessário.
- Clique em gerar.
Assim que tiver a trilha sonora de sua preferência, você pode baixar o vídeo completo (ou apenas a trilha sonora) para o seu computador.
Este é um exemplo de quatro trilhas sonoras que Firefly fez para um vídeo de IA que fiz de algumas pessoas festejando na praia.
Gerando fala
Gerar fala no Firefly é simples e inclui muitos recursos que o tornarão útil para praticamente qualquer projeto. É uma janela simples onde você pode digitar as palavras que deseja que a voz da IA leia. Você também pode enviar um roteiro de até 7.500 caracteres – um vídeo de aproximadamente 15 a 20 minutos. Após o add, você pode escolher entre 50 vozes, cada uma marcada com idade e sexo aproximados, incluindo opções não binárias. Você pode gerar fala em 20 idiomas diferentes. Mas a parte divertida é o que você pode fazer para ajustar seu immediate.
A fala é mais do que apenas ler palavras em uma página. Quando lemos passagens longas ou conversamos com outras pessoas, naturalmente adicionamos ênfase, emoção e ritmo ao nosso discurso. Com o novo programa, você pode fazer o mesmo, adicionando pausas onde deseja que a IA faça uma pausa e destacando seções onde o tom deve mudar.
Se você é como eu e ninguém pronuncia seu nome corretamente na primeira tentativa, você pode usar a ferramenta “corrigir pronúncia” para garantir que não haja erros. Selecione o nome ou nome próprio e adicione uma divisão fonética, e a IA usará isso para suavizar a pronúncia.
Essas ferramentas, juntamente com sua capacidade prática de ajustar seções específicas, têm como objetivo oferecer mais controle, algo que outros programas de conversão de texto em fala nem sempre oferecem.
“É uma maneira de oferecermos um discurso realista aos criadores, aos proprietários de pequenas empresas, aos educadores, a todos que realmente têm uma história para contar, e talvez eles não se sintam tão confortáveis, pois estamos apenas pegando um microfone e conversando”, disse LeBoeuf.
O áudio Firefly é um modelo de IA totalmente novo. Mas essa não é sua única opção. A Adobe tem aumentado constantemente sua lista de modelos de IA de terceiros este ano, tanto para vídeo quanto para imagem de IA. Ele está expandindo essas opções novamente ao incluir o modelo multilíngue V2 do ElevenLab como uma opção para gerar fala.
Para mais, confira como funciona o aplicativo de câmera Undertaking Indigo da Adobe, agora com suporte para iPhone 17.
