A Captions, uma startup de edição de vídeo com tecnologia de Inteligência Artificial (IA), lançou uma nova aplicação capaz de fazer a dobragem automática de vídeos. Disponível gratuitamente na App Store, o Lipdub consegue traduzir áudios de vídeos em até 28 idiomas.
Português, inglês, francês, hindi, espanhol, italiano e japonês são alguns dos idiomas disponíveis. Além disso, a aplicação permite que os utilizadores traduzam vídeos para termos mais específicos, como gírias atuais e até conversas de bebés.
Lipdub clona a voz para dobragem e altera o movimento dos lábios da pessoa
Como pode ser visto no vídeo, a dobragem do áudio do clipe é feita quase de imediato, com o mesmo tom da voz original. E a aplicação ainda faz ligeiras alterações nos lábios da pessoa no vídeo para que o movimento da boca se ajuste melhor ao som do novo idioma.
Os utilizadores podem usar a aplicação gratuitamente para traduzir e dobrar um vídeo e depois partilhá-lo em outras plataformas.
Responsável pela criação da aplicação, a startup Caption foi fundada em 2021 pelo chefe de engenharia de design Gaurav Misra. Desde então, já conta com mais de 100.000 utilizadores diários. A aplicação original da empresa, que também se chama Captions, já foi usada por mais de 3 milhões de pessoas para editar vídeos.
A ferramenta de edição conta com recursos alimentados por Inteligência Artificial (IA), como a possibilidade de remover "ums" e "ahs" ou sons de ruído das falas no vídeo. Outro recurso interessante é o AI Lipdub, capaz de modificar os lábios das pessoas no vídeo caso a transcrição seja alterada.
Outras plataformas já estão a investir no uso de IA para a dobragem de áudios e vídeos
O uso de IA para tradução e dobragem de áudios e vídeos parece ser uma tendência em crescimento. No final de setembro, o Spotify e a OpenAI anunciaram uma parceria para desenvolver uma nova ferramenta de IA capaz de criar versões de podcasts e outros programas em diferentes idiomas.
Antes disso, em junho, o YouTube já tinha revelado que estava a testar um recurso de IA para que os seus utilizadores pudessem dobrar automaticamente os seus vídeos em outros idiomas. No mês passado, a empresa declarou que estava a integrar a dobragem diretamente no YouTube Studio.
Em outubro, a IA ElevenLabs lançou a sua ferramenta de dobragem e geração de voz baseada em IA com suporte para 29 idiomas. E agora a Lipdub junta-se a eles e já está disponível na App Store.
Editores 4gnews recomendam:
