Исследователи Google DeepMind добились значительных успехов в области создания видео, представив технологию V2A (Video-to-Audio). Их новая разработка способна автоматически генерировать звуковое сопровождение для видеороликов, изначально созданных без звука.
V2A работает на основе машинного обучения и объединяет анализ видеопикселей с текстовыми подсказками. Это позволяет программе создавать реалистичные звуковые эффекты, музыку и даже диалоги, соответствующие происходящему на экране. Технология совместима с другими разработками DeepMind, такими как модель генерации видео Veo. Совместная работа V2A и Veo позволит создавать полноценные видеоролики с синхронизированным звуком и визуальными эффектами.
Источник: SecurityLab