Разработана технология, что используя систему нейросетей, позволяет преобразовать аудиозапись в полноценное видео. Исследователи из Лаборатории обработки графики и изображений (Graphics and Image Laboratory) Вашингтонского университета разработали ряд программных алгоритмов, позволяющих преобразовать аудиозаписи в реалистичное видео, на котором человек синхронно двигает губами согласно произнесенных слов и фраз. В основе созданной системы лежит нейронная сеть, предварительно обученная на примерах видео с записями человека, которая говорит на любую тему.
Более подробная информация о системе преобразования аудио в видео будет представлена на конференции по комп’компьютерной графики 2017 SIGGRAPH. А как пример исследователи подготовили весьма реалистичные ролики, на которых бывший президент США Барак Обама размышляет на тему терроризма, отцовства, создание новых рабочих мест и т.п. Эти видеоролики были построены на базе существующих аудиозаписей, а для обучения нейронной сети использовались много часов записей публичных выступлений Барака Обамы.
В настоящее время нейронная сеть способна научиться имитации речи только одного конкретного человека. Использование технологий искусственного интеллекта позволяет избежать трудностей, возникающие при использовании традиционных конверсионных технологий. Ведь для работы традиционных технологий используются студийные записи множества разных людей, которые повторяют одни и те же фразы, что делается для определения корреляции отдельных произносимых звуков с формой, положением губ и других частей лица человека.
Такая технология преобразования речи в реалистичное видео может найти применение в различных системах конференц-связи’язку для улучшения их работы, считают исследователи. Ведь для передачи только аудио-сигнала нужна гораздо более узкая полоса пропуска коммуникационного канала, чем для одновременной передачи аудио и видео. Кроме этого, новая технология может обеспечить общение в режиме реального времени с виртуальными персонажами комп’компьютерных игр или исторических реконструкций.
Появление системы, что обеспечивает столь реалистичный результат, сразу же заставляет задуматься о возможностях в области фальсификации, которые она предоставляет. Однако, уверяют исследователи, используя примерно такой же подход, то есть “скормив” обученной нейронной сети видео для анализа, можно без проблем с’выяснить, что это такое, реальная видеосъемка или ролик, сделан комп’ютером?
