Компания Nvidia разработала нейросетевой алгоритм, способный реалистично переделывать видеоролики из одного стиля в другой. Статья, посвященная этому проекту, была опубликована на сайте ArXiv.org.
Как поясняет N+1, разработка нейросетевых алгоритмов для работы с видео представляет более сложную задачу, чем создание алгоритмов для изображений, поскольку для каждого кадра видеоролика важно не только корректно воссоздать объекты на нем самом, но и учитывать расположение, цвет и другие характеристики этих объектов на соседних кадрах. В противном случае, изображение на сгенерированном видео будет дерганным.
Разработчикам из Nvidia удалось создать алгоритм, умеющий аккуратно изменять кадры исходного ролика, чтобы новое видео было стабильным и реалистичным. Этот алгоритм представляет собой генеративно-состязательную нейросеть, которая включает генератор, создающий изображения, и дискриминатора, предназначенного для того, чтобы отличать созданные генератором кадры от объектов из обучающей базы видеороликов. Результатом обработки исходного видео является новый ролик, каждый кадр которого частично создан путем деформации предыдущих кадров, а частично "придуман" неройсетью.
Для демонстрации результатов работы в Nvidia создали несколько моделей для генерации фотореалистичных роликов из видеозаписей поездок в автомобилях, роликов с моделями лиц и моделями двигающихся тел людей. Позднее свыше 80% опрошенных добровольцев назвали синтезированные видеоролики более качественными, чем настоящие.
Это не первая разработка Nvidia в сфере работы с видеороликами. Ранее в компании создали нейросеть, способную реалистично замедлять обычные видеоролики, дорисовывая недостающие кадры, а также алгоритм для изменения фотографий и видео, способный превратить зиму на видео в лето, а день в ночь.
