Группа исследователей из Тель-Авивского университета совместно с представителями соцсети Facebook разработала алгоритм, который позволяет "оживлять" фотографии и портреты людей, перенося на них мимику с эталонной видеозаписи.
Как напоминает N+1, в настоящее время существуют различные методы, позволяющие собирать данные о движениях и мимике человека, переводить их в цифровой вид, а затем переносить на трехмерную модель другого человека или персонажа. Обычно такие данные собираются с помощью специальных датчиков или множества маркеров для камер, закрепляемых на теле человека. Именно такой подход используется при создании компьютерной графики в фильмах. Другая группа методов позволяет обходиться без дополнительного оборудования, однако в этом случае требуется большой массив исходных данных.
Технология, предложенная израильскими исследователи, позволяет "оживить" одну фотографию человека или даже портрет с использованием лишь одной видеозаписи с другим человеком, который демонстрирует требуемую мимику. В процессе работы алгоритм переносит мимику человека с видео на фотографию или изображение, а чтобы итоговый результат получился более реалистичным, программа также дополняет анимированное изображение деталями, включая морщины, которые возникают при изменении выражения лица, или зубы, обнажаемые во время улыбки.
Впечатляющее видео, которое описывает суть работы алгоритма и его возможности, было опубликовано на YouTube. По мнению разработчиков, предложенная технология может быть использована для создания анимированных фотографий профиля в Facebook, которые будут соответствующим образом реагировать на лайк или другую реакцию под их публикациями.
Напомним, в марте прошлого года команда исследователей из Стэнфордского университета при участии коллег из Университета информатики имени Макса Планка и Университета Эрлангена-Нюрнберга представила технологию переноса мимики любого человека на видеозапись с другим человеком.
