Группа исследователей из южнокорейского Научно-исследовательского института электроники и телекоммуникаций (ETRI) разработали нейросеть, способную вносить реалистичные изменения в портретные снимки на основе примитивных набросков. Статья, описывающая разработку, была опубликована на arXiv.org, а исходный код алгоритма – на GitHub.
Как пишет N+1, разработанная исследователями генеративно-состязательная нейросеть состоит из двух подсетей: генератора, выполняющего основную задачу (обработку изображений), и дискриминатора, который пытается отличить "фейковые" изображения из генератора от настоящих изображений из обучающей выборки. В результате такой конкуренции генератор постепенно учится создавать максимально реалистичные изображения, которые проходят проверку дискриминатора. В основе новой сети лежат сверточная нейросеть U-net (генератор) и SN-PatchGAN (дискриминатор).
Алгоритм прошел обучение на базе из десятков тысяч фотографий знаменитостей. 29 тысяч изображений из базы использовались для обучения нейросети, а еще тысяча – для тестирования. Также база стала основой для формирования датасета из набросков. По итогам работы исследователи смоги научить алгоритм реалистично менять фотографии на основе простых набросков мышью. Например, алгоритм смог изобразить сравнительно реалистичные волосы на голове российского актера Гоши Куценко.
Корейские разработчики превратили нейросеть в простой, но мощный графический редактор. Пользователю достаточно нарисовать набросок с правками, а алгоритм самостоятельно вносит реалистичные изменения в снимок с человекомhttp://t.co/3PR2UiiwJV pic.twitter.com/qk1nAW8Cnk
— N + 1 (@nplusodin) 4 марта 2019 г.
Отметим, что разработчики графических редакторов также внедряют свои программы алгоритмы, созданные при помощи машинного обучения. Например, в конце 2017 года компания Adobe анонсировала новую функцию графического редактора Photoshop, которая позволяет пользователям в один клик выделять объекты в кадре – алгоритм самостоятельно распознает границы объекта.
