Российские ученые создали нейросеть, способную создавать реалистичные анимации, основываясь лишь на нескольких статичных кадрах. Благодаря искусственному интеллекту алгоритм может самостоятельно дополнять детали, которые отсутствуют или скрыты на снимках. Во время тестов программе иногда хватало даже одной фотографии, чтобы создать анимацию. Интересно то, что нейросеть испытали на картинах, и алгоритм создал несколько забавных анимаций с Моной Лизой, Девушкой с жемчужной сережкой, портретом Дали и другими известными личностями. Авторы проекта рассказали, что создать реалистичную анимацию по портрету человека довольно-таки сложно, так как программы не всегда правильно считывают черты лица, а на некоторых фотографиях часть лица может быть скрыта. Также многие программы используют самостоятельную дорисовку, которая делает конечные изображения неправдоподобными. Новая нейросеть, получившая название Fewshot learning, способна создать очень реалистичные модели говорящих голов людей и даже портретных картин. Чтобы черты лица получались более реалистичными, алгоритм проводит синтез изображения головы одного и того же человека с линиями лиц, которые есть у него в базе. Так как до тестов алгоритм прошел обучение на тысячах разных изображений, у него есть большая база лиц. Чтобы получить максимально точную «говорящую голову», системе необходимо использовать более 32 изображений. В алгоритме участвует сразу три нейросети. Первая Embedder разделяет изображение головы на отдельные части и черты лица, которые содержат основную информацию, например, о форме бровей, цвете глаз и размере носа. Вторая сеть Generator генерирует эти детали и делает так, чтобы при изменении масштаба, положении или света их пропорции и внешний вид не менялись. И последняя сеть — Discriminator используется для оценки качества и подлинности работы двух других сетей. В результате система превращает ориентиры лица человека в реалистично выглядящие персонализированные фотографии. На видео внизу вы можете посмотреть, как нейросеть оживила некоторых знаменитостей.
