Тренды

Facebook создала нейросеть, которая превратила реальных людей в игровых персонажей

Разработчики Facebook создали нейросеть, которая превращает человека в игрового персонажа. Новый алгоритм называется Vid2Play, и он позволяет загрузить в ИИ собственную фотографию (или чью угодно еще) и управлять героем, как в популярных в восьмидесятые играх FMV.

В свободное от слежки за людьми время Facebook занимается другими не менее интересными вещами. В частности, отдел AI Research работает с искусственным интеллектом. Одной из последних разработок команды под руководством Янива Тайгмана стал алгоритм Vid2Play, пишет Engadget. В чем суть? ИИ берет человека из видео и проецирует его действия на фотографию любого выбранного героя — будь то вы сами или ваш любимый актер. Кажется, это первая ступенька к максимально персонализированному геймингу.

Основа Vid2Play — две нейросети, которые работают по очереди. Первая — Pose2Pose — анализирует действия героя из видеозаписи, определяет его позы, тени и движения. Затем фигура человека отделяется от фона, и в дело вступает вторая нейросеть — Pose2Frame. Она берет вырезанную фигуру (вместе со всем, что та держит в руках) и вставляет ее в новую сцену, при этом накладывая на фигуру ваше (или любое другое) лицо.

Пользователь также может выбрать декорации, а еще управлять человечком, как персонажем в игре. Для этого можно использовать джойстик или клавиатуру. Правда, не стоит забывать, что герой в ролике сможет выполнять только те действия, которые были в изначальной видеозаписи. Все технические детали процесса опубликованы в статье о проекте на сайте Корнеллского университета.

Также создатели сделали демонстрационный ролик о Vid2Play на примере игры в теннис:

Oran Gafni / YouTube

Создатели Vid2Play верят, что их разработка — начало новой эры гейминга. В заключении статьи исследователи написали, что возможность использовать себя или любимых знаменитостей в качестве протагонистов игр станет для геймеров совершенно новым опытом.

«Наша работа прокладывает путь к новому поколению реалистичных и персонализированных игр, которые можно создать из повседневных видео. К тому же, контролируемые персонажи, вырезанные из видео с YouTube, отлично впишутся в виртуальную и дополненную реальности».

Исследователи уверяют, что у программы много и других плюсов. В отличие от всего, что делалось в подобном ключе раньше, Vid2Play почти безукоризненно отделяет выбранного человека от окружающего фона и не путает его с другими людьми.

Но есть и некоторые минусы. Пока возможности Vid2Play ограничены определенным набором активностей, да и реалистичность графики в видео находится не на самом высоком уровне.
Помимо этого, движения человечков заметно «сфабрикованы»: персонажи будто двигаются по льду, но это довольно известная проблема в 3D-анимации. Однако Facebook AI Research продолжает работу над своим продуктом, исправляет баги и добавляет реалистичности происходящему. Пока неизвестно, когда алгоритм смогут опробовать обычные пользователи — разработчикам еще многое предстоит исправить.