En
Тренды

Facebook создал нейросеть, которая превратила реальных людей в игровых персонажей

Разработчики Facebook создали нейросеть, которая превращает человека в игрового персонажа. Новый алгоритм называется Vid2Play, и он позволяет загрузить в ИИ собственную фотографию (или чью угодно еще) и управлять героем, как в популярных в восьмидесятые играх FMV.

В свободное от слежки за людьми время Facebook занимается другими не менее интересными вещами. В частности, отдел AI Research работает с искусственным интеллектом. Одной из последних разработок команды под руководством Янива Тайгмана стал алгоритм Vid2Play, пишет Engadget. В чем суть? ИИ берет человека из видео и проецирует его действия на фотографию любого выбранного героя —  будь то вы сами или ваш любимый актер. Кажется, это первая ступенька к максимально персонализированному геймингу.

Основа Vid2Play — две нейросети, которые работают по очереди. Первая — Pose2Pose — анализирует действия героя из видеозаписи, определяет его позы, тени и движения. Затем фигура человека отделяется от фона, и в дело вступает вторая нейросеть — Pose2Frame. Она берет вырезанную фигуру (вместе со всем, что та держит в руках) и вставляет ее в новую сцену, при этом накладывая на фигуру ваше (или любое другое) лицо.

Пользователь также может выбрать декорации, а еще управлять человечком, как персонажем в игре. Для этого можно использовать джойстик или клавиатуру. Правда, не стоит забывать, что герой в ролике сможет выполнять только те действия, которые были в изначальной видеозаписи. Все технические детали процесса опубликованы в статье о проекте на сайте Корнеллского университета.

Также создатели сделали демонстрационный ролик о Vid2Play на примере игры в теннис:

Oran Gafni / YouTube

Создатели Vid2Play верят, что их разработка — начало новой эры гейминга. В заключении статьи исследователи написали, что возможность использовать себя или любимых знаменитостей в качестве протагонистов игр станет для геймеров совершенно новым опытом.

«Наша работа прокладывает путь к новому поколению реалистичных и персонализированных игр, которые можно создать из повседневных видео. К тому же, контролируемые персонажи, вырезанные из видео с YouTube, отлично впишутся в виртуальную и дополненную реальности».

Исследователи уверяют, что у программы много и других плюсов. В отличие от всего, что делалось в подобном ключе раньше, Vid2Play почти безукоризненно отделяет выбранного человека от окружающего фона и не путает его с другими людьми.

Но есть и некоторые минусы. Пока возможности Vid2Play ограничены определенным набором активностей, да и реалистичность графики в видео находится не на самом высоком уровне.
Помимо этого, движения человечков заметно «сфабрикованы»: персонажи будто двигаются по льду, но это довольно известная проблема в 3D-анимации. Однако Facebook AI Research продолжает работу над своим продуктом, исправляет баги и добавляет реалистичности происходящему. Пока неизвестно, когда алгоритм смогут опробовать обычные пользователи — разработчикам еще многое предстоит исправить.

Жанна Карамазова

0 комментариев
0
Еще статьи на эту тему
Общение с ангелами, посвящение от Сфинкса и тонкие планы: как установить контакт с высшими силами онлайн
Тренды

Общение с ангелами, посвящение от Сфинкса и тонкие планы: как установить контакт с высшими силами онлайн

Сегодня мы решили отправиться в спиритуальное цифровое путешествие и выяснить, можно ли установить контакт с высшими силами через 3G

Войти в сумрак: экскурсия по даркнету
Тренды

Войти в сумрак: экскурсия по даркнету

Screenlifer провел день в теневом интернете, а теперь рассказывает, как это было

Как популярные блогеры применяют захват экрана в Instagram, YouTube и TikTok
Тренды

Как популярные блогеры применяют захват экрана в Instagram, YouTube и TikTok

Выясняем на примере популярных аккаунтов, как screenlife живет в разных социальных сетях и зачем он нужен, если есть скриншоттинг

0 комментариев