• En
    Тренды

    Facebook создала нейросеть, которая превратила реальных людей в игровых персонажей

    Разработчики Facebook создали нейросеть, которая превращает человека в игрового персонажа. Новый алгоритм называется Vid2Play, и он позволяет загрузить в ИИ собственную фотографию (или чью угодно еще) и управлять героем, как в популярных в восьмидесятые играх FMV.

    В свободное от слежки за людьми время Facebook занимается другими не менее интересными вещами. В частности, отдел AI Research работает с искусственным интеллектом. Одной из последних разработок команды под руководством Янива Тайгмана стал алгоритм Vid2Play, пишет Engadget. В чем суть? ИИ берет человека из видео и проецирует его действия на фотографию любого выбранного героя —  будь то вы сами или ваш любимый актер. Кажется, это первая ступенька к максимально персонализированному геймингу.

    Основа Vid2Play — две нейросети, которые работают по очереди. Первая — Pose2Pose — анализирует действия героя из видеозаписи, определяет его позы, тени и движения. Затем фигура человека отделяется от фона, и в дело вступает вторая нейросеть — Pose2Frame. Она берет вырезанную фигуру (вместе со всем, что та держит в руках) и вставляет ее в новую сцену, при этом накладывая на фигуру ваше (или любое другое) лицо.

    Пользователь также может выбрать декорации, а еще управлять человечком, как персонажем в игре. Для этого можно использовать джойстик или клавиатуру. Правда, не стоит забывать, что герой в ролике сможет выполнять только те действия, которые были в изначальной видеозаписи. Все технические детали процесса опубликованы в статье о проекте на сайте Корнеллского университета.

    Также создатели сделали демонстрационный ролик о Vid2Play на примере игры в теннис:

    Oran Gafni / YouTube

    Создатели Vid2Play верят, что их разработка — начало новой эры гейминга. В заключении статьи исследователи написали, что возможность использовать себя или любимых знаменитостей в качестве протагонистов игр станет для геймеров совершенно новым опытом.

    «Наша работа прокладывает путь к новому поколению реалистичных и персонализированных игр, которые можно создать из повседневных видео. К тому же, контролируемые персонажи, вырезанные из видео с YouTube, отлично впишутся в виртуальную и дополненную реальности».

    Исследователи уверяют, что у программы много и других плюсов. В отличие от всего, что делалось в подобном ключе раньше, Vid2Play почти безукоризненно отделяет выбранного человека от окружающего фона и не путает его с другими людьми.

    Но есть и некоторые минусы. Пока возможности Vid2Play ограничены определенным набором активностей, да и реалистичность графики в видео находится не на самом высоком уровне.
    Помимо этого, движения человечков заметно «сфабрикованы»: персонажи будто двигаются по льду, но это довольно известная проблема в 3D-анимации. Однако Facebook AI Research продолжает работу над своим продуктом, исправляет баги и добавляет реалистичности происходящему. Пока неизвестно, когда алгоритм смогут опробовать обычные пользователи — разработчикам еще многое предстоит исправить.

    Обложка: скриншот из видео Oran Gafni/ YouTube

    Жанна Карамазова

    0
    0 комментариев
    Еще статьи на эту тему

    Мы и наши партнеры используем файлы cookie на нашем сайте для персонализации контента и рекламы, предоставления функций социальных сетей и анализа нашего трафика. Продолжая просмотр страниц сайта, вы принимаете условия его использования. Более подробные сведения можно посмотреть в Политике конфиденциальности.