Нейросети не оставляют в покое Screenlifer — по крайней мере, автора этого текста. Пару раз в месяц происходит нечто, что заставляет вновь удивляться — неужели это возможно? Сегодня Screenlifer рассказывает о том, как был отреставрирован один из первых фильмов в истории человечества и как могут быть использованы нейросети в коммерческих целях.

Эта сцена признана одной из самых страшных в истории кино. Возможно, речь о сцене, где обезумевший герой кубриковского «Сияния» Джек Торренс бегает с топором по гостинице «Оверлук» за своей семьей? Или, может быть, речь про сцену, в которой доктор Лоуренс из «Пилы» отрезает себе ногу, закованную в цепи?

Нет. Разговор о «Прибытии поезда на вокзал Ла-Сьота» братьев Люмьер, одном из первых немых фильмов.

49-секундный фильм поразил первых зрителей, смотревших фильм в 1896 году. Да что там, спустя 30 лет Максим Горький писал о показе фильма на Нижегородской ярмарке, что поезд «…мчится стрелой прямо на вас — берегитесь! Кажется, что вот-вот он ринется во тьму, в которой вы сидите, и превратит вас в рваный мешок кожи, полный измятого мяса и раздробленных костей». В общем, людям было страшно — вне зависимости от того, байка или нет то, что люди с криками выбегали с первых показов.

Спустя 120 с лишним лет после выхода «Прибытия поезда», технологии позволили многократно улучшить видеозапись, добившись разрешения в 4К и 60 кадров в секунду.

Конечно, сейчас это если кого и испугает, то только самых-самых впечатлительных. Но вот что точно способен сделать этот ролик — удивить и даже восхитить. 

Получилось это благодаря нейросетям (Screenlifer вообще любит эту тему, почитайте о нейросетях тут и тут). Для улучшения видео Денис Ширяев использовал нейросети Dain и Gigapixel AI, которые позволили разбить оригинальный фильм на отдельные кадры и буквально дорисовать каждый из них. Полученные изображения были склеены в единый ролик. 

Дальше — больше. Этот фильм Ширяев превратил из черно-белого в цветной.

Пожалуй, начало такой редактуре было положено фоторедакторами, которые превращали старые, потрепанные и выцветшие фото во вполне приличные кадры.

Долгое время это делалось по старинке — с помощью фотошопа. Однако сейчас на помощь приходят все те же нейросети. Например, каждый может отредактировать свою фотографию с помощью нейросети в проекте от Mail.ru, созданному к 9 мая. Так, например, отредактировала нейросеть фото автора текста.

• 

• 

Похожим на реставрацию «Прибытия поезда» образом умельцы сделали ремастер «Тома и Джерри». Теперь культовый мультфильм можно посмотреть в формате 60 кадров в секунду. И если многих раздражает эффект сглаживания движения на телевизоре, то здесь это смотрится уместным.

Как такое становится возможным? Говоря о 60 кадрах в секунду, стоит упомянуть, что существует несколько технологий перевода видео в такой формат. По сути, задача в следующем — удвоить количество кадров (если брать за основу видео с 25-30 кадров в секунду). Получается, между соседними кадрами нужно «втиснуть» еще один. Вопрос в том, откуда этот кадр взять? И вот тут начинается самое интересное. Кто-то предложил в качестве этого кадра взять предыдущий и просто показать его дважды. А кто-то предложил этот кадр выстроить заново, взяв за основу предыдущий и последующий кадры.

Сейчас технология доступна всем. Как ей правильно пользоваться описано на русском языке например здесь.

Подобные эксперименты с нейросетями интересны не только в качестве развлечения. Хотя, конечно, возвращаясь к «Сиянию», забавно смотреть на Джима Керри на месте обезумевшего Торренса. 

С коммерческой точки зрения возможности нейросетей тоже очень привлекательны. Вспомним те же «Звездные войны», оригиналы которых были сняты в 70-е, а потом обновлены в 90-е и в начале 2000-х. Все делалось практически вручную (конечно, с использованием компьютерной графики, но все же без нейросетей). Здесь открывается большой простор для переизданий множества культовых старых фильмов.

Возможность таким образом улучшать изображение кажется очень перспективным — не только в кино, но и в видеоиграх. Существует множество культовых игр, которые ждут своего часа, улучшенной графики и того, чтобы зумеры наконец обратили на них внимание.

Например, кто кроме самых преданных фанатов согласится проходить Resident Evil с такой графикой?

Ну а так уже вполне себе можно играть:

Подробнее об улучшении Resident Evil 2 (если что, речь идет о версии 1998 года, а не о ее прошлогоднем переиздании) можно прочесть например здесь. На этом же сайте отличная подборка изображений из TES: Morrowind, к которой геймеры заменили текстуры.

Для такой работы используют нейросеть GAN — технологию, которая самостоятельно заменяет оригинальную текстуру на более качественную и детализированную. Получается это путем генерирования конечного изображения на основе множества схожих с оригиналом образцов. Один из самых популярных вариантов этой технологии — нейросеть ESRGAN. Суть ее работы проста: она увеличивает исходное изображение в 2, 4, 8 или 16 раз, а затем на основе самообучения «дорисовывает» картинку и добавляет реалистичные детали. Таким же образом улучшают видео, доводя разрешение до 4К.

При этом нейросетям есть куда развиваться. При создании ремастера Resident Evil 2 разработчики из компании Capcom не использовали одну лишь нейросеть для улучшения графики — они заново собрали игру по лекалам оригинала. После обработки нейросетью никуда не пропадает устаревшая физика или, например, «полигончики». С такими проблемами нейросети пока бороться не умеют, но и это наверняка не за горами.

В компании Nvidia рассказали об уже имеющемся опыте применения нейросетей при разработке игр. Совместно с Remedy Entertainment (игры Max Payne, Alan Wake, Quantum Break) Nvidia провела серию экспериментов по внедрению системы машинного обучения в процесс написания лицевых анимаций. Нейросеть взяла базу уже имеющихся анимаций, созданных в Remedy, и, анализируя видео с живым актером, буквально научилась его эмоциям и сгенерировала новые. 

Подобные технологии дают возможность визуально слабым фильмам и видеоиграм жить практически вечно. С улучшением графических возможностей компьютеров, мы сможем повышать качество старых фильмов и игр, тем самым давая им новую жизнь. Кто знает, каким будет «Тетрис» через полстолетия.

Обложка: Shutterstock.com

Александр Косован