• En
    Проекты

    Отреставрируй это: как сделать изображение в старых фильмах и играх современным

    Нейросети не оставляют в покое Screenlifer — по крайней мере, автора этого текста. Пару раз в месяц происходит нечто, что заставляет вновь удивляться — неужели это возможно? Сегодня Screenlifer рассказывает о том, как был отреставрирован один из первых фильмов в истории человечества и как могут быть использованы нейросети в коммерческих целях.

    Эта сцена признана одной из самых страшных в истории кино. Возможно, речь о сцене, где обезумевший герой кубриковского «Сияния» Джек Торренс бегает с топором по гостинице «Оверлук» за своей семьей? Или, может быть, речь про сцену, в которой доктор Лоуренс из «Пилы» отрезает себе ногу, закованную в цепи?

    Нет. Разговор о «Прибытии поезда на вокзал Ла-Сьота» братьев Люмьер, одном из первых немых фильмов.

    franskoy / YouTube

    49-секундный фильм поразил первых зрителей, смотревших фильм в 1896 году. Да что там, спустя 30 лет Максим Горький писал о показе фильма на Нижегородской ярмарке, что поезд «…мчится стрелой прямо на вас — берегитесь! Кажется, что вот-вот он ринется во тьму, в которой вы сидите, и превратит вас в рваный мешок кожи, полный измятого мяса и раздробленных костей». В общем, людям было страшно — вне зависимости от того, байка или нет то, что люди с криками выбегали с первых показов.

    Спустя 120 с лишним лет после выхода «Прибытия поезда», технологии позволили многократно улучшить видеозапись, добившись разрешения в 4К и 60 кадров в секунду.

    Denis Shiryaev / YouTube

    Конечно, сейчас это если кого и испугает, то только самых-самых впечатлительных. Но вот что точно способен сделать этот ролик — удивить и даже восхитить. 

    Получилось это благодаря нейросетям (Screenlifer вообще любит эту тему, почитайте о нейросетях тут и тут). Для улучшения видео Денис Ширяев использовал нейросети Dain и Gigapixel AI, которые позволили разбить оригинальный фильм на отдельные кадры и буквально дорисовать каждый из них. Полученные изображения были склеены в единый ролик. 

    Дальше — больше. Этот фильм Ширяев превратил из черно-белого в цветной.

    Пожалуй, начало такой редактуре было положено фоторедакторами, которые превращали старые, потрепанные и выцветшие фото во вполне приличные кадры.

    Долгое время это делалось по старинке — с помощью фотошопа. Однако сейчас на помощь приходят все те же нейросети. Например, каждый может отредактировать свою фотографию с помощью нейросети в проекте от Mail.ru, созданному к 9 мая. Так, например, отредактировала нейросеть фото автора текста.

    Похожим на реставрацию «Прибытия поезда» образом умельцы сделали ремастер «Тома и Джерри». Теперь культовый мультфильм можно посмотреть в формате 60 кадров в секунду. И если многих раздражает эффект сглаживания движения на телевизоре, то здесь это смотрится уместным.

    Alexander Redking1 / YouTube

    Как такое становится возможным? Говоря о 60 кадрах в секунду, стоит упомянуть, что существует несколько технологий перевода видео в такой формат. По сути, задача в следующем — удвоить количество кадров (если брать за основу видео с 25-30 кадров в секунду). Получается, между соседними кадрами нужно «втиснуть» еще один. Вопрос в том, откуда этот кадр взять? И вот тут начинается самое интересное. Кто-то предложил в качестве этого кадра взять предыдущий и просто показать его дважды. А кто-то предложил этот кадр выстроить заново, взяв за основу предыдущий и последующий кадры.

    Сейчас технология доступна всем. Как ей правильно пользоваться описано на русском языке например здесь.

    Подобные эксперименты с нейросетями интересны не только в качестве развлечения. Хотя, конечно, возвращаясь к «Сиянию», забавно смотреть на Джима Керри на месте обезумевшего Торренса. 

    MиkиReads / YouTube

    С коммерческой точки зрения возможности нейросетей тоже очень привлекательны. Вспомним те же «Звездные войны», оригиналы которых были сняты в 70-е, а потом обновлены в 90-е и в начале 2000-х. Все делалось практически вручную (конечно, с использованием компьютерной графики, но все же без нейросетей). Здесь открывается большой простор для переизданий множества культовых старых фильмов.

    Возможность таким образом улучшать изображение кажется очень перспективным — не только в кино, но и в видеоиграх. Существует множество культовых игр, которые ждут своего часа, улучшенной графики и того, чтобы зумеры наконец обратили на них внимание.

    Например, кто кроме самых преданных фанатов согласится проходить Resident Evil с такой графикой?

    Кадр из игры Resident Evil 2 / Capcom

    Ну а так уже вполне себе можно играть:

    Кадр из игры Resident Evil 2 / Capcom

    Подробнее об улучшении Resident Evil 2 (если что, речь идет о версии 1998 года, а не о ее прошлогоднем переиздании) можно прочесть например здесь. На этом же сайте отличная подборка изображений из TES: Morrowind, к которой геймеры заменили текстуры.

    Для такой работы используют нейросеть GAN — технологию, которая самостоятельно заменяет оригинальную текстуру на более качественную и детализированную. Получается это путем генерирования конечного изображения на основе множества схожих с оригиналом образцов. Один из самых популярных вариантов этой технологии — нейросеть ESRGAN. Суть ее работы проста: она увеличивает исходное изображение в 2, 4, 8 или 16 раз, а затем на основе самообучения «дорисовывает» картинку и добавляет реалистичные детали. Таким же образом улучшают видео, доводя разрешение до 4К.

    При этом нейросетям есть куда развиваться. При создании ремастера Resident Evil 2 разработчики из компании Capcom не использовали одну лишь нейросеть для улучшения графики — они заново собрали игру по лекалам оригинала. После обработки нейросетью никуда не пропадает устаревшая физика или, например, «полигончики». С такими проблемами нейросети пока бороться не умеют, но и это наверняка не за горами.

    В компании Nvidia рассказали об уже имеющемся опыте применения нейросетей при разработке игр. Совместно с Remedy Entertainment (игры Max Payne, Alan Wake, Quantum Break) Nvidia провела серию экспериментов по внедрению системы машинного обучения в процесс написания лицевых анимаций. Нейросеть взяла базу уже имеющихся анимаций, созданных в Remedy, и, анализируя видео с живым актером, буквально научилась его эмоциям и сгенерировала новые. 

    Tero Karras FI / YouTube

    Подобные технологии дают возможность визуально слабым фильмам и видеоиграм жить практически вечно. С улучшением графических возможностей компьютеров, мы сможем повышать качество старых фильмов и игр, тем самым давая им новую жизнь. Кто знает, каким будет «Тетрис» через полстолетия.

    Обложка: Shutterstock.com

    Александр Косован

    1
    0 комментариев
    Еще статьи на эту тему

    Мы и наши партнеры используем файлы cookie на нашем сайте для персонализации контента и рекламы, предоставления функций социальных сетей и анализа нашего трафика. Продолжая просмотр страниц сайта, вы принимаете условия его использования. Более подробные сведения можно посмотреть в Политике конфиденциальности.