На днях на одном из каналов на YouTube появился «отреставрированный» вариант одного из самых известных фильмов братьев Люмьер — «Прибытие поезда на вокзал Ла-Сьота». «Улучшенный» вариант был получен с помощью нейросетевых методов, разрешение короткометражного фильма теперь составляет 4K, а скорость кадров — 60 FPS.
Очевидно, что в 1896 году возможностей для съёмки фильмов с такими характеристиками не было. Денис Ширяев (автор «реставрации») для повышения разрешения и частоты кадров использовал готовые решения: алгоритм Gigapixel AI — для увеличения разрешения, а DAIN — частоты кадров.
«Улучшенный» вариант фильма:
Например, суть последней нейросети заключается в том, что она получает на вход два кадра, идущих друг за другом, и пытается «предсказать» как должен выглядеть кадр между двумя входными. Таким образом и происходит увеличение FPS.
Раз статья начала нести немного образовательный характер, то мы не станем отступать от появившейся тенденции. Вот еще один интересный факт: существует мнение, что первые зрители, посмотревшие «Прибытие поезда на вокзал Ла-Сьота», испугались, им казалось, что на них едет настоящий поезд.
Оригинал фильма:
Где-то здесь заканчивается образовательная часть. Возвращаясь к «реставрации», Денис Ширяев планирует пойти еще дальше и в ближайшем будущем выложить цветную версию фильма братьев Люмьер. Очень интересно узнать, что из этого получится.
В заключение хочется обратить внимание еще на одну работу энтузиаста. В конце прошлого месяца на YouTube появился мультфильм «Чебурашка» с улучшенной частотой кадров. FPS увеличился в 2 раза — до 50. Использовалась вся та же нейросеть DAIN.