На днях Google выпустила статью, в которой рассказала о своей новой разработке, позволяющей создавать 3D-сцены с помощью нескольких фотографий. Данная технология получила название NeRF-W, и ее результаты впечатляют.
Конечно, это не первая попытка автоматизации создания 3D-фотографий, однако явно одна из лучших. На вход алгоритму подаётся несколько фотографий объекта с разных ракурсов. NeRF-W самостоятельно убирает со всех изображений людей, машины и другие объекты. Интересно, что технология весьма неплохо справляется с теми фотографиями, которые были сделаны в разное время и на разные камеры. Она способна сама подправить различные параметры снимков такие, как: цвет, тон и экспозицию.
С помощью нейросетей алгоритм строит карты глубины резкости и производит 3D-рендеринг. Авторы настолько решили довести свою технологию до совершенства, что для каждой картинки происходит моделирование освещения, общего для всей сцены.
For lighting and image post-processing, we introduce a low-dimensional embedding space controlling NeRF’s radiance field. This not only gives NeRF-W the capacity to model photo-specific lighting, it enables us to “relight” a scene from new angles. (3/n) pic.twitter.com/zM6aaM0ohe
— Daniel Duckworth (@duck) August 6, 2020
Алгоритм протестирован на фотографиях с Flickr. Например, были «построены» 3D-сцены некоторых достопримечательностей Парижа, Берлина и Рима.