Nvidia разработала новый тип нейросетей, который позволяет превращать серию изображений в 3D модель. Instant NeRF может при помощи нескольких изображений, которые сделаны под разным углом и с разных сторон, создать полноценный объемный объект.
Neural Radiance Fields (NeRF) работает на принципе создания новых изображений. К сожалению, чуда не будет, и если вы дадите программе 4-5 фоток, то модель вам сделать не получится. Алгоритму нужно как минимум несколько десятков качественно сделанных снимков, а также данные с камеры о том, под каким углом эти снимки были сделаны.
Только так NeRF сможет заполнить недостающие участки, вычислить падение света и так далее. В добавок ко всему, процесс может занять долгое время на обучение алгоритма для получения вменяемого результата.
Nvidia же взяла данную технологию и вывела ее на новый уровень. Теперь же обучение занимает минуты, а результат почти мгновенно (отсюда и Instant). Как заявляют представители компании, они увеличили скорость работы алгоритма и программы в тысячу раз.