Впервые разработанные исследователями из Калифорнийского университета в Беркли, Калифорнийского университета в Сан-Диего и Google, NeRF впервые появились на нашем радаре в марте 2022 года, когда nVidia представила свою сверхбыструю демонстрацию «Instant NeRF» на конференции разработчиков GTC.
По сути, вы прогуливаетесь по сцене, снимаете фотографии или снимаете видео на смартфон, а затем загружаете результаты в службу, где нейронная сеть использует различные методы искусственного интеллекта, чтобы сделать последовательность изображений реального мира и использовать их. это для создания 3D-модели вашего предмета и его окружения.
Затем вы можете взять эту модель и делать с ней все что угодно, в том числе делать дикие снимки с летающей камеры или создавать фотореалистичные 3D-объекты и среды для использования в видеоиграх, виртуальной реальности или для ряда других целей.
Полученные видео могут быть абсолютно безумными, примером чему может служить это необычное видео Hilux, изменяющее физику, созданное (и искусно отредактированное) японцем Арата Фукоэ. Помните, что это постановка одного человека.
В прошлом месяце Luma Labs обрушила цену такого рода услуг до 1 доллара США за сцену через API, который принимает «видеообзоры объектов или сцен, глядя наружу, с 2-3 уровней» и выводит «интерактивную 3D-сцену, которую можно встроить напрямую, грубо текстурированные модели для создания взаимодействий в традиционных 3D-конвейерах, а также предварительно отрендеренные панорамные изображения и видео.»
Создательница Карен Х Ченг использовала искусственный интеллект Luma Labs для создания эффекта увеличения тележки монстра в видео ниже. Щелкните ветку Twitter, чтобы увидеть, как она была захвачена и отредактирована.
Другие объединяют 3D-захваты NeRF с отдельными сервисами генеративного ИИ, чтобы взять то, что может быть довольно скучно выглядящим фотореалистичным захватом сцены, и дополнить его более впечатляющими текстурами. Создатель Билавал Сидху называет это «изменением внешнего вида реального мира», и хотя на данном этапе результаты могут иногда быть немного дергаными, мы не сомневаемся, что вскоре он будет легко интегрирован в систему, которая позволит вам редактировать и добавить в сцену NeRF с помощью подсказок на естественном языке.
Между тем, проект Google Zip-NeRF все еще находится на стадии исследования, но недавний прогресс позволил ему работать примерно в 22 раза быстрее, чем предыдущая модель mip-NeRF, и производить на 8-76% меньше ошибок. Результаты выглядят совершенно впечатляюще, и агенты по недвижимости пускают слюни.
Калифорнийский университет в Беркли, со своей стороны, объединил сеть моделирования NeRF с языковой моделью, чтобы создать модель «Language Embedded Radiance Field» или LERF, которая позволяет вам искать определенные элементы в 3D-сцене с использованием естественного языка.
Тизер LeRF, языковые встроенные поля сияния
В конце концов, команда LERF надеется превратить эту технологию во что-то, что поможет роботам использовать машинное зрение и ИИ для выполнения задач. Например, робот, которому устно поручили убрать пролитую кофейную гущу, может пойти на вашу кухню и использовать эту технологию в сочетании с процедурой генерации подсказок в стиле GPT, чтобы идентифицировать и определить местонахождение ряда предметов, имеющих отношение к задаче, в комнате. , от совков и щеток до мусорных баков, раковин, шкафов, ящиков, чистящих спреев, пылесосов и многого другого.
В другом проекте команда японских разработчиков работает над способом рендеринга 3D-сцен, созданных NeRF, в реальном времени в Unreal Engine. Команда говорит, что уже достигает более 60 кадров в секунду на графическом процессоре nVidia RTX3070 с минимальным потреблением памяти. По сути, это ранний предварительный просмотр зарождающейся возможности прошивать ваш смартфон в заданной среде и превращать его в уровень видеоигры.
Рендеринг NeRF в реальном времени на Unreal Engine
И если всего вышеперечисленного недостаточно, чтобы испечь вашу лапшу до золотистого цвета, взгляните на проект HOSNeRF из Сингапурского национального университета. Мы не можем понять, как, но этой команде удалось разработать систему NeRF, которая может не только генерировать 3D-модели людей и целых сред, но также может захватывать и повторно отображать динамические действия.
Таким образом, вы можете заснять, как кто-то ходит и что-то делает, поднимает предметы и кладет их на землю, когда им заблагорассудится, а HOSNeRF выдаст фотореалистичную трехмерную сцену действия, которую вы можете просматривать под любым углом.
HOSNeRF: динамические поля нейронного излучения человека-объекта-сцены из одного видео
Приносим свои извинения. Как только это попадет в сервис, вы сможете реконструировать сцены реальных действий в виде динамических моделей, по которым вы можете пройти в виртуальной реальности, в комплекте с движущимися 3D-моделями людей и объектов, с которыми вы потенциально сможете взаимодействовать. с использованием физических движков видеоигр. Уму непостижимо.
Кажется, что в последние месяцы каждый малоизвестный уголок мира ИИ переживает поистине шокирующие темпы прогресса. По мере того, как все эти дико инновационные технологии начинают сближаться, становится все труднее представить, какой будет жизнь через пять или десять лет.
