→ Неявная геометрия (NeRF)
Настало время обсудить достижения последних лет в области 3D CV — методы неявной геометрии. На этом занятии мы подробно рассмотрим, что это такое и какие задачи помогает решать
- Что такое NeRF и чем он отличается от SfM
- Математика лежащая в основе NeRF подхода или как реализуется неявная геометрия
- Инструменты для работы с NeRF и его обучения
На практике: разберётесь как устроен NeRF, реализовав код для рендеринга, использующий его
→ Неявная геометрия (NeRF продвинутый)
Несмотря на все преимущества подходов с неявной геометрией, они имеют и ряд проблем над которыми активно бьются лучшие умы в 3D CV. На этом занятии мы рассмотрим, что это за проблемы и какие решения существуют на текущий момент
- Как восстанавливать 3D по меньшему числу снимков (PixelNeRF, RegNeRF)
- Как работать со снимками с разным масштабом и движущимся объектом (Mip-NeRF, NeRF-W)
- Как обучать NeRF за секунды и инференсить на телефонах (3D Gaussian Splatting, MobileNeRF)
На практике: научитесь работать с инструментом Nerfstudio и обучите нейронную сеть для фотореалистичного рендеринга
→ Неявная геометрия (преобразование в явную, SDF)
Из предыдущих лекций могло сложиться впечатление, что методы с неявной геометрией используются только для фото-реалистичного рендеренга. Спешим развеять эти мысли. На этом занятии вы узнаете, какие ещё задачи они помогают решать
- Как восстановить явный трёхмерный меш из неявной геометрии
- Какие проблемы есть в NeRF при конвертации в меш и как SDF помогает их решить
- Как NeRF покоряет метавёрс (HumanNeRF, InstantAvatar)
- Подготовка данных с использованием COLMAP
На практике: научитесь восстанавливать меш из неявной геометрии на примере предобученной SDF модели
→ Blender как инструмент аугментации 3D данных
Зачастую, сложно получить данные в желаемом объёме и там где в 2D CV их легко можно аугментировать в 3D CV возникают проблемы. На этом занятии мы рассмотрим как изящно выйти из этой ситуации с помощью Blender
- Базовые основы моделирования и текстурирования в Blender
- Аугментация данных с помощью встроенного в Blender интерпретатора Python
На практике: произведёте аугментацию 3D скана человека с различным освещением и положением камеры для обучения аватара для метавёрса