Перейдите на новый уровень в Computer Vision
3D Computer Vision
Научим основам и современным инструментам
Достаточно знать базу в Deep Learning
Сможете собеседоваться в self-drive и AR/VR команды
Может оплатить компания
Image: Velodyne Lidar
Чему вы научитесь
+ навык
+ навык
+ навык
+ навык
+ навык
+ навык
Реконструировать не только помещения и объекты, но и целые города по набору
Создавать 3D-сцены по фото
Реконструировать не только помещения и объекты, но и целые города по набору
Создавать 3D-сцены по фото
Мы расскажем с нуля всю необходимую теорию по математике и закрепим ее на практике
Поймете математику, стояющую за алгоритмами
Мы расскажем с нуля всю необходимую теорию по математике и закрепим ее на практике
Поймете математику, стояющую за алгоритмами
Разберетесь в исходной архитектуре NeRF, освоите современные версии и обучите свои NeRF-модели
Использовать нейросети для рендеринга
Разберетесь в исходной архитектуре NeRF, освоите современные версии и обучите свои NeRF-модели
Использовать нейросети для рендеринга
Сканировать помещения на ходу, анализируя поток с RGB-камер и/или лидара, чтобы ориентировать робота
Строить 3D-карты для роботов
Сканировать помещения на ходу, анализируя поток с RGB-камер и/или лидара, чтобы ориентировать робота
Строить 3D-карты для роботов
Научитесь восстанавливать 3D-модели объектов и людей без лидаров, используя только RGB-фото
Реконструировать объекты по RGB-фото
Научитесь восстанавливать 3D-модели объектов и людей без лидаров, используя только RGB-фото
Реконструировать объекты по RGB-фото
Использовать нейросети для анализа данных с лидара, визуализировать объекты, изменять их форму и другое
Работать с 3D-данными
Использовать нейросети для анализа данных с лидара, визуализировать объекты, изменять их форму и другое
Работать с 3D-данными
Этот курс
для вас, если
для вас, если
Например, в автономных автомобилях, в командах VR/AR, в области мета-вселенных или с 3D-медицинскими данными.
В каждом крупном биг-техе есть команда VR/AR. Зарубежом также больше стартапов, которые создают сервисы на острие технологий. Поэтому часто в вакансиях от CV-инженера требуют навыки из области 3D CV.
Все 2D CV задачи (сегментация, детекция, классификация) считают уже решенными. Инженеру остается 3 варианта развития скиллов: генеративный AI, разработка или 3D CV.
Первый требует больших вычислительных ресурсов. Второй готовность решать меньше ML-задач. А в 3D CV вы можете работать на своем компьютере и решать новые для себя DL-задачи.
Первый требует больших вычислительных ресурсов. Второй готовность решать меньше ML-задач. А в 3D CV вы можете работать на своем компьютере и решать новые для себя DL-задачи.
Например, в автономных автомобилях, в командах VR/AR, в области мета-вселенных или с 3D-медицинскими данными.
В каждом крупном биг-техе есть команда VR/AR. Зарубежом также больше стартапов, которые создают сервисы на острие технологий. Поэтому часто в вакансиях от CV-инженера требуют навыки из области 3D CV.
Все 2D CV задачи (сегментация, детекция, классификация) считают уже решенными. Инженеру остается 3 варианта развития скиллов: генеративный AI, разработка или 3D CV.
Первый требует больших вычислительных ресурсов. Второй готовность решать меньше ML-задач. А в 3D CV вы можете работать на своем компьютере и решать новые для себя DL-задачи.
Первый требует больших вычислительных ресурсов. Второй готовность решать меньше ML-задач. А в 3D CV вы можете работать на своем компьютере и решать новые для себя DL-задачи.
Как именно вы освоите каждый навык
Раз в 1-2 недели мы проводим сессии вопрос-ответ (или семинары для ответов на вопросы). Туда приходят спикеры и кураторы. Мы отвечаем на ваши вопросы, помогаем с практикой, обсуждаем задачи из вашей практики
5. Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом
Zoom-лекции проходят 1-2 раза в неделю. Мы проводим занятия онлайн, чтобы вы могли сразу задать вопросы спикеру. В конце каждой лекции вы закрепите материал анонимным тестом, а спикер прокомментирует ошибки
1. Изучите теорию на лекции
Каждую тему вы закрепите на практике. Всего в курсе 8 домашних заданий
2. Сделаете практическое задание
Кураторы курса прокомментируют ваши решения и подскажут как можно улучшить результат и ваш код
3. Получите Code Review от куратора
Обсуждайте домашние задания, рабочие задачи или просто общайтесь. Кураторы курса всегда помогут решить проблемы и поделятся советом
4. Если возникнут трудности, мы оперативно поможем в чате
8 заданий
2 месяца
10 лекций
Программа курса
Как любое дело начинается с подготовки рабочего места, так и наш курс начинается с освоения и настройки инструментов, которые понадобятся вам в 3D CV!
На лекции вы узнаете:
На лекции вы узнаете:
- Какие задачи решают в 3D CV;
- Форматы представления и хранения 3D данных. Чем воксели отличаются от облаков точек и мешей, как это всё хранить и какими инструментами обрабатывать.
- Какие параметры есть у камеры и чем внутренние отличаются от внешних;
- Как откалибровать вашу камеру, чтобы настроить внутренние параметры и коэффициенты дисторсии;
- Вы научитесь производить калибровку камеры на примере исправления снимков с fisheye эффектом
На практике часто требуется решать задачу восстановления расстояний до объектов на снимках или “восстанавливать глубину”. На этом занятии мы разберём как по двум снимкам сказать: где именно объект находится на каждом из них и как рассчитать расстояние до него.
На лекции вы узнаете:
На лекции вы узнаете:
- Что такое ключевые точки изображения и зачем они нужны;
- Как сравнить две точки с помощью дескрипторов и какие к ним предъявляются требования;
- Современный DeepLearning подход к сопоставлению ключевых точек (SuperPoint, SiLK);
- Эпиполярная геометрия для вычисления расстояния до объекта и восстановление карты глубины;
- Вы реализуете программу для склейки панорамы из нескольких снимков, чтобы лучше разобраться в работе с ключевыми точками.
На этом занятии мы перейдём от восстановления глубины сцены по паре снимков к восстановлению полноценного 3D по серии фотографий объекта с разных сторон. А так же разберём наиболее популярную в робототехнике и беспилотных автомобилях задачу SLAM.
На лекции вы узнаете:
На лекции вы узнаете:
- Как восстановить 3D по серии фотографии (SfM);
- COLMAP. Разберём как работает современный подход к задаче SfM;
- SLAM. Разберём что это такое и как работает;
- ORB-SLAM. Разберём как работает современный подход к решению SLAM;
- Вы научитесь делать то, с чего начинается любой проект по 3D реконструкции, сколько бы нейронок в него не запихнули - запускать COLMAP! И даже попробуете построить 3D модель своей квартиры.
После того как мы научили наш гипотетический беспилотный автомобиль захватывать 3D пространство вокруг себя, нам нужно научить его отличать деревья от дорожных знаков. На этом занятии мы разберём как имея облако точек решать задачи детектирования и сегментации в 3D.
На лекции вы узнаете:
На лекции вы узнаете:
- Как ещё можно получить облако точек или почему всем не использовать лидар;
- Решаемые в 3D задачи. Какие бывают, зачем нужны;
- Архитектуры нейронных сетей для работы с 3D: от PointNet++ до Трансформеров;
- Вы обучите свою первую нейронную сеть для работы с 3D данными. Не потеряйте её, сможете ностальгически на неё смотреть работая 3D CV инженером в Tesla.
Трёхмерная графика развивалась на протяжение десятилетий пока нейронные сети делали неуверенные первые шаги. Чтобы извлечь максимум из этого развития, мы проведём занятие на стыке классической 3D графики и нейронных сетей.
На лекции вы узнаете:
На лекции вы узнаете:
- Вспомним как работает трёхмерный рендеринг в графике. Разберёмся как накладывается текстура;
- Мотивация к существованию дифференцируемого рендеринга. Решаемые задачи;
- Реализация пробрасывания градиентов через рендеринг;
- Решение наиболее популярных задач с дифференцируемым рендеренгом;
- Научитесь работать с нейронными текстурами, завтрашним днём реалистичности в компьютерных играх, на примере Deferred Neural Rendering.
Настало время обсудить достижения последних лет в области 3D CV - методы неявной геометрии. На этом занятии мы подробно рассмотрим что это такое и какие задачи помогает решать.
На лекции вы узнаете:
На лекции вы узнаете:
- Что такое NeRF и чем он отличается от SfM;
- Математика лежащая в основе NeRF подхода или как реализуется неявная геометрия;
- Инструменты для работы с NeRF и его обучения;
- Подготовка данных с использованием COLMAP;
- Вы научитесь использовать NeRF для сканирования реального объекта и его фото-реалистичного рендеренга с новых ракурсов.
Несмотря на все преимущества подходов с неявной геометрией, они имеют и ряд проблем над которыми активно бьются лучшие умы в 3D CV. На этом занятии мы рассмотрим, что это за проблемы и какие решения существуют на текущий момент.
На лекции вы узнаете:
На лекции вы узнаете:
- Как восстанавливать 3D по меньшему числу снимков (PixelNeRF, RegNeRF);
- Как работать со снимками с разным масштабом и движущимся объектом (Mip-NeRF, NeRF-W);
- Как обучать NeRF за секунды и инференсить на телефонах (InstantNGP, MobileNeRF);
- Вы научитесь обучать современные NeRF архитектуры.
Из предыдущих лекций могло сложиться впечатление, что методы с неявной геометрией используются только для фото-реалистичного рендеренга. Спешим развеять эти мысли. На этом занятии вы узнаете какие ещё задачи они помогают решать.
На лекции вы узнаете:
На лекции вы узнаете:
- Как восстановить явный трёхмерный меш из неявной геометрии;
- Какие проблемы есть в NeRF при конвертации в меш и как SDF помогает их решить;
- Как NeRF покоряет метавёрс (HumanNeRF, InstantAvatar)
- Вы научитесь восстанавливать меш из неявной геометрии на примере предобученной SDF модели.
Зачастую сложно получить данные в желаемом объёме и там где в 2D CV их легко можно аугментировать в 3D CV возникают проблемы. На этом занятии мы рассмотрим как изящно выйти из этой ситуации с помощью Blender.
На лекции вы узнаете:
На лекции вы узнаете:
- Базовые основы моделирования и текстурирования в Blender;
- Аугментация данных с помощью встроенного в Blender интерпретатора Python;
- Вы произведёте аугментацию 3D скана человека с различным освещением и положением камеры для обучения аватара для метавёрса.
Последняя по порядку, но не по важности лекция посвящена параметрическим моделям в общем и людей в частности. На занятии вы научитесь работать с технологией, которая позволяет анимировать реалистичные 3D модели на базе NeRF.
На лекции вы узнаете:
На лекции вы узнаете:
- Постановку задачи и область применения;
- Разбор параметрических моделей на примере человека: SMPL, FLAME, SMPL-X;
- Получение параметрических моделей;
- Подстройка параметрической модели под снимок конкретного человека;
- Вы научитесь получать параметрическую модель тела по снимку человека на примере своей фотографии.
Как любое дело начинается с подготовки рабочего места, так и наш курс начинается с освоения и настройки инструментов, которые понадобятся вам в 3D CV!
На лекции вы узнаете:
На лекции вы узнаете:
- Какие задачи решают в 3D CV;
- Форматы представления и хранения 3D данных. Чем воксели отличаются от облаков точек и мешей, как это всё хранить и какими инструментами обрабатывать.
- Какие параметры есть у камеры и чем внутренние отличаются от внешних;
- Как откалибровать вашу камеру, чтобы настроить внутренние параметры и коэффициенты дисторсии;
- Вы научитесь производить калибровку камеры на примере исправления снимков с fisheye эффектом
На практике часто требуется решать задачу восстановления расстояний до объектов на снимках или “восстанавливать глубину”. На этом занятии мы разберём как по двум снимкам сказать: где именно объект находится на каждом из них и как рассчитать расстояние до него.
На лекции вы узнаете:
На лекции вы узнаете:
- Что такое ключевые точки изображения и зачем они нужны;
- Как сравнить две точки с помощью дескрипторов и какие к ним предъявляются требования;
- Современный DeepLearning подход к сопоставлению ключевых точек (SuperPoint, SiLK);
- Эпиполярная геометрия для вычисления расстояния до объекта и восстановление карты глубины;
- Вы реализуете программу для склейки панорамы из нескольких снимков, чтобы лучше разобраться в работе с ключевыми точками.
На этом занятии мы перейдём от восстановления глубины сцены по паре снимков к восстановлению полноценного 3D по серии фотографий объекта с разных сторон. А так же разберём наиболее популярную в робототехнике и беспилотных автомобилях задачу SLAM.
На лекции вы узнаете:
На лекции вы узнаете:
- Как восстановить 3D по серии фотографии (SfM);
- COLMAP. Разберём как работает современный подход к задаче SfM;
- SLAM. Разберём что это такое и как работает;
- ORB-SLAM. Разберём как работает современный подход к решению SLAM;
- Вы научитесь делать то, с чего начинается любой проект по 3D реконструкции, сколько бы нейронок в него не запихнули - запускать COLMAP! И даже попробуете построить 3D модель своей квартиры.
После того как мы научили наш гипотетический беспилотный автомобиль захватывать 3D пространство вокруг себя, нам нужно научить его отличать деревья от дорожных знаков. На этом занятии мы разберём как имея облако точек решать задачи детектирования и сегментации в 3D.
На лекции вы узнаете:
На лекции вы узнаете:
- Как ещё можно получить облако точек или почему всем не использовать лидар;
- Решаемые в 3D задачи. Какие бывают, зачем нужны;
- Архитектуры нейронных сетей для работы с 3D: от PointNet++ до Трансформеров;
- Вы обучите свою первую нейронную сеть для работы с 3D данными. Не потеряйте её, сможете ностальгически на неё смотреть работая 3D CV инженером в Tesla.
Трёхмерная графика развивалась на протяжение десятилетий пока нейронные сети делали неуверенные первые шаги. Чтобы извлечь максимум из этого развития, мы проведём занятие на стыке классической 3D графики и нейронных сетей.
На лекции вы узнаете:
На лекции вы узнаете:
- Вспомним как работает трёхмерный рендеринг в графике. Разберёмся как накладывается текстура;
- Мотивация к существованию дифференцируемого рендеринга. Решаемые задачи;
- Реализация пробрасывания градиентов через рендеринг;
- Решение наиболее популярных задач с дифференцируемым рендеренгом;
- Научитесь работать с нейронными текстурами, завтрашним днём реалистичности в компьютерных играх, на примере Deferred Neural Rendering.
Настало время обсудить достижения последних лет в области 3D CV - методы неявной геометрии. На этом занятии мы подробно рассмотрим что это такое и какие задачи помогает решать.
На лекции вы узнаете:
На лекции вы узнаете:
- Что такое NeRF и чем он отличается от SfM;
- Математика лежащая в основе NeRF подхода или как реализуется неявная геометрия;
- Инструменты для работы с NeRF и его обучения;
- Подготовка данных с использованием COLMAP;
- Вы научитесь использовать NeRF для сканирования реального объекта и его фото-реалистичного рендеренга с новых ракурсов.
Несмотря на все преимущества подходов с неявной геометрией, они имеют и ряд проблем над которыми активно бьются лучшие умы в 3D CV. На этом занятии мы рассмотрим, что это за проблемы и какие решения существуют на текущий момент.
На лекции вы узнаете:
На лекции вы узнаете:
- Как восстанавливать 3D по меньшему числу снимков (PixelNeRF, RegNeRF);
- Как работать со снимками с разным масштабом и движущимся объектом (Mip-NeRF, NeRF-W);
- Как обучать NeRF за секунды и инференсить на телефонах (InstantNGP, MobileNeRF);
- Вы научитесь обучать современные NeRF архитектуры.
Из предыдущих лекций могло сложиться впечатление, что методы с неявной геометрией используются только для фото-реалистичного рендеренга. Спешим развеять эти мысли. На этом занятии вы узнаете какие ещё задачи они помогают решать.
На лекции вы узнаете:
На лекции вы узнаете:
- Как восстановить явный трёхмерный меш из неявной геометрии;
- Какие проблемы есть в NeRF при конвертации в меш и как SDF помогает их решить;
- Как NeRF покоряет метавёрс (HumanNeRF, InstantAvatar)
- Вы научитесь восстанавливать меш из неявной геометрии на примере предобученной SDF модели.
Зачастую сложно получить данные в желаемом объёме и там где в 2D CV их легко можно аугментировать в 3D CV возникают проблемы. На этом занятии мы рассмотрим как изящно выйти из этой ситуации с помощью Blender.
На лекции вы узнаете:
На лекции вы узнаете:
- Базовые основы моделирования и текстурирования в Blender;
- Аугментация данных с помощью встроенного в Blender интерпретатора Python;
- Вы произведёте аугментацию 3D скана человека с различным освещением и положением камеры для обучения аватара для метавёрса.
Последняя по порядку, но не по важности лекция посвящена параметрическим моделям в общем и людей в частности. На занятии вы научитесь работать с технологией, которая позволяет анимировать реалистичные 3D модели на базе NeRF.
На лекции вы узнаете:
На лекции вы узнаете:
- Постановку задачи и область применения;
- Разбор параметрических моделей на примере человека: SMPL, FLAME, SMPL-X;
- Получение параметрических моделей;
- Подстройка параметрической модели под снимок конкретного человека;
- Вы научитесь получать параметрическую модель тела по снимку человека на примере своей фотографии.
Тарифы
Онлайн вебинары
Тариф «Стандарт»
Практические задания
Поддержка в чате
Проверка заданий спикерами
Семинары со спикерами
89 900₽
*8 990₽ при рассрочке на 10 мес
Онлайн вебинары
Практические задания
Поддержка в чате
Проверка заданий спикерами
Семинары со спикерами
59 900₽
*5 990₽ при рассрочке на 10 мес
Персональные консультации со спикерами курса по вашим проектам
*Условия обсуждаются индивидуально
Индивидуально
Персональные консультации со спикерами курса по вашим проектам
Персональные консультации со спикерами курса по вашим проектам
Онлайн вебинары
Практические задания
Поддержка в чате
Проверка заданий спикерами
Семинары со спикерами
Тариф «Базовый»
Тариф «Бизнес»
Может оплатить компания
Старт курса : 26 июня
Ответы на вопросы
Ответы
на вопросы
на вопросы
Да, мы подготовим счет на полную или частичную оплату для юридического лица.
Для уточнения подробностей напишите на hello@deepschool.ru
Для уточнения подробностей напишите на hello@deepschool.ru
15 астрономических часов на лекции и ~30 часов практики или чуть больше 5 часов в неделю, что позволяет комфортно встроить обучение в рабочий график
Основы Deep Learning и Computer Vision. Мы предполагаем, что вы уже знаете теорию нейросетей и решали задачи из области компьютерного зрения. Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм по кнопке ниже "Спросить в ТГ"
Это DL подход, позволяющий решать широкий спектр задач в 3D и дающий в них наибольшую точность. И мы убеждены что за такими подходами будущее 3D. Поэтому делаем на них акцент, чтобы вы глубоко разобрались в современных инструментах.
Да, мы подготовим счет на полную или частичную оплату для юридического лица.
Для уточнения подробностей напиши на hello@deepschool.ru
Для уточнения подробностей напиши на hello@deepschool.ru
15 астрономических часов на лекции и ~30 часов практики или чуть больше 5 часов в неделю, что позволяет комфортно встроить обучение в рабочий график
Основы Deep Learning и Computer Vision. Мы предполагаем, что вы уже знаете теорию нейросетей и решали задачи из области компьютерного зрения. Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм по кнопке ниже "Спросить в ТГ"
Это DL подход, позволяющий решать широкий спектр задач в 3D и дающий в них наибольшую точность. И мы убеждены что за такими подходами будущее 3D. Поэтому делаем на них акцент, чтобы вы глубоко разобрались в современных инструментах.
В канале школы DeepSchool мы :
- напоминаем вам теорию ML/DL в виде коротких постов,
- рассказываем про полезные библиотеки и фреймворки,
- задаем вопросы с собеседований,
- и делимся советами, которые помогут вам в работе
- напоминаем вам теорию ML/DL в виде коротких постов,
- рассказываем про полезные библиотеки и фреймворки,
- задаем вопросы с собеседований,
- и делимся советами, которые помогут вам в работе
