О школе
Откройте новое измерение
Расскажем, какие задачи есть в 3D CV и научим их решать на практике
Старт весной 2024 (3 поток)
3D CV
(скоро)
Лист ожидания
Мы свяжемся, когда начнем собирать группу 3-го потока и подарим скидку на обучение
Курс для тех, кто уже работает в индустрии и хочет
Добавить третье измерение в решение рабочих задач
Расширить инструментарий
Перейти в новую активно развивающуюся область с интересными задачами
Сменить род деятельности
Освоить новые концепции, инструменты и подходы для решения задач
Поднять скиллы
Выстроить новые знакомства с экспертами из индустрии и науки
Перенять опыт
Чему вы научитесь
Работать с трёхмерными данными и алгоритмами
Восстанавливать трёхмерный объект или целую сцену по набору входных фотографий или видео
Создавать 3D-модели по 2D-фото
Разобраться во всей необходимой теории по математике и закрепить её на практике
Поймёте математику, стоящую за алгоритмами
Разобраться, как устроены параметрические модели человека, нейрорендеринг и анимация
Создавать цифровые аватары людей
Строить 3D-карты для роботов, решать задачи 3D-детекции/сегментации/классификации с помощью нейросетей
Работать с лидарными данными
На обучении вас ждёт
Онлайн-лекции, где вы слушаете опытных инженеров, задаёте вопросы и дискутируете. В конце — тест
с разбором верных ответов
с разбором верных ответов
Лекции с теорией
После каждого блока спикеры и студенты собираются вместе, чтобы ответить на вопросы, помочь с практикой и дать совет по вашим рабочим задачах
Семинары
Обсуждайте домашние задания, рабочие задачи или просто общайтесь в чате. Кураторы курса всегда помогут решить проблемы и поделятся советом
Оперативная помощь
После каждой лекции закрепите теорию практической задачей и получите фидбек на своё решение
Практические задания
Двенадцать онлайн-лекций, много практики и общения с другими инженерами
Программа
Программа рассчитана на 16 недель, ей нужно будет посвящать в среднем 8 часов в неделю
16
недель
12
лекций
8
часов в неделю
Разберётесь, какие задачи решают и как работают алгоритмы SLAM и SfM. Узнаете о трудностях при работе с ними и решите их
Задачи и алгоритмы SLAM и SfM
Первый блок
Узнаете, как восстановить 3D сцену по набору фотографий и строить трёхмерную карту окружения во время движения робота
Научитесь калибровать камеру и подготавливать данные для работы трёхмерных алгоритмов
SLAM & SfM
4 лекции
Модуль 1
→ Введение
Вводная лекция курса 3D Computer Vision. На ней мы обсудим, какие задачи должен решать 3D CV инженер, с какими данными он работает, как их собирает и хранит
Темы лекции:
- Какие задачи решают в 3D CV
- Форматы представления и хранения 3D данных. Воксели, облака точек и меши — чем отличаются и какими инструментами обрабатывать
- Какие существуют сенсоры: камеры, лидар, радар, кинект
- Административная часть. Знакомим с курсом
→ Модель камеры. Калибровка
Для построения 3D сцены часто используют обычные rgb-камеры. Но перед использованием их обязательно надо откалибровать. На этой лекции вы узнаете, как это происходит
Темы лекции:
- Проективная геометрия
- Модель камеры
- Какие параметры есть у камеры и чем внутренние отличаются от внешних
- Как откалибровать вашу камеру, чтобы настроить внутренние параметры и коэффициенты дисторсии
На практике: научитесь производить калибровку камеры на примере исправления снимков с fisheye эффектом
→ Сопоставление снимков с разных ракурсов
На этом занятии вы научитесь находить общие точки на разных изображениях. Это понадобится для триангуляции 3D точек с разных ракурсов
Темы лекции:
- Что такое ключевые точки изображения и зачем они нужны
- Как сравнить две точки с помощью дескрипторов и какие к ним предъявляются требования
- Разбор построения векторов для точек на примере подробного разбора SIFT дескрипторов
На практике: реализуете программу для склейки панорамы из нескольких снимков, используя SuperPoint. Это поможет вам лучше разобраться в работе с ключевыми точками
- Современный DeepLearning подход к сопоставлению ключевых точек (SuperPoint, SiLK, SuperGlue, LoFTR)
→ SLAM&SfM. Введение
Вы узнаете, как и зачем ставятся задачи SLAM и SfM. Научитесь, как находить перемещения камеры по снимкам и восстанавливать 3D сцену. Получите необходимый математический аппарат для работы с 3D точками и перемещениями
Темы лекции:
- Эпиполярная геометрия, Multiple View Geometry
- Описание движения, SO(3) и SE(3) группы
- Алгоритмы 5-pt и PnP
- Триангуляция
- Bundle Adjustment
- Гомография
На практике: попробуете применить алгоритмы PnP и 5-pt для нахождения перемещения камеры и построить простейшую 3D сцену
→ SLAM&SfM. Основные алгоритмы
Вы узнаете, как в реальной жизни ставятся и решаются задачи SLAM и SfM, какие трудности возникают и как работают самые популярные алгоритмы
Темы лекции:
- Трудности при решении задач в реальных условиях
- Как работает ORB-SLAM
- Как работает COLMAP
На практике: попробуете запустить ORB-SLAM и COLMAP на собственных данных
Которые остро стоят в беспилотном транспорте и автоматизации производства
Научитесь решать задачи детекции и сегментации в 3D
Второй блок
Изучите принцип работы LIDAR’а и освоите обработку данных, полученных с его помощью
Разберётесь в работе рендеринга и в том, как сделать его дифференцируемым. Научитесь работать с параметрическими моделями и погрузитесь в область цифровых аватаров
Point Clouds, Рендеринг
4 лекции
Модуль 2
→ Глубокое обучение на облаках точек
После того, как мы научили наш гипотетический беспилотный автомобиль захватывать 3D пространство вокруг себя, нам нужно научить его отличать деревья от дорожных знаков. На этом занятии мы разберём, как, имея облако точек, решать задачи детектирования и сегментации в 3D
Темы лекции:
- Решаемые в 3D задачи: детекция и сегментация
- Архитектуры нейронных сетей для работы с 3D: от PointNet++ до Трансформеров
На практике: обучите свою первую нейронную сеть для работы с 3D данными
→ Рендеринг: от классического до дифференцируемого
Трёхмерная графика развивалась на протяжение десятилетий пока нейронные сети делали неуверенные первые шаги. Чтобы извлечь максимум из этого развития, мы проведём занятие на стыке классической 3D графики и нейронных сетей
Темы лекции:
- Вспомним, как работает трёхмерный рендеринг в графике. Разберёмся как накладывается текстура
- Мотивация к существованию дифференцируемого рендеринга. Решаемые задачи
- Реализация пробрасывания градиентов через рендеринг
- Решение наиболее популярных задач с дифференцируемым рендеренгом
На практике: научитесь работать с нейронными текстурами, завтрашним днём реалистичности в компьютерных играх, на примере Deferred Neural Rendering
→ Параметрические модели людей
Последняя по порядку, но не по важности лекция посвящена параметрическим моделям в общем и людей в частности. На занятии вы научитесь работать с технологией, которая позволяет анимировать реалистичные 3D модели на базе NeRF
Темы лекции:
- Постановку задачи и область применения
- Разбор параметрических моделей на примере человека: SMPL, FLAME, SMPL-X
- Получение параметрических моделей
На практике: научитесь получать параметрическую модель тела по снимку человека на примере своей фотографии
- Подстройка параметрической модели под снимок конкретного человека
Разберётесь в том, как работают и чем полезны неявные представления 3D сцены
Третий блок
На практике рассмотрите различные применения неявных представлений и глубоко погрузитесь в используемые методы
Освоите, как автоматизировать процесс создания синтетических 2D и 3D данных с помощью Blender
NeRF и синтетические данные
4 лекции
Модуль 3
→ Неявная геометрия (NeRF)
Настало время обсудить достижения последних лет в области 3D CV — методы неявной геометрии. На этом занятии мы подробно рассмотрим, что это такое и какие задачи помогает решать
Темы лекции:
- Что такое NeRF и чем он отличается от SfM
- Математика лежащая в основе NeRF подхода или как реализуется неявная геометрия
- InstantNGP
- Инструменты для работы с NeRF и его обучения
На практике: разберётесь как устроен NeRF, реализовав код для рендеринга, использующий его
→ Неявная геометрия (NeRF продвинутый)
Несмотря на все преимущества подходов с неявной геометрией, они имеют и ряд проблем над которыми активно бьются лучшие умы в 3D CV. На этом занятии мы рассмотрим, что это за проблемы и какие решения существуют на текущий момент
Темы лекции:
- Как восстанавливать 3D по меньшему числу снимков (PixelNeRF, RegNeRF)
- Как работать со снимками с разным масштабом и движущимся объектом (Mip-NeRF, NeRF-W)
- Как обучать NeRF за секунды и инференсить на телефонах (3D Gaussian Splatting, MobileNeRF)
На практике: научитесь работать с инструментом Nerfstudio и обучите нейронную сеть для фотореалистичного рендеринга
→ Неявная геометрия (преобразование в явную, SDF)
Из предыдущих лекций могло сложиться впечатление, что методы с неявной геометрией используются только для фото-реалистичного рендеренга. Спешим развеять эти мысли. На этом занятии вы узнаете, какие ещё задачи они помогают решать
Темы лекции:
- Как восстановить явный трёхмерный меш из неявной геометрии
- Какие проблемы есть в NeRF при конвертации в меш и как SDF помогает их решить
- Как NeRF покоряет метавёрс (HumanNeRF, InstantAvatar)
- Подготовка данных с использованием COLMAP
На практике: научитесь восстанавливать меш из неявной геометрии на примере предобученной SDF модели
→ Blender как инструмент аугментации 3D данных
Зачастую, сложно получить данные в желаемом объёме и там где в 2D CV их легко можно аугментировать в 3D CV возникают проблемы. На этом занятии мы рассмотрим как изящно выйти из этой ситуации с помощью Blender
Темы лекции:
- Базовые основы моделирования и текстурирования в Blender
- Аугментация данных с помощью встроенного в Blender интерпретатора Python
На практике: произведёте аугментацию 3D скана человека с различным освещением и положением камеры для обучения аватара для метавёрса
Кто будет преподавать
Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
PAVIS IIT
Давид Свитов
Cоздает 3D аватаров по видео. Расскажет о продвинутом NeRF и работе с Blender
Samsung AI Center
Ренат Баширов
Тимлид в команде цифровых аватаров. Научит работать с параметрическими моделями людей
НИИАС
Дмитрий Раков
Работает над беспилотными поездами. Научит работать с облаками точек
Expasoft
Дмитрий Чудаков
Создает 3D карты городов по снимкам с вертолета и земли. Подробно объяснит NeRF
Kudan SLAM
Игорь Ильин
Разрабатывает передовые SLAM алгоритмы. Расскажет про SfM и SLAM
AIT Lab
Артур Григорьев
Занимается созданием фотореалистичных аватаров и симуляцией одежды
CompVis group LMU
Ольга Гребенькова
Разрабатывает алгоритмы применения генеративных моделей к 3D данным
PAVIS IIT
Давид Свитов
Cоздает 3D аватаров по видео. Расскажет о продвинутом NeRF и работе с Blender
Samsung AI Center
Ренат Баширов
Тимлид в команде цифровых аватаров. Научит работать с параметрическими моделями людей
НИИАС
Дмитрий Раков
Работает над беспилотными поездами. Научит работать с облаками точек
Expasoft
Дмитрий Чудаков
Создает 3D карты городов по снимкам с вертолета и земли. Подробно объяснит NeRF
Kudan SLAM
Игорь Ильин
Разрабатывает передовые SLAM алгоритмы. Расскажет про SfM и SLAM
AIT Lab
Артур Григорьев
Занимается созданием фотореалистичных аватаров и симуляцией одежды
CompVis group LMU
Ольга Гребенькова
Разрабатывает алгоритмы применения генеративных моделей к 3D данным
Что говорят студенты
Истории про курс глазами тех, кто его успешно прошел
Илья Контаев
«Благодаря курсу получилось узнать про новые области CV, с которыми не сталкивался до этого. Если будут новые…»
«Курс оказался крайне полезным. Благодаря лекторам, тьюторам и создателям программы, я смог углубить свои знания»
Арсений Рылов
«Курс ответил на многие интересующие вопросы уже на первом уроке. Мне понравилось как все организовано»
Назгуль
«Совершенно точно повысил свою компетентность в CV, более того курс дал дополнительный импульс»
Егор Осинкин
Дмитрий Клестов
«Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов»
Стоимость курса
Количество мест ограничено
от 25 875 ₽ / мес
В рассрочку на 4 мес
Полная оплата
103 500 ₽110 000 ₽
103 500 ₽
Полная оплата 103 500 ₽ 110 000 ₽
Доступен налоговый вычет
Может оплатить компания
Полный возврат в первые 14 дней
Принимаем оплату из-за рубежа
FAQs
Когда проходят лекции и семинары?
Когда проходят лекции и семинары?
Лекции проходят по будням в 19:00 МСК и длятся от 90 до 120 минут. Онлайн-семинары проходят после каждой 4-й лекции
Смогу ли я оформить налоговый вычет?
Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Подать документы на вычет можно в году, следующем за годом оплаты обучения. Подробнее о налоговом вычете за обучение можно прочитать на сайте ФНС
Может ли моя компания оплатить курс?
Моя компания может оплатить курс?
Да, мы подготовим счёт на полную или частичную оплату для юридического лица. Напишите на hello@deepschool.ru
На сколько часов рассчитана программа?
На сколько
часов рассчитана программа?
часов рассчитана программа?
18 астрономических часов на лекции и ~50 часов практики или примерно 8 часов в неделю, что позволяет комфортно встроить обучение в рабочий график
Что я должен знать, чтобы начать обучение?
Основы Deep Learning и Computer Vision. Мы предполагаем, что вы уже знаете теорию нейросетей и решали задачи из области компьютерного зрения. Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм Спросить в ТГ
Телеграм-канал DeepSchool
Короткие посты по теории ML/DL, полезные библиотеки и фреймворки, вопросы с собеседований и советы, которые помогут в работе
©2024 Deep School
О школе
(скоро)
Записаться в лист ожидания
Мы свяжемся, когда начнем собирать группу 3-го потока и подарим скидку на обучение
Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов, и прочитан максимально доступно. Однозначно ощущаю, что стал сильнее в Computer Vision. Все темы были интересны, но особенно выделю SLaM и Bundle Adjustment, а также NeRF.
Перед покупкой казалось, что дороговато, но сомнения не оправдались. Хотелось бы и дальше продолжать изучать материал, для меня курс закончился внезапно).
Всем лекторам спасибо — очень хорошо объясняли свои темы с зацепками где что посмотреть дополнительно. Уже посоветовал курс друзьям и коллегам
Дмитрий Клестов
Перед покупкой казалось, что дороговато, но сомнения не оправдались. Хотелось бы и дальше продолжать изучать материал, для меня курс закончился внезапно).
Всем лекторам спасибо — очень хорошо объясняли свои темы с зацепками где что посмотреть дополнительно. Уже посоветовал курс друзьям и коллегам
Дмитрий Клестов
Курс оказался крайне полезным. Благодаря лекторам, тьюторам и создателям программы, я смог углубить свои знания в задачах классификации, сегментации, распознавании лиц, и Ганах, - то с чем уже имею дело или очень хочу начать.
Не ожидал и был приятно удивлен индивидуальным подходом к студентам и готовностью преподавателей тратить время на консультации, отвечать на все вопросы (часто не связанные непосредственно с лекциями и курсом), помогать с организацией облачного пространства для вычислений. Чувствуется как много вложили и продолжают вкладывать создатели в курс и развитие сообщества (я подписан на телеграм канал и с интересом слежу за публикациями).
Также понимаю, как важно было сделать полноценную встречу-знакомство, сеанс с психологом и встречу по итогам курса. Благодаря этим мероприятиям появились горизонтальные связи и я услышал про увлекательный опыт других участников. Все организаторы и однокурсники - отзывчивые и доброжелательные и нацелены на результат студентов. Особо запомнились Тимур, Артем, Сергей, Дмитрий.
Арсений Рылов
Не ожидал и был приятно удивлен индивидуальным подходом к студентам и готовностью преподавателей тратить время на консультации, отвечать на все вопросы (часто не связанные непосредственно с лекциями и курсом), помогать с организацией облачного пространства для вычислений. Чувствуется как много вложили и продолжают вкладывать создатели в курс и развитие сообщества (я подписан на телеграм канал и с интересом слежу за публикациями).
Также понимаю, как важно было сделать полноценную встречу-знакомство, сеанс с психологом и встречу по итогам курса. Благодаря этим мероприятиям появились горизонтальные связи и я услышал про увлекательный опыт других участников. Все организаторы и однокурсники - отзывчивые и доброжелательные и нацелены на результат студентов. Особо запомнились Тимур, Артем, Сергей, Дмитрий.
Арсений Рылов
Благодаря курсу получилось узнать про новые области CV, с которыми не сталкивался до этого. Если будут новые проекты по 3D CV, то определенно будет проще в них погружаться и работать.
Считаю, что курс хороший, стоит своих денег. Но качество покрытия разных тем меняется от лектора к лектору, больше всего понравились: теория про модель камеры, SLAM и блок про неявные представления.
Для первого знакомства с областью – очень хороший курс. Если есть какой-то опыт в одной из областей, то может не хватить глубины по ней. Но можно будет расширить кругозор по другим или смежным.
Илья Контаев
Считаю, что курс хороший, стоит своих денег. Но качество покрытия разных тем меняется от лектора к лектору, больше всего понравились: теория про модель камеры, SLAM и блок про неявные представления.
Для первого знакомства с областью – очень хороший курс. Если есть какой-то опыт в одной из областей, то может не хватить глубины по ней. Но можно будет расширить кругозор по другим или смежным.
Илья Контаев
Курс ответил на многие интересующие вопросы уже на первом уроке. Хоть я пока не досмотрела его до конца, мне понравилось как все организовано. Все очень предусмотрено: дискорд канал, телеграмм канал. Организаторы очень приятные и понимающие люди! Поэтому даже на этом уровне могу уже поставить 5!
Назгуль
Назгуль
Совершенно точно повысил свою компетентность в CV, более того курс дал дополнительный импульс углубляться именно в 3D CV.
Если оценивать по 5-балльной шкале, поставил бы курсу 5, тк:
Егор Осинкин
Если оценивать по 5-балльной шкале, поставил бы курсу 5, тк:
- Сложно найти хорошие материалы по 3D. Тут все основные темы собраны в одном месте.
- Код ревью и фидбек, особенно хочется отметить код ревью домашек по SLAM, глубокому обучению на облаках точек и неявным представлениям. В этих ДЗ было много самописного кода и большой простор для неочевидных ошибок. Во всех этих ДЗ ревьюеры нашли мои ошибки и дали развернутый фидбек как их исправить.
- Хорошее качество материалов курса, особенно учитывая что это первая итерация
- Много практики, домашки к каждой лекции чтобы закреплять темы это прям то что нужно!
- Этот курс намного лучше чем CV, которое было у меня в университете.
- Не хотелось чтобы этот курс заканчивался:)
Егор Осинкин