Лист ожидания
Мы свяжемся, когда начнем собирать группу 4-го потока и подарим скидку на обучение
Курс для тех, кто уже работает в индустрии и хочет
Расширить инструментарий
Сменить род деятельности
Поднять скиллы
Перенять опыт
Добавить третье измерение в решение рабочих задач
Перейти в новую активно развивающуюся область с интересными задачами
Освоить новые концепции, инструменты и подходы для решения задач
Выстроить новые знакомства с экспертами из индустрии и науки
Строить 3D-карты для роботов, решать задачи 3D-детекции/сегментации/классификации с помощью нейросетей
Работать с лидарными данными
Чему вы научитесь
Работать с трёхмерными данными и алгоритмами
Создавать цифровые аватары людей
Разобраться, как устроены параметрические модели человека, нейрорендеринг и анимация
Разобраться во всей необходимой теории по математике и закрепить её на практике
Поймёте математику, стоящую за алгоритмами
Создавать 3D-модели по 2D-фото
Восстанавливать трёхмерный объект или целую сцену по набору входных фотографий или видео
Как именно вы освоите каждый навык
Лекции в записи на платформе — можно смотреть в удобное время, ставить на паузу и пересматривать
Изучите теорию на лекции
После каждой лекции — домашнее задание для закрепления материала
Сделаете практическое задание
Каждое домашнее задание проверит лектор и даст исчерпывающий фидбэк
Получите разбор домашнего задания
Обсуждайте домашние задания, рабочие задачи или просто общайтесь. Кураторы курса всегда помогут решить проблемы и поделятся советом
Если возникнут трудности, мы оперативно поможем в чате
Раз в 4−5 недель спикеры и кураторы собираются в zoom, чтобы ответить на ваши вопросы, помочь с практикой, обсудить текущие задачи
Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом
1.
2.
3.
4.
5.
Программа
Лекции в записи. После каждой темы — домашнее задание.
1. Введение
Вводная лекция курса 3D Computer Vision. На ней мы обсудим, какие задачи должен решать 3D CV инженер, с какими данными он работает, как их собирает и хранит
Темы лекции:
- Какие задачи решают в 3D CV
- Форматы представления и хранения 3D данных. Воксели, облака точек и меши — чем отличаются и какими инструментами обрабатывать
- Какие существуют сенсоры: камеры, лидар, радар, кинект
- Административная часть. Знакомим с курсом
2. Модель камеры. Калибровка
Для построения 3D сцены часто используют обычные rgb-камеры. Но перед использованием их обязательно надо откалибровать. На этой лекции вы узнаете, как это происходит
Темы лекции:
- Проективная геометрия
- Модель камеры
- Какие параметры есть у камеры и чем внутренние отличаются от внешних
- Как откалибровать вашу камеру, чтобы настроить внутренние параметры и коэффициенты дисторсии
- Гомография
На практике: научитесь производить калибровку камеры на примере исправления снимков с fisheye эффектом
3. Сопоставление снимков с разных ракурсов
На этом занятии вы научитесь находить общие точки на разных изображениях. Это понадобится для триангуляции 3D точек с разных ракурсов
Темы лекции:
- Что такое ключевые точки изображения и зачем они нужны
- Как сравнить две точки с помощью дескрипторов и какие к ним предъявляются требования
- Разбор построения векторов для точек на примере подробного разбора SIFT дескрипторов
- Современный DeepLearning подход к сопоставлению ключевых точек (SuperPoint, SiLK, SuperGlue, LoFTR)
На практике: реализуете программу для склейки панорамы из нескольких снимков, используя SuperPoint. Это поможет вам лучше разобраться в работе с ключевыми точками
4. SLAM&SfM. Введение
Вы узнаете, как и зачем ставятся задачи SLAM и SfM. Научитесь, как находить перемещения камеры по снимкам и восстанавливать 3D сцену. Получите необходимый математический аппарат для работы с 3D точками и перемещениями
Темы лекции:
- Эпиполярная геометрия, Multiple View Geometry
- Описание движения, SO(3) и SE(3) группы
- Алгоритмы 5-pt и PnP
- Триангуляция
- Bundle Adjustment
На практике: попробуете применить алгоритмы PnP и 5-pt для нахождения перемещения камеры и построить простейшую 3D сцену
5. SLAM&SfM. Основные алгоритмы
Вы узнаете, как в реальной жизни ставятся и решаются задачи SLAM и SfM, какие трудности возникают и как работают самые популярные алгоритмы
Темы лекции:
- Трудности при решении задач в реальных условиях
- Как работает ORB-SLAM
- Как работает COLMAP
На практике: попробуете запустить ORB-SLAM и COLMAP на собственных данных
6. Глубокое обучение на облаках точек. Детекция
После того, как мы научили наш гипотетический беспилотный автомобиль захватывать 3D пространство вокруг себя, нам нужно научить его отличать деревья от дорожных знаков. На этом занятии мы разберём, как, имея облако точек, решать задачи детектирования в 3D
Темы лекции:
- Как решать задачу детекции в 3D
- Как можно представить входные данные
- Архитектуры детекции для различных представлений данных
На практике: обучите свою первую нейронную сеть для работы с детектированием 3D данных
7. Глубокое обучение на облаках точек. Сегментация
Продолжим разбираться в глубоком обучении на облаках точек, в этот раз затронем сегментацию
Темы лекции:
- Решение сегментации в 3D
- Архитектуры нейронных сетей для работы с ними
На практике: обучите нейронную сеть для работы с сегментацией 3D данных
8. Параметрические модели людей
Лекция посвящена параметрическим моделям в общем и людей в частности. На занятии вы научитесь работать с технологией, которая позволяет анимировать реалистичные 3D модели на базе NeRF
Темы лекции:
- Постановку задачи и область применения
- Разбор параметрических моделей на примере человека: SMPL, FLAME, SMPL-X
- Получение параметрических моделей
- Подстройка параметрической модели под снимок конкретного человека
На практике: научитесь получать параметрическую модель тела по снимку человека на примере своей фотографии
9. Blender как инструмент аугментации 3D данных
Зачастую, сложно получить данные в желаемом объёме и там где в 2D CV их легко можно аугментировать в 3D CV возникают проблемы. На этом занятии мы рассмотрим как изящно выйти из этой ситуации с помощью Blender
Темы лекции:
- Базовые основы моделирования и текстурирования в Blender
- Аугментация данных с помощью встроенного в Blender интерпретатора Python
На практике: произведёте аугментацию 3D скана человека с различным освещением и положением камеры для обучения аватара для метавёрса
10. Рендеринг: от классического до дифференцируемого
Трёхмерная графика развивалась на протяжение десятилетий пока нейронные сети делали неуверенные первые шаги. Чтобы извлечь максимум из этого развития, мы проведём занятие на стыке классической 3D графики и нейронных сетей
Темы лекции:
- Вспомним, как работает трёхмерный рендеринг в графике. Разберёмся как накладывается текстура
- Мотивация к существованию дифференцируемого рендеринга. Решаемые задачи
- Реализация пробрасывания градиентов через рендеринг
- Решение наиболее популярных задач с дифференцируемым рендеренгом
На практике: научитесь работать с нейронными текстурами, завтрашним днём реалистичности в компьютерных играх, на примере Deferred Neural Rendering
11. Неявные представления (NeRF)
На этом занятии мы подробно рассмотрим, что такое NeRF и какие задачи он помогает решать
Темы лекции:
- Инструменты для работы с NeRF и его обучения. Как восстанавливать 3D по меньшему числу снимков (PixelNeRF, RegNeRF)
- Как работать со снимками с разным масштабом и движущимся объектом (Mip-NeRF, NeRF-W)
- Как обучать NeRF за секунды и инференсить на телефонах (3D Gaussian Splatting, MobileNeRF)
На практике: разберётесь с fourier features в NeRF и восстановите геометрию с помощью SDF по видео
12. Gaussian Splatting
Несмотря на все преимущества подходов с неявной геометрией, они имеют и ряд проблем над которыми активно бьются лучшие умы в 3D CV. На этом занятии мы рассмотрим, что это за проблемы и какие решения существуют на текущий момент
Темы лекции:
- Предшествующие статьи и мотивация к созданию
- Математика Gaussian splatting’a
- Как сплаттинг объединяет явные и неявные представления
На практике: научитесь работать с инструментом Nerfstudio и обучите нейронную сеть для фотореалистичного рендеринга
13. Практические применения рендеринга
На этом занятии вы узнаете, какие ещё задачи помогает решать редеринг
Темы лекции:
- Восстановление геометрии из Gaussian splatting'а: Sugar и 2DGS
- Как можно анимировать неявные представления
- Как Gaussian Splatting и NeRF применяют в Метавёрс для создания аватаров
На практике: сгенерируете анимированного аватара
Кто будет преподавать
Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
PAVIS IIT
Давид Свитов
Cоздает 3D аватаров по видео. Расскажет о продвинутом NeRF и работе с Blender
Ренат Баширов
Тимлид в команде цифровых аватаров. Научит работать с параметрическими моделями людей
Samsung AI Center
НИИАС, CV Engineer
Дмитрий Раков
Работает над беспилотными поездами. Расскажет о трансформерах
Expasoft, CV Engineer
Дмитрий Чудаков
Оптимизирует сети для быстрой работы на Edge устройствах. Научит ускорять сети
Игорь Ильин
Разрабатывает SLAM Алгоритмы. Расскажет о классическом компьютерном зрении
Kudan SLAM, CV Engineer
AIT Lab
Артур Григорьев
Занимается созданием фотореалистичных аватаров и симуляцией одежды
CompVis group LMU
Ольга Гребенькова
Разрабатывает алгоритмы применения генеративных моделей к 3D данным. Расскажет об ускорении диффузионных моделей и видео диффузии
Kudan SLAM, CV Engineer
Игорь Ильин
Разрабатывает SLAM Алгоритмы. Расскажет о классическом компьютерном зрении
Expasoft, CV Engineer
Дмитрий Чудаков
Оптимизирует сети для быстрой работы на Edge устройствах. Научит ускорять сети
НИИАС, CV Engineer
Дмитрий Раков
Работает над беспилотными поездами. Расскажет о трансформерах
CompVis group LMU
Ольга Гребенькова
Разрабатывает алгоритмы применения генеративных моделей к 3D данным. Расскажет об ускорении диффузионных моделей и видео диффузии
PAVIS IIT
Давид Свитов
Cоздает 3D аватаров по видео. Расскажет о продвинутом NeRF и работе с Blender
Ренат Баширов
Тимлид в команде цифровых аватаров. Научит работать с параметрическими моделями людей
Samsung AI Center
AIT Lab
Артур Григорьев
Занимается созданием фотореалистичных аватаров и симуляцией одежды
После обучения
Чат выпускников
Сертификат о прохождении обучения
Вы попадаете в чат выпускников — чат с опытными инженерами, где мы проводим литклубы, random coffee и обсуждаем вопросы с работы
Доступ к материалам курса на один год
Комфортные условия для вашей учёбы
Полный возврат стоимости в первые 14 дней,
если поймёте, что программа вам не подходит. Если примете решение позже, вернём деньги за вычетом уже пройденных занятий
если поймёте, что программа вам не подходит. Если примете решение позже, вернём деньги за вычетом уже пройденных занятий
Налоговый вычет
получите 13% от стоимости курса после обучения
получите 13% от стоимости курса после обучения
Оплата из-за рубежа
картой иностранного банка или другими удобными способами
картой иностранного банка или другими удобными способами
Может оплатить компания. мы принимаем оплату от юрлиц, если хотите, чтобы работодатель оплатил ваше обучение, пусть ваши представители напишут нам на b2b@deepschool.ru для оформления документов и оплаты
Мы обучаем по лицензии Л035-01199-54/00734237 ↗
Начните учиться сразу
Доступ открывается сразу после оплаты: записи лекций, домашние задания с авторскими решениями и все материалы курса. Изучайте в своём темпе, возвращайтесь к нужным разделам в любой момент.
Доступен налоговый вычет
Может оплатить компания
Полный возврат в первые 14 дней
Принимаем оплату из-за рубежа
Что говорят наши выпускники
Истории про курс глазами тех, кто его успешно прошёл
Арсений Рылов
«Отличные преподаватели, темы и домашние задания. Понравилась обратная связь, готовность помогать»
Дмитрий Клестов
«Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов»
Илья Контаев
«Благодаря курсу получилось узнать про новые области CV, с которыми не сталкивался до этого. Если будут новые…»
«Курс ответил на многие интересующие вопросы уже на первом уроке. Мне понравилось как все организовано»
Назгуль
«Совершенно точно повысил свою компетентность в CV, более того курс дал дополнительный импульс»
Егор Осинкин
FAQs
Когда проходят лекции и семинары?
Лекции проходят по будням в 19:00 по московскому времени и длятся 1,5−2 часа. Q&A-сессии проходят после каждой 4-й лекции, время определяется индивидуально для каждого потока.
Смогу ли я оформить налоговый вычет?
Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Подать документы на вычет можно в году, следующем за годом оплаты обучения. Подробнее о налоговом вычете за обучение можно прочитать на сайте ФНС
Может ли моя компания оплатить курс?
Моя компания может оплатить курс?
Да, мы подготовим счёт на полную или частичную оплату для юридического лица. Напишите на hello@deepschool.ru
Скидки не распространяются на оплату курса юр. лицами, поэтому при заполнении заявки указывайте полную стоимость.
Скидки не распространяются на оплату курса юр. лицами, поэтому при заполнении заявки указывайте полную стоимость.
На сколько часов рассчитана программа?
На сколько
часов рассчитана программа?
часов рассчитана программа?
Курс включает 21 астрономический час лекций и Q&A-сессий. С учетом времени на домашние задания, учеба будет занимать примерно 8 часов в неделю. В середине курса есть перерыв на каникулы.
Что я должен знать, чтобы начать обучение?
Основы Deep Learning и Computer Vision. Мы предполагаем, что вы уже знаете теорию нейросетей и решали задачи из области компьютерного зрения. Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм Спросить в ТГ
Наши программы
Поможем освоить востребованные на рынке знания, передав секреты и опыт практикующих инженеров и исследователей
Наведите порядок в репозиториях, научитесь создавать и деплоить DL-сервисы
Деплой DL-сервисов
{{start_date:deploy}} • 4 месяца
Научитесь ускорять модели и адаптировать инференс под CPU, GPU и NPU
Ускорение нейросетей
{{start_date:speedup}} • 3 месяца
Узнайте, как решают задачи в VR/AR, беспилотниках и цифровых двойниках
3D Computer Vision
{{start_date:3dcv}} • 3 месяца
/
Записаться в лист ожидания
Погрузитесь в продвинутый Computer Vision
Наведите порядок в репозиториях, научитесь создавать и деплоить DL-сервисы
Деплой DL-сервисов
{{start_date:deploy}} • 4 месяца
Научитесь ускорять модели и адаптировать инференс под CPU, GPU и NPU
Ускорение нейросетей
{{start_date:speedup}} • 3 месяца
Узнайте, как решают задачи в VR/AR, беспилотниках и цифровых двойниках
3D Computer Vision
{{start_date:3dcv}}
Освойте теорию генеративных моделей и их обучение на практике
Generative Computer Vision
{{start_date:gencv}}
Теория, инференс, ускорение и актуальные подходы в LLM
LLM
{{start_date:llm}} • 4 месяца
CV Rocket 2.0
{{start_date:cvrocket}}
Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов, и прочитан максимально доступно. Однозначно ощущаю, что стал сильнее в Computer Vision. Все темы были интересны, но особенно выделю SLaM и Bundle Adjustment, а также NeRF.
Перед покупкой казалось, что дороговато, но сомнения не оправдались. Хотелось бы и дальше продолжать изучать материал, для меня курс закончился внезапно).
Всем лекторам спасибо — очень хорошо объясняли свои темы с зацепками где что посмотреть дополнительно. Уже посоветовал курс друзьям и коллегам
Дмитрий Клестов
Перед покупкой казалось, что дороговато, но сомнения не оправдались. Хотелось бы и дальше продолжать изучать материал, для меня курс закончился внезапно).
Всем лекторам спасибо — очень хорошо объясняли свои темы с зацепками где что посмотреть дополнительно. Уже посоветовал курс друзьям и коллегам
Дмитрий Клестов
Отличные преподаватели, темы и домашние задания. Понравилась обратная связь, готовность помогать, общение с одногруппниками в discord и уровни сложности в домашках.
Переживал, что для курса понадобятся знания С++, но оказалось нет.
Понравилось, что добавили Blender в программу: синтетические данные — сильный козырь в резюме и списке скиллов
Арсений Рылов
Переживал, что для курса понадобятся знания С++, но оказалось нет.
Понравилось, что добавили Blender в программу: синтетические данные — сильный козырь в резюме и списке скиллов
Арсений Рылов
Благодаря курсу получилось узнать про новые области CV, с которыми не сталкивался до этого. Если будут новые проекты по 3D CV, то определенно будет проще в них погружаться и работать.
Считаю, что курс хороший, стоит своих денег. Но качество покрытия разных тем меняется от лектора к лектору, больше всего понравились: теория про модель камеры, SLAM и блок про неявные представления.
Для первого знакомства с областью – очень хороший курс. Если есть какой-то опыт в одной из областей, то может не хватить глубины по ней. Но можно будет расширить кругозор по другим или смежным.
Илья Контаев
Считаю, что курс хороший, стоит своих денег. Но качество покрытия разных тем меняется от лектора к лектору, больше всего понравились: теория про модель камеры, SLAM и блок про неявные представления.
Для первого знакомства с областью – очень хороший курс. Если есть какой-то опыт в одной из областей, то может не хватить глубины по ней. Но можно будет расширить кругозор по другим или смежным.
Илья Контаев
Курс ответил на многие интересующие вопросы уже на первом уроке. Хоть я пока не досмотрела его до конца, мне понравилось как все организовано. Все очень предусмотрено: дискорд канал, телеграмм канал. Организаторы очень приятные и понимающие люди! Поэтому даже на этом уровне могу уже поставить 5!
Назгуль
Назгуль
Совершенно точно повысил свою компетентность в CV, более того курс дал дополнительный импульс углубляться именно в 3D CV.
Если оценивать по 5-балльной шкале, поставил бы курсу 5, тк:
Егор Осинкин
Если оценивать по 5-балльной шкале, поставил бы курсу 5, тк:
- Сложно найти хорошие материалы по 3D. Тут все основные темы собраны в одном месте.
- Код ревью и фидбек, особенно хочется отметить код ревью домашек по SLAM, глубокому обучению на облаках точек и неявным представлениям. В этих ДЗ было много самописного кода и большой простор для неочевидных ошибок. Во всех этих ДЗ ревьюеры нашли мои ошибки и дали развернутый фидбек как их исправить.
- Хорошее качество материалов курса, особенно учитывая что это первая итерация
- Много практики, домашки к каждой лекции чтобы закреплять темы это прям то что нужно!
- Этот курс намного лучше чем CV, которое было у меня в университете.
- Не хотелось чтобы этот курс заканчивался:)
Егор Осинкин
Есть вопросы, на которые вы не нашли ответы? Напишите нам в Telegram, ответим на все интересующие вопросы