Погрузитесь в продвинутый Computer Vision: от сложностей и корнер-кейсов в «обычных» задачах до мультимодальных моделей и дизайна CV-систем
Курс подойдёт CV-инженерам всех грейдов
Junior
Middle
Senior
узнаете теорию и закрепит на практике
систематизируете знания и закроет пробелы
подсмотрите на практики других команд
Важно знать основы DL и работать с Python и PyTorch
1. Математика для ML и основы DL
Необходимо знать, что такое производная, матричное умножение, скалярное произведение, градиентный спуск, дифференцируемость, как работают оптимизаторы SGD/Adam, что такое кроссэнтропийная функция потерь
Будем писать функции и классы. Домашние задания будут на PyTorch, OpenCV, NumPy. Часть из них будет в py-скриптах
2. Базовое знание Python и PyTorch
Будем разбирать последние подходы в CV и сложные задачи, поэтому необходимо знать про работу свёртки и о других базовых понятиях
3. Опыт в Computer Vision
4. Навыки работы с данными
Нужно иметь опыт с данными: предобработка, визуализация, анализ
Программа
Лекция каждую неделю. После каждой темы — домашнее задание с фидбеком от лектора. Раз в 4−5 недель — Q&A-сессия для разбора вопросов. В середине курса есть перерыв на каникулы.
4 месяца
13 лекций
13 заданий с фидбеком от преподавателей
01. Подготовка данных
Разберём основные источники открытых данных и научимся быстро находить, скачивать и курировать датасеты через API. Освоим визуализацию изображений и аннотаций. Познакомимся с инструментами для разметки и генерации синтетических данных.
Авторазметка через модели (HuggingFace, VLM)
Разметка данных: Label Studio, CVAT
Визуализация данных: Matplotlib, Plotly, FiftyOne
PapersWithCode, Academic Torrents и другие источники
Kaggle API: поиск датасетов, загрузка и обработка данных
HuggingFace: поиск и загрузка данных через API
Основные темы:
Скраппинг данных и генерация синтетики
02. Качество данных и улучшение разметки
Научимся оценивать качество данных, устранять шум и улучшать разметку с помощью активного обучения. Разберёмся с атаками на модели через отравление данных и методами защиты
Деградация моделей при обновлении датасетов
Уязвимости моделей к data poisoning
Выявление и устранение «мусорных» данных
Множественная разметка и оценка согласованности
Active Learning: цикл обучения, выбор «оракула»
Критерии качества данных
Основные темы:
03. Секреты успешных архитектур
Познакомимся с эволюцией архитектур нейросетей в CV и разберём ключевые улучшения, ускоряющие обучение и инференс. Освоим адаптивные методы дообучения без изменения основной архитектуры
Адаптеры (LoRA) для точечной настройки моделей
Оптимизация кеша, отказ от skip connections
MobileNet, EfficientNet, FastViT
Трансформеры и Multihead Attention
ResNet, DenseNet, Unet, BatchNorm
Основные темы:
04. Обучение метрики и быстрый векторный поиск
Разберём постановку задачи metric learning и её связь с классификацией. Освоим контрастное обучение и построение векторных индексов для поиска в embedding-пространстве
Векторные базы данных и их метрики
KD-деревья, KMeans, PQ, HNSW
ArcFace, CosFace, Contrastive loss, Triplet loss
Open-set и closed-set валидация
Основные темы:
05. Детекция объектов
Разберём подходы к детекции, включая anchor-based и anchor-free методы. Узнаем, когда стандартные модели недостаточно хороши и как их адаптировать под сложные кейсы
Open Vocabulary Detection: YOLO-World, GLEE, Florence-2
Дополнительные свойства объектов: ключевые точки, домены
Тюнинг детекторов под специфические задачи
YOLO: развитие архитектуры
Основные темы:
06. Сегментация
Разберём основные подходы к сегментации изображений, включая современные фундаментальные модели. Обсудим сложные кейсы и методы их решения
Проблемы масок: «рваные» границы, сложные структуры
Оптимизация сегментации для больших изображений
Mask2Former, SAM, GLEE, Florence-2
Semantic и Instance Segmentation
Основные темы:
07. Optical Character Recognition (OCR)
Освоим пайплайн OCR: от детекции текста до его распознавания. Познакомимся с современными моделями и VLM, применяемыми в OCR-задачах
Трансформеры в OCR: TrOCR, LayoutLM, Donut
Препроцессинг, постпроцессинг и синтетические данные
Графовые сети для извлечения информации
Распознавание текста: CRNN, CTC Loss
Детекция текста: CRAFT, DB
Основные темы:
08. Поиск ошибок и интерпретируемость моделей
Научимся анализировать аномалии в процессе обучения и инференса. Освоим методы интерпретации моделей, такие как GradCAM и Test-Time Augmentation
GradCAM, Class Activation Maps, Captum
Аномальное поведение на инференсе
Выявление проблемных данных через кросс-валидацию
Визуализация активаций, норм и градиентов
Основные темы:
09. Self-supervised Learning
Освоим подходы к обучению без разметки, включая автокодировщики и контрастное обучение. Разберём способы переноса знаний между доменами
Сопоставление разных модальностей (изображение-текст, видео-звук)
SimCLR, BYOL и другие методы SSL
Jigsaw puzzle, автокодировщики, восстановление части изображения
Основные темы:
10. Работа с видео
Познакомимся с обработкой видео и адаптацией CV-моделей под временные данные. Разберём как построить эффективные пайплайны для видеоаналитики
Фундаментальные видео-модели
2D+1D модели, оптический поток, 3D-свёртки
Ошибки сжатия и восстановления видео
Декодирование видео, раскадровка, работа с FFMPEG
Основные темы:
11. Задачи на видео
Рассмотрим ключевые задачи CV для видео: трекинг, распознавание действий, мультимодальные модели с аудио
Интеграция аудио в CV-модели
Action Recognition: трекинг ключевых точек, жесты
Реидентификация объектов
Объектный трекинг: Kalman filter, FairMOT, HNSW
Основные темы:
12. Мультимодальные модели
Разберём современные подходы к объединению изображений, текста и других модальностей в единое представление
Раз в 4−5 недель спикеры и кураторы собираются в zoom, чтобы ответить на ваши вопросы, помочь с практикой, обсудить задачи
05. Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом
Кто будет преподавать
Опытные инженеры будут вести Zoom-лекции и семинары, отвечать на ваши вопросы и ревьюить код
Тимлид команды распознавания лиц. Расскажет как решать metric learning задачи
Андрей Шадриков
verigram.ai
Expasoft
Дмитрий Чудаков
Оптимизирует сети. Расскажет про детекцию и секреты успешных архитектур
НИИАС
Дмитрий Раков
Руководит командой ML, которая занимается разработкой беспилотных поездов в AO НИИАС
Работал над сервисом распознавания документов. Расскажет о распознавании текста
Василий Баранов
Авито
verigram.ai
Андрей Шадриков
Тимлид команды распознавания лиц. Расскажет как решать metric learning задачи
Expasoft
Дмитрий Чудаков
Оптимизирует сети для быстрой работы на Edge устройствах. Научит ускорять сети
НИИАС
Дмитрий Раков
Работает над беспилотными поездами. Расскажет о трансформерах
Авито
Василий Баранов
Работал над сервисом распознавания документов. Расскажет о распознавании текста
После обучения
Чат выпускников
Сертификат о прохождении обучения
Вы попадаете в чат выпускников — чат с опытными инженерами, где мы проводим литклубы, random coffee и обсуждаем вопросы с работы
Доступ к материалам курса на один год
Комфортные условия для вашей учёбы
Полный возврат стоимости в первые 14 дней, если поймёте, что программа вам не подходит. Если примете решение позже, вернём деньги за вычетом уже пройденных занятий
Налоговый вычет получите 13% от стоимости курса после обучения
Оплата из-за рубежа картой иностранного банка или другими удобными способами
Может оплатить компания. мы принимаем оплату от юрлиц, если хотите, чтобы работодатель оплатил ваше обучение, пусть ваши представители напишут нам на b2b@deepschool.ru для оформления документов и оплаты
Лекции проходят по будням в 19:00 по московскому времени и длятся 1,5−2 часа. Q&A-сессии проходят после каждой 5-й лекции, время определяется индивидуально для каждого потока.
Смогу ли я оформить налоговый вычет?
Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Подать документы на вычет можно в году, следующем за годом оплаты обучения. Подробнее о налоговом вычете за обучение можно прочитать на сайте ФНС
Может ли моя компания оплатить курс?
Моя компания может оплатить курс?
Да, мы подготовим счёт на полную или частичную оплату для юридического лица. Напишите на hello@deepschool.ru Скидки не распространяются на оплату курса юр. лицами, поэтому при заполнении заявки указывайте полную стоимость.
Ни разу не пожалел, что решил пройти курс «Деплой DL-сервисов» — программа насыщенная и продуманная. Лекции ведут опытные и приятные спикеры, а домашние задания (иногда требующие серьезных усилий) и код-ревью помогают глубже разобраться в теме.
Благодаря курсу я понял, как организовать разработку проектов так, чтобы код был понятным для коллег и удобным для меня самого даже спустя время. Особенно рекомендую курс тем, кто работает в молодых командах, где есть простор для улучшения качества разработки.
Александр Федоров
Получил обратную связь по коду, это помогло подправить свои привычки и изменить свои подходы: как раз то, чего я хотел от курса. Теперь на работе все по-человечески: на каждую задачу свой репозиторий, документация, пишу тесты.
Мне удалось справиться с синдромом самозванца за счет обратной связи, это как раз то, чего хотелось получить от такого более продвинутого курса. Был удивлен подробным код ревью домашних заданий, с объяснениями почему, при этом быстро. Появлялось желание посидеть, разобрать каждый комментарий
Артём Соломко
Хочу сказать, что это, пожалуй, лучший курс по ML, который я проходила (а у меня достаточно лет опыта в ML, поэтому знаю о чем говорю :))
Каждая лекция проводится профессионалом в своей теме, который старается выложиться по максимуму, выходит за рамки стандартной лекции, отвечает с энтузиазмом на все вопросы. Все материалы хорошо подготовлены, к каждой лекции есть непростое интересное домашнее задание, которое дает возможность погрузиться в тему и набить руку. Я совмещала курс с фулл-тайм работой, прослушала все лекции, но мне не хватило времени сделать все домашки, часть из них уже доделала после курса.
Еще важный аспект - это классная мотивирующая атмосфера курса. Очень уютно и камерно. Индивидуальный подход, подробное код ревью, шутейки в слайдах.
Спасибо ребятам за отличный курс и прокачку в современном CV! Желаю успехов в создании лучшей DL/ML онлайн школы!
Галина Альперович
Я являюсь тем счастливчиком, которому удалось пройти данный курс, и хочу выразить безмерную благодарность всей команде, которая готовила материалы и задания. Вы — бесспорно лучшие! На каждой лекции я удивлялся тому, насколько разносторонними и крутыми «дядями» являются лекторы, но это только больше мотивировало к тому, чтобы я освоил нужные инструменты. Все темы разобраны максимально подробно с живыми примерами и даже групповыми интерактивами, а домашния задания позволяют хорошенько самому покопаться в деталях и сделать работающие решения.
Могу с уверенностью заявить, что все рассматриваемые инструменты подобраны так, чтобы по итогу программы навыки и резюме слушателя отражали все тенденции рынка. Освоенный материал сделал мои тоже более востребованными — за время курса я успешно прошел 3 собеседования на позиции, где требовались изученные инструменты, и мои знания оказались даже глубже, чем было необходимо.
Поэтому я настоятельно рекомендую данную программу, благодарю авторов и желаю успехов будущим слушателям!
Алексей Андреев
Ранее я уже проходил другой курс по MLOps, но он оставил больше вопросов, чем ответов. Курс DeepSchool как будто разложил все по полочкам. Материал структурированный, преподаватели всегда на связи, интересные домашние задания и лекции. Я узнал очень много нового и теперь активно применяю это в работе. Было не просто разбираться с новыми инструментами и фреймворками, но сейчас понимаю насколько сильно это уже начало упрощать мне ведение проектов.
Иван Малютин
Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов, и прочитан максимально доступно. Однозначно ощущаю, что стал сильнее в Computer Vision. Все темы были интересны, но особенно выделю SLaM и Bundle Adjustment, а также NeRF.
Перед покупкой казалось, что дороговато, но сомнения не оправдались. Хотелось бы и дальше продолжать изучать материал, для меня курс закончился внезапно).
Всем лекторам спасибо — очень хорошо объясняли свои темы с зацепками где что посмотреть дополнительно. Уже посоветовал курс друзьям и коллегам
Дмитрий
Курс авторский и уникальный. Хоть темы и стандартные для CV, в лекциях было очень много практических вещей из опыта лекторов, которые в интернете вряд ли найдешь. После обучения стала ощущать себя намного увереннее, многие вещи стали понятнее, осталось только углублять знания. Но базу курс дает хорошую, могу рекомендовать всем начинающим специалистам.
Я проходила курс и сразу применяла на практике в работе новые знания. Например, перешла на pytorch lightning, стала лучше организовывать и писать код. Docker и Gitlab CI/CD больше не пугают. Вообще для меня курс многое разложил, как правильно и лучше делать с точки зрения software engineering.
Отдельно хочу отметить очень вовлеченную и позитивную команду преподавателей, которые все отвечали на вопросы подробно и понятно, добирались до самой сути. Отдельное почтение Артему за обширные познания и полезные замечания на код-ревью и Сергею, за то что несколько дней помогал разобраться со вторым дз, и все-таки мы ее побороли :) такая вовлеченность и поддержка дорого стоят, ребятам большое спасибо за атмосферу!
Ольга Чаганова
Хочу поделиться хорошей новостью - устроился в австралийскую компанию, буду заниматься облаком OCR) На собеседовании за счет того, что подчерпнул на курсе об устройстве OCR, вытянул - сказали, что как будто у них уже года полтора работаю, такое понимание процессов). Собственно, все, что хотел сказать, просто спасибо за курс)
Александр
Есть вопросы, на которые вы не нашли ответы? Напишите нам в Telegram, ответим на все интересующие вопросы