Мы свяжемся, когда начнем собирать группу 2-го потока и подарим скидку на обучение
Курс для тех, кто уже работает в индустрии и хочет
Чтобы понимать, как работает каждый метод ускорения сетей
Разобраться в теории
И оптимальным образом ускорять модели под каждый вычислитель
Освоить фреймворки
Освоить востребованный навык, чтобы поднять свою ценность
Поднять скиллы
Узнать про все сложности от экспертов области
Перенять опыт
Чему вы научитесь
Ускорять инференс за счёт изменения архитектуры и утилизации вычислителя
Создавать модели с высокой точностью и высоким fps даже на одноплатных компьютерах
Сохранять точность при ускорении
Разберетесь в устройстве CPU, GPU, NPU и научитесь запускать сети на смартфонах и микрокомпьютерах
Запускать инференс на различных устройствах
Сможете комбинировать различные подходы и решать вытекающие трудности
Совмещать все методы воедино
Узнаете, как устроен каждый алгоритм: дистилляция, прунинг, квантизация, матричные разложения и NAS
Ускорять инференс нейросетей
На обучении вас ждёт
Онлайн-лекции, где вы слушаете инженеров, задаёте вопросы и дискутируете. В конце — тест с разбором верных ответов
Лекции с теорией
В конце каждого модуля спикеры и студенты собираются вместе, чтобы ответить на вопросы, помочь с практикой и дать совет по вашим рабочим задачам
Семинары
Обсуждайте домашние задания, рабочие задачи или просто общайтесь в чате. Кураторы курса всегда помогут решить проблемы и поделятся советом
Оперативная помощь
Вы проведёте свою модель через разные методы ускорения сетей и научитесь запускать нейросети на различных устройствах
Практические задания
Десять онлайн-лекций, много практики и общения с другими инженерами
Программа
Программа рассчитана на 10 недель, ей нужно будет посвящать в среднем 8 часов в неделю
10
недель
10
лекций
8
часов в неделю
Научитесь ускорять инференс за счет изменения архитектуры сети. Проведете нейросеть через прунинг, квантизацию и дистилляцию
Проведете нейросеть через разные методы ускорения
Первый блок
Поймёте теорию,стоящую за каждым из методов. Разберетесь в свойствах и ограничениях каждого из них
Научитесь комбинироватьразные методы воедино, и узнаете, какие нюансы есть в каждом методе
Методы ускорения нейросетей
5 лекций
Модуль 1
→ Distillation
Предлагается начать с метода, который можно рассматривать не столько как способ ускорения сети, а как способ увеличить её точность. Этот метод может быть использован в комбинациях с другими методами для ускорения нейронных сетей
Темы лекции:
Понятие дистилляции и DarkKnowledge
Функции потерь для дистилляции нейронной сети: MSE / KLD / MAE
Дистилляция для уменьшения архитектуры
Дистилляция в классических CV-задачах: classification, detection, identification
На практике: научитесь дистиллировать сеть для задачи сегментации человека
→ Pruning
Метод выбрасывает лишние нейроны, уменьшая количество вычислительных операций
Фундаментальные свойства нейронной сети и lottery ticket hypothesis
На практике: научитесь прунить нейронную сеть фреймворке для структурированного прунинга torch-pruning
→ Matrix Decomposition
На этой лекции вы узнаете про низкоранговые разложения как способ изменить архитектуру сети, представив её в виде комбинации более легких операций
Темы лекции:
Сингулярное разложение
Каноническое разложение
Разложение в тензорный поезд
На практике: научитесь пользоваться фреймворком tensorly для задач ускорения
→ Low-Precision computing
Квантование — это способ представить нейросеть в другом типе данных, который меньше исходного. Это нужно для того, чтобы нейросеть могла использоваться на устройстве с малыми вычислительными ресурсами
Темы лекции:
Квантование в 8 бит
Quantization aware training как способ поднять качество нейронной сети
fp16/fp8/bfloat16 и прочие нестандартные типы данных
На практике: вы научитесь пользоваться фреймворком квантование torch.quantization/qnnpack
Post-Train quantization
Cовременные методы: HAWQ и HAWQ-v2
→ NAS
Более общий метод подбора архитектуры сети, который позволяет найти её оптимальным образом для определенной задачи
Темы лекции:
Дифференцируемый / не дифференцируемый NAS
DARTs как основа всех методов для дифф прунинга
Суперсети и подархитектуры, связь с прунингом
Способы обучения суперсетей
Zero-shot NAS
Узнаете, как использовать особенности железа: CPU (x86 и ARM), GPU и NPU. Научитесь запускать сети на смартфонах и микроконтроллерах
Научитесь запускать модели на разных вычислителях
Второй блок
Разберётесь в вычислителях:какие особенности есть в каждом и как их использовать для ускорения сети
Освоите фреймворкиOpenVino, TensorRT, NNApi, чтобы ускорять сети оптимальным образом под каждую архитектуру
Инференс на вычислителе
5 лекций
Модуль 2
→ CPU part 1. x86
На лекции вы узнаете, какие есть особенности в инференсе на процессоре, и как использовать эти особенности для ускорения нейросети
Темы лекции:
Базовое устройство процессора
Отличие x86 от ARM. Особенности инференса
На практике: научитесь пользоваться фреймворком для квантование OpenVINO
→ CPU part 2. Android
После получения маленькой модели необходимо попробовать запустить ее на конкретном девайсе. Для этого необходимо написать простейшее приложение на том или ином мобильном устройстве с ее использованием
Темы лекции:
Андроид
NeuralNetwork-API
На практике: получите приложение со своей ускоренной нейронной сетью
→ Микроконтроллеры
На лекции вы узнаете, какие есть одноплатники, особенности их устройства и как использовать эти особенности для ускорения нейросети
Темы лекции:
Устройство
Базовые особенности
На практике: выполните запуск на RKNN фреймворке для рок чипа
→ GPU
На лекции вы узнаете, какие есть особенности в инференсе на графическом ускорителе и как использовать эти особенности для ускорения нейросети
Темы лекции:
Устройство, базовые особенности
Принцип работы TensorRT
Что такое CudaGraph
На практике: примените квантование на TRT
→ NPU
На лекции вы узнаете, как обстоит дело на рынке специализированных процессоров и стоит ли нам ждать очередного «убийцу» ГПУ
Темы лекции:
Принципы работы систоллического массива
Основные трудности проектирования тензорных процессоров
Обзор современного ссотояния дел в области. Основные игроки и их подходы
Обзор лидеров индустрии
Записаться в лист ожидания
Мы свяжемся, когда начнем собирать группу 2-го потока и подарим скидку на обучение
Кто будет преподавать
Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
enot.ai
Александр Гончаренко
CTO в стартапе, занимается созданием R&D версий алгоритмов и проверкой первичных гипотез, которые потом допиливаются и идут во фреймворк
Intel
Артур Панюков
Добавляет в NLP фичи в инференс-фреймворк OpenVINO. Расскажет про особенности его работы и запуска сетей на CPU
rembrain.ai
Антон Мальцев
Специальный гость курса. Расскажет об ускорении на одноплатниках
Expasoft
Дмитрий Чудаков
Оптимизирует сети для быстрой работы на Edge устройствах. Эксперт по квантованию нейросетей
enot.ai
Игорь Калгин
Главный разработчик фреймворка ЕНОТ, программный архитектор. Поделится практическим опытом работы с TensorRT
Expasoft
Илья Багдюнов
Занимается запуском сетей на различный устройствах. Расскажет про запуск сетей на Android
enot.ai
Андрей Щербин
Имеет большой опыт в применении алгоритмов оптимизации к конкретным моделям. Расскажет про алгоритмы прунинга
wanna.fashion
Тимофей Науменко
Занимается примеркой часов и кроссовок в виртуальной реальности. До этого занимался алгоритмами автоматического поиска архитектур нейронных сетей
Сколтех
Константин Созыкин
Работает с прикладными методами оптимизации и высокопроизводительными вычислениями. Расскажет о применении матричных и тензорных методов
enot.ai
Александр Гончаренко
CTO в стартапе, занимается созданием R&D версий алгоритмов и проверкой первичных гипотез, которые потом допиливаются и идут во фреймворк
Intel
Артур Панюков
Добавляет в NLP фичи в инференс-фреймворк OpenVINO. Расскажет про особенности его работы и запуска сетей на CPU
rembrain.ai
Антон Мальцев
Специальный гость курса. Расскажет об ускорении на одноплатниках
Expasoft
Дмитрий Чудаков
Оптимизирует сети для быстрой работы на Edge устройствах. Эксперт по квантованию нейросетей
enot.ai
Игорь Калгин
Главный разработчик фреймворка ЕНОТ, программный архитектор. Поделится практическим опытом работы с TensorRT
enot.ai
Андрей Щербин
Имеет большой опыт в применении алгоритмов оптимизации к конкретным моделям. Расскажет про алгоритмы прунинга
wanna.fashion
Тимофей Науменко
Занимается примеркой часов и кроссовок в виртуальной реальности. До этого занимался алгоритмами автоматического поиска архитектур нейронных сетей
Сколтех
Константин Созыкин
Работает с прикладными методами оптимизации и высокопроизводительными вычислениями. Расскажет о применении матричных и тензорных методов
Expasoft
Илья Багдюнов
Занимается запуском сетей на различный устройствах. Расскажет про запуск сетей на Android
Мы свяжемся, когда начнем собирать группу 2-го потока и подарим скидку на обучение
Доступен налоговый вычет
Может оплатить компания
Полный возврат в первые 14 дней
Принимаем оплату из-за рубежа
FAQs
Когда проходят лекции и семинары?
Когда проходят лекции и семинары?
Лекции проходят по будням в 18:00 МСК и длятся от 90 до 120 минут. Онлайн-семинары проходят после каждой 5-й лекции
Смогу ли я оформить налоговый вычет?
Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Подать документы на вычет можно в году, следующем за годом оплаты обучения. Подробнее о налоговом вычете за обучение можно прочитать на сайте ФНС
Может ли моя компания оплатить курс?
Моя компания может оплатить курс?
Да, мы подготовим счёт на полную или частичную оплату для юридического лица. Напишите на hello@deepschool.ru
На сколько часов рассчитана программа?
На сколько часов рассчитана программа?
20 астрономических часов на лекции и ~30 часов практики или примерно 8 часов в неделю, что позволяет комфортно встроить обучение в рабочий график
Что делать, если нет доступной GPU?
Если у вас нет в доступе машины с GPU, мы предоставим кредиты на аренду удаленной машины и подскажем, как настроить подключение к ней
Что я должен знать, чтобы начать обучение?
Основы Deep Learning и Computer Vision. Мы предполагаем, что вы уже знаете теорию нейросетей и решали задачи из области компьютерного зрения. Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм Спросить в ТГ
Телеграм-канал DeepSchool
Короткие посты по теории ML/DL, полезные библиотеки и фреймворки, вопросы с собеседований и советы, которые помогут в работе
Курс авторский и уникальный. Хоть темы и стандартные для CV, в лекциях было очень много практических вещей из опыта лекторов, которые в интернете вряд ли найдешь. После обучения стала ощущать себя намного увереннее, многие вещи стали понятнее, осталось только углублять знания. Но базу курс дает хорошую, могу рекомендовать всем начинающим специалистам.
Я проходила курс и сразу применяла на практике в работе новые знания. Например, перешла на pytorch lightning, стала лучше организовывать и писать код. Docker и Gitlab CI/CD больше не пугают. Вообще для меня курс многое разложил, как правильно и лучше делать с точки зрения software engineering.
Отдельно хочу отметить очень вовлеченную и позитивную команду преподавателей, которые все отвечали на вопросы подробно и понятно, добирались до самой сути. Отдельное почтение Артему за обширные познания и полезные замечания на код-ревью и Сергею, за то что несколько дней помогал разобраться со вторым дз, и все-таки мы ее побороли :) такая вовлеченность и поддержка дорого стоят, ребятам большое спасибо за атмосферу!
Ольга Чаганова
Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов, и прочитан максимально доступно. Однозначно ощущаю, что стал сильнее в Computer Vision. Все темы были интересны, но особенно выделю SLaM и Bundle Adjustment, а также NeRF.
Перед покупкой казалось, что дороговато, но сомнения не оправдались. Хотелось бы и дальше продолжать изучать материал, для меня курс закончился внезапно).
Всем лекторам спасибо — очень хорошо объясняли свои темы с зацепками где что посмотреть дополнительно. Уже посоветовал курс друзьям и коллегам
Дмитрий
Хочу поблагодарить всю вашу команду за прекрасный курс! Преподаватели отличные, хорошо подготовлен материал.
Воспользовалась на работе некоторыми идеями и мне очень пригодился код для построения рабочих пайплайнов, как пример best practices, что мне так не хватает в нашем стартапе)
Большое спасибо вам всем, и желаю удачи вашему проекту, в свою очередь буду рекомендовать вас знакомым)
Мария Старцева
Курс оказался крайне полезным. Благодаря лекторам, тьюторам и создателям программы, я смог углубить свои знания в задачах классификации, сегментации, распознавании лиц, и Ганах, - то с чем уже имею дело или очень хочу начать.
Не ожидал и был приятно удивлен индивидуальным подходом к студентам и готовностью преподавателей тратить время на консультации, отвечать на все вопросы (часто не связанные непосредственно с лекциями и курсом), помогать с организацией облачного пространства для вычислений. Чувствуется как много вложили и продолжают вкладывать создатели в курс и развитие сообщества (я подписан на телеграм канал и с интересом слежу за публикациями).
Также понимаю, как важно было сделать полноценную встречу-знакомство, сеанс с психологом и встречу по итогам курса. Благодаря этим мероприятиям появились горизонтальные связи и я услышал про увлекательный опыт других участников. Все организаторы и однокурсники - отзывчивые и доброжелательные и нацелены на результат студентов. Особо запомнились Тимур, Артем, Сергей, Дмитрий.
Арсений Рылов
Хочу сказать, что это, пожалуй, лучший курс по ML, который я проходила (а у меня достаточно лет опыта в ML, поэтому знаю о чем говорю :))
Каждая лекция проводится профессионалом в своей теме, который старается выложиться по максимуму, выходит за рамки стандартной лекции, отвечает с энтузиазмом на все вопросы. Все материалы хорошо подготовлены, к каждой лекции есть непростое интересное домашнее задание, которое дает возможность погрузиться в тему и набить руку. Я совмещала курс с фулл-тайм работой, прослушала все лекции, но мне не хватило времени сделать все домашки, часть из них уже доделала после курса.
Еще важный аспект - это классная мотивирующая атмосфера курса. Очень уютно и камерно. Индивидуальный подход, подробное код ревью, шутейки в слайдах.
Спасибо ребятам за отличный курс и прокачку в современном CV! Желаю успехов в создании лучшей DL/ML онлайн школы!
Галина Альперович
Хочу поделиться хорошей новостью - устроился в австралийскую компанию, буду заниматься облаком OCR) На собеседовании за счет того, что подчерпнул на курсе об устройстве OCR, вытянул - сказали, что как будто у них уже года полтора работаю, такое понимание процессов). Собственно, все, что хотел сказать, просто спасибо за курс)
Александр
Сомневался перед покупкой, темы в анонсе интересные, но какие-то неизвестные ребята организуют, ссылок нигде нет, боялся, что возможен обман. Потом думал, стоит ли это тех денег) Но сомнения не оправдались, ребята позитивные, темы были раскрыты достаточно полно, хорошая атмосфера на лекциях, спикеры все молодцы) так же помощь по непонятным моментам в заданиях была на высшем уровне (спасибо за терпение:) ) Курс очень хороший, советую своим коллегам пройти.
Самая интересная тема - OPS, полезно применять в боевых проектах, чего до этого не делал практически. Было очень подробно объяснено все. Еще наверное потому что дольше всего с ней бился) так же был интересен пайплайн обучения.
На бою начал использовать dvc для хранения моделей. Еще не начал использовать, но пытаюсь внедрить clearML, CI/CD, пайплайн для детекции объектов. Так же в планах внедрить тестирование, возможно попробовать обучать на DALLI. Толоку для каких-то второстепенных задач возможно буду использовать, так как для разметки данных есть команда в штате.
В целом все круто, спасибо)
Виктор Юдин
Все, что было сказано на сайте и даже больше было на курсе) Моей целью было повышение квалификации до Jun+/Middle, смог ее достичь и найти подходящую работу. И благодаря курсу чувствовал себя увереннее во время поиска. Очень понравились групповые работы и ревью. У меня такой проверки кода никогда не было, дают все советы, ссылки. Все ребята открыты к вопросам, часто их задавал, все подробно объясняют и приводят примеры.
Две домашних работы - стали двумя моими полноценными проектами, которые я могу уже показать людям. Проекты сильно прокачали, особенно после работы с ревью. На курсе много разных специалистов, не только ML, но и разработчики.
Однозначно осталось только положительное впечатление о курсе. Крутой курс, очень понравились и домашки, и ревью, поддержка и кураторов и студентов. Думаю, такой курс один в России не для новичков, а именно для ребят с опытом, таких больше даже не знаю. Очень рад, что попал к ребятам, желаю продвижения!
Руслан
Курс дал возможность посмотреть на best practice в ML/DL, узнать, что люди используют, что сейчас модно. Настоящий обмен опытом. В домашних работах очень качественное код ревью, в то время как на работе код ревью обычно ограничивается аппрув/не аппрув. На курсе дают знания, которые можно сразу использовать на практике: CI/CD и Ansible было очень полезно, нормально настроил линтер и автотесты.
Понравилось, что в достаточно короткий промежуток времени, по сравнению с другими курсами, что я проходил, умещается большая концентрация знаний. Самый useful курс из всех, что я проходил! Ребята с опытом, рассказывают кейсы из жизни: это очень классно, любой рассказ подкреплен настоящим делом.