Поймёте теорию, узнаете про основные сложности и отточите знания на практике
Ускорение нейросетей
Доступ сразу после оплаты

Научитесь решать задачи эффективно

Почему DL-инженерам важно разбираться в ускорении нейросетей

Курс для тех, кто уже работает в индустрии и хочет

Разобраться в теории

Освоить фреймворки

Поднять скиллы

Перенять опыт

Чтобы понимать, как работает каждый метод ускорения сетей
И оптимальным образом ускорять модели под каждый вычислитель
Освоить востребованный навык, чтобы поднять свою ценность
Узнать про все сложности от экспертов области
Узнаете, как устроен каждый алгоритм: дистилляция, прунинг, квантизация, матричные разложения и NAS

Ускорять инференс нейросетей

Чему вы научитесь

Ускорять инференс за счёт изменения архитектуры и утилизации вычислителя

Совмещать все методы воедино

Сможете комбинировать различные подходы и решать вытекающие трудности
Разберетесь в устройстве CPU, GPU, NPU и научитесь запускать сети на смартфонах и микрокомпьютерах

Запускать инференс на различных устройствах

Сохранять точность при ускорении

Создавать модели с высокой точностью и высоким fps даже на одноплатных компьютерах

Программа

Лекции в записи. После каждой темы — домашнее задание с авторскими решениями и дополнительными материалами.
13
лекций
13
заданий с авторскими решениями

Блок 1. Основы – 5 лекций

Научитесь ускорять инференс за счёт изменения архитектуры сети. Проведёте нейросеть через прунинг, квантизацию и дистилляцию.
1. Дистилляция
Метод для улучшения точности нейронной сети. При комбинации с другими методами — для ее ускорения
Темы лекции:
  • Дистилляция и DarkKnowledge
  • Функции потерь для дистилляции: MSE / KLD / MAE
  • Дистилляция для ускорения моделей
  • Дистилляция в классических CV-задачах: classification, detection, identification
На практике:
Научитесь дистиллировать сеть для сегментации людей
3. Low-Precision computing
Квантование нужно для представления нейронной сети через тип данных, меньший исходного. С его помощью она сможет использоваться на устройстве с малыми вычислительными ресурсами
Темы лекции:
  • 8-ми битное квантование
  • Quantization aware training как способ улучшения качества нейронной сети
  • Нестандартные типы данных: fp16 / fp8 / bfloat16
На практике:
Научитесь пользоваться фреймворком квантования torch.quantization/qnnpack
  • Post-Train quantization как способ заквантовать сетку без головной боли
  • Cовременные методы квантования: HAWQ и HAWQ-v2
2. Прунинг
Метод для сокращения вычислительных операций за счет выброса лишних нейронов
Темы лекции:
  • Критерии прунинга: L1 / L2 / taylor
  • Структурированный и неструктурированный прунинг
  • Фундаментальные свойства нейронной сети и lottery ticket hypothesis
На практике:
Научитесь прунить нейронную сеть с фреймворком для структурированного прунинга torch-pruning
5. Эффективные архитектуры
Эффективные архитектуры нейронных сетей для решения самых разных задач
Темы лекции:
  • Общие эффективные ахитектуры: MobileOne, FastVit
  • Эффективные архитектуры для детекции, или жизнь без Yolo
  • Сегментация PIDNet и DDR-Net
  • Эффективный speech2text
4. NAS
Метод для оптимального подбора архитектуры сети под конкретные задачи
Темы лекции:
  • Дифференцируемый и недифференцируемый NAS
  • DARTs как основа всех методов для дифф прунинга
  • Суперсети и подархитектуры, их связь с прунингом
  • Способы обучения суперсетей
  • Zero-shot NAS

Блок 2. LLM – 2 лекции

Познакомитесь с методами ускорения, специфичными для больших языковых моделей
1. Основы ускорения LLM
Основные рабочие лошадки для ускорения LLM'ок
Темы лекции:
  • MemoryBound вычисления, или как сделать attention быстрее
  • Особенности квантования LLM
  • Современные методы и механизмы квантования: QuIP, QuIP#, AQLM
  • Sparse-перемножение матриц и принцип работы SparseGPT
На практике:
Изучите и сравните современные библиотеки для локального инфренса LLM
2. Специфичные методы ускорения LLM
Дополнительные механизмы ускорения с обзором небольших и крупных языковых моделей
Темы лекции:
  • Conditional Inference
  • Speculative decoding
  • Small Large Language Models
На практике:
Ускорите LLM с помощью этих методов
  • Современные opensource-фреймворки для ускорения: vLLM, TensorRT-LLM, GGML

Блок 3. Девайсы – 6 лекций

Познакомитесь с ускорением сетей на x86, CPU и GPU. Научитесь запускать нейронные сети на Android, iOS и микрокомпьютерах
CPU: ARM + Android
Создание простого приложения на мобильном устройстве с использованием нейросетей и её запуск на конкретном девайсе
Темы лекции:
  • Особенности ОС Android
  • Что такое делегаты и какими они бывают
  • NN-API как основной делегат для запуска
  • Квантование TFLite
На практике:
Сравните ускорения разных нейронных сетей на мобильном телефоне
CPU: ARM + iOS
То же самое, но на iPhone с его фреймворками для запуска
Темы лекции:
  • Устройство iOS
  • Фреймворк CoreML
  • Низкоуровневые фреймворки: Metal, BNNS, Accelerate
На практике:
Создадите свое приложение с ускоренной нейронной сетью
Микроконтроллеры
Одноплатники и их особенности для нейросетей
Темы лекции:
  • Устройство и ключевые особенности
  • Производители микрокомпьютеров
Инференс на процессоре
  • Проблемные слои
Инференс на процессоре для ускорения нейронной сети
На практике:
Темы лекции:
Запустите нейронную сеть на RKNN-фреймворке для rock chip
Инференс на графическом ускорителе. Part 2
Инференс на графическом ускорителе нейронной сети
Темы лекции:
  • Cuda Event: как работают профилировщики на его основе
  • Cuda Event: как померить latency отдельных операций на конкретном примере
На практике:
Научитесь применять квантование на TRT
  • Профайлинг в торче
  • TensorRT: как посмотреть оптимизированный граф
  • TensorRT [advanced]: как запретить оптимизировать отдельные операции
Инференс на графическом ускорителе. Part 1
Инференс на графическом ускорителе нейронной сети
Темы лекции:
  • Особенности работы GPU
  • Принцип работы TensorRT
  • Понятие CudaGraph
На практике:
Научитесь применять квантование на TRT
  • Базовое устройство процессора
  • Использование фреймворка MNN
  • x86 vs ARM: особенности инференса
  • Квантование в iOS
На практике:
  • Общий workflow
Научитесь пользоваться фреймворком для квантования OpenVINO

Как именно вы освоите каждый навык

Лекции в записи на платформе — можно смотреть в удобное время, ставить на паузу и пересматривать

Изучите теорию на лекции

1.

1/5
2/5
После каждой лекции — домашнее задание для закрепления материала. Проверить себя можно по авторскому решению

Сделаете практическое задание

2.

Кто будет преподавать

Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
Александр Гончаренко
CTO в стартапе, занимается созданием R&D версий алгоритмов и проверкой первичных гипотез, которые потом допиливаются и идут во фреймворк
enot.ai
Intel
Артур Панюков
Добавляет в NLP фичи в инференс-фреймворк OpenVINO. Расскажет про особенности его работы и запуска сетей на CPU
ИТМО
Илья Ревин
Научит оптимизировать архитектуры нейросетей с помощью тензорной факторизации и аппроксимации
2GIS
Дмитрий Чудаков
Делает PhD по квантованию. Расскажет про Low-Precision computing
TapMobile
Дмитрий Гордин
Работал над видео-режимом в Android приложении Яндекс. Расскажет про работу с Android камерой, подключение OpenCV, инференс нейросетей
SkyEng
Илья Начевский
Занимается разработкой мультимодальных LLM агентов. Расскажет про ускорение LLM
enot.ai
Андрей Щербин
Имеет большой опыт в применении алгоритмов оптимизации к конкретным моделям. Расскажет про алгоритмы прунинга
Тимофей Науменко
Занимается примеркой часов и кроссовок в виртуальной реальности. До этого занимался алгоритмами автоматического поиска архитектур нейронных сетей
wanna.fashion
Prequel
Александр Ковальчук
Запускал генеративные модели на камере iOS устройства. Расскажет о конвертации нейросетей для мобильных устройств с iOS и их запуске через CoreML и TFLite
Игорь Калгин
Главный разработчик фреймворка ЕНОТ, программный архитектор. Поделится практическим опытом работы с TensorRT
enot.ai
enot.ai
Пётр Иванов
Занимается разработкой приложений на EDGE устройствах. Расскажет про эффективные архитектуры нейронных сетей
2GIS
Дмитрий Чудаков
Оптимизирует сети для быстрой работы на Edge устройствах. Научит ускорять сети
Александр Гончаренко
CTO в стартапе, занимается созданием R&D версий алгоритмов и проверкой первичных гипотез, которые потом допиливаются и идут во фреймворк
enot.ai
Intel
Артур Панюков
Добавляет в NLP фичи в инференс-фреймворк OpenVINO. Расскажет про особенности его работы и запуска сетей на CPU
enot.ai
Пётр Иванов
Занимается разработкой приложений на EDGE устройствах. Расскажет про эффективные архитектуры нейронных сетей
Игорь Калгин
Главный разработчик фреймворка ЕНОТ, программный архитектор. Поделится практическим опытом работы с TensorRT
enot.ai
ИТМО
Илья Ревин
Научит оптимизировать архитектуры нейросетей с помощью тензорной факторизации и аппроксимации
enot.ai
Андрей Щербин
Имеет большой опыт в применении алгоритмов оптимизации к конкретным моделям. Расскажет про алгоритмы прунинга
Тимофей Науменко
Занимается примеркой часов и кроссовок в виртуальной реальности. До этого занимался алгоритмами автоматического поиска архитектур нейронных сетей
wanna.fashion
TapMobile
Дмитрий Гордин
Работал над видео-режимом в Android приложении Яндекс. Расскажет про работу с Android камерой, подключение OpenCV, инференс нейросетей
SkyEng
Илья Начевский
Занимается разработкой мультимодальных LLM агентов. Расскажет про ускорение LLM
Александр Ковальчук
Запускал генеративные модели на камере iOS устройства. Расскажет о конвертации нейросетей для мобильных устройств с iOS и их запуске через CoreML и TFLite
Prequel

Что говорят наши выпускники

Истории глазами тех, кто успешно прошёл обучение
Мария Старцева
«Воспользовалась на работе некоторыми идеями и мне очень пригодился код для построения рабочих пайплайнов»
«Я был удивлен уровнем сложности и глубины информации, которую я получил на лекциях. Это второй мой курс от этой команды»
Артём Соломко
«Курс оказался крайне полезным. Благодаря лекторам, тьюторам и создателям программы, я смог углубить свои знания»
Арсений Рылов
Ольга Чаганова
«После обучения стала ощущать себя намного увереннее, многие вещи стали понятнее, осталось только углублять знания»
(Ускорение)
(CV Rocket)
(CV Rocket)
(CV Rocket)
«Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов»
Дмитрий
(3DCV)
Александр
LinkedIn
«На собеседовании за счет того, что подчерпнул на курсе об устройстве OCR, вытянул»
(CV Rocket)
Виктор Юдин
«Курс крутой, много полезного узнал. Очень удобно, что по ускорению собрали все вместе, много тем охватили!»
«Каждая лекция покрывает объёмный материал и включает практические рекомендации, которые можно применить»
Елизавета Носова
«Курс понравился: первая часть сильно ориентирована на прикладные DS задачи, мне показалась очень полезной»
Иван Петров
(Ускорение)
(Ускорение)
(Ускорение)

После обучения

Чат выпускников

Сертификат о прохождении обучения

Вы попадаете в чат выпускников — чат с опытными инженерами, где мы проводим литклубы, random coffee и обсуждаем вопросы с работы

Доступ к материалам курса на один год

Комфортные условия для вашей учёбы

Полный возврат стоимости в первые 14 дней,
если поймёте, что программа вам не подходит. Если примете решение позже, вернём деньги за вычетом уже пройденных занятий
Налоговый вычет
получите 13% от стоимости курса после обучения
Оплата из-за рубежа
картой иностранного банка или другими удобными способами
Может оплатить компания. мы принимаем оплату от юрлиц, если хотите, чтобы работодатель оплатил ваше обучение, пусть ваши представители напишут нам на b2b@deepschool.ru для оформления документов и оплаты
Мы обучаем по лицензии Л035-01199-54/00734237 ↗

Основы + Девайсы + LLM

Что входит в курс:
13 лекций
- Дистилляция
- Прунинг
- Low-Precision computing
- NAS
- Эффективные архитектуры
- Основы ускорения LLM
- Специфичные методы ускорения LLM
- Инференс на процессоре
- Инференс на GPU, ч.1
- Инференс на GPU, ч.2
- CPU: ARM + Android
- CPU: ARM + iOS
- Микроконтроллеры

Тарифы

Доступ сразу
Дополнительные материалы
Авторские решения
Домашние задания
Каждый тариф включает в себя:
Записи лекций

Основы ускорения

Что входит в курс:
5 лекций
- Дистилляция
- Прунинг
- Low-Precision computing
- NAS
- Эффективные архитектуры
- Основы ускорения LLM
- Специфичные методы ускорения LLM
- Инференс на процессоре
- Инференс на GPU, ч.1
- Инференс на GPU, ч.2
- CPU: ARM + Android
- CPU: ARM + iOS
- Микроконтроллеры
34 000 ₽

Девайсы

Что входит в курс:
6 лекций
- Дистилляция
- Прунинг
- Low-Precision computing
- NAS
- Эффективные архитектуры
- Основы ускорения LLM
- Специфичные методы ускорения LLM
- Инференс на процессоре
- Инференс на GPU, ч.1
- Инференс на GPU, ч.2
- CPU: ARM + Android
- CPU: ARM + iOS
- Микроконтроллеры
42 000 ₽

Ускорение LLM

Что входит в курс:
2 лекции
- Дистилляция
- Прунинг
- Low-Precision computing
- NAS
- Эффективные архитектуры
- Основы ускорения LLM
- Специфичные методы ускорения LLM
- Инференс на процессоре
- Инференс на GPU, ч.1
- Инференс на GPU, ч.2
- CPU: ARM + Android
- CPU: ARM + iOS
- Микроконтроллеры
22 000 ₽
59 000 ₽

FAQs

Смогу ли я оформить налоговый вычет?

Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Подать документы на вычет можно в году, следующем за годом оплаты обучения. Подробнее о налоговом вычете за обучение можно прочитать на сайте ФНС

Может ли моя компания оплатить курс?

Моя компания может оплатить курс?
Да, мы подготовим счёт на полную или частичную оплату для юридического лица. Напишите на hello@deepschool.ru
Скидки не распространяются на оплату курса юр. лицами, поэтому при заполнении заявки указывайте полную стоимость.

На сколько часов рассчитана программа?

На сколько
часов рассчитана программа?
Курс включает 25 астрономических часов лекций и Q&A-сессий. С учетом времени на домашние задания, учеба будет занимать примерно 8 часов в неделю. После каждого блока курса есть перерыв на каникулы.

Что я должен знать, чтобы начать обучение?

Основы Deep Learning и Machine learning. Мы предполагаем, что вы уже знаете теорию нейросетей. Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм Спросить в ТГ

Если у вас остались вопросы по курсу, напишите нам в Telegram

Наши программы

Поможем освоить востребованные на рынке знания, передав секреты и опыт практикующих инженеров и исследователей
Наведите порядок в репозиториях, научитесь создавать и деплоить DL-сервисы

Деплой DL-сервисов

{{start_date:deploy}} • 4 месяца
Научитесь ускорять модели и адаптировать инференс под CPU, GPU и NPU

Ускорение нейросетей

{{start_date:speedup}} • 3 месяца
Узнайте, как решают задачи в VR/AR, беспилотниках и цифровых двойниках

3D Computer Vision

{{start_date:3dcv}} • 3 месяца
Подробнее
Подробнее
Подробнее
/
Погрузитесь в продвинутый Computer Vision
Освойте теорию генеративных моделей и их обучение на практике

Generative Computer Vision

{{start_date:gencv}} • 3 месяца
Теория, инференс, ускорение и актуальные подходы в LLM

LLM

Подробнее
/
Подробнее
{{start_date:llm}} • 4 месяца

CV Rocket 2.0

Подробнее
{{start_date:cvrocket}}
Погрузитесь в продвинутый Computer Vision
Наведите порядок в репозиториях, научитесь создавать и деплоить DL-сервисы

Деплой DL-сервисов

{{start_date:deploy}} • 4 месяца
Научитесь ускорять модели и адаптировать инференс под CPU, GPU и NPU

Ускорение нейросетей

{{start_date:speedup}} • 3 месяца
Узнайте, как решают задачи в VR/AR, беспилотниках и цифровых двойниках

3D Computer Vision

{{start_date:3dcv}}
Освойте теорию генеративных моделей и их обучение на практике

Generative Computer Vision

{{start_date:gencv}}
Теория, инференс, ускорение и актуальные подходы в LLM

LLM

Подробнее
Подробнее
Подробнее
Подробнее
Подробнее
{{start_date:llm}} • 4 месяца

CV Rocket 2.0

Подробнее
{{start_date:cvrocket}}

Телеграм-канал
DeepSchool

Короткие посты по теории ML/DL, полезные библиотеки и фреймворки, вопросы с собеседований и советы, которые помогут в работе