Есть вопросы по курсу?

напишите нам в Telegram, ответим на все вопросы

Научитесь решать задачи эффективно

Старт в январе
Ускорение нейросетей
Объясним теорию, расскажем про основные сложности и поможем отточить знания на практике
Ускорение нейросетей

Курс для тех, кто уже работает в индустрии и хочет

Разобраться в теории

Освоить фреймворки

Поднять скиллы

Перенять опыт

Чтобы понимать, как работает каждый метод ускорения сетей
И оптимальным образом ускорять модели под каждый вычислитель
Освоить востребованный навык, чтобы поднять свою ценность
Узнать про все сложности от экспертов области
Узнаете, как устроен каждый алгоритм: дистилляция, прунинг, квантизация, матричные разложения и NAS

Ускорять инференс нейросетей

Чему вы научитесь

Ускорять инференс за счёт изменения архитектуры и утилизации вычислителя

Совмещать все методы воедино

Сможете комбинировать различные подходы и решать вытекающие трудности
Разберетесь в устройстве CPU, GPU, NPU и научитесь запускать сети на смартфонах и микрокомпьютерах

Запускать инференс на различных устройствах

Сохранять точность при ускорении

Создавать модели с высокой точностью и высоким fps даже на одноплатных компьютерах

Программа

3 блока рассчитаны на 19 недель, программе нужно будет посвящать в среднем 8 часов в неделю
19
недель
15
лекций
8
часов в неделю

Блок 1. База – 10 лекций

Научитесь ускорять инференс за счёт изменения архитектуры сети. Проведёте нейросеть через прунинг, квантизацию и дистилляцию. А ещё познакомитесь с ускорением сетей на популярных x86 CPU и GPU
1. Distillation
Метод для улучшения точности нейронной сети. При комбинации с другими методами — для ее ускорения
Темы лекции:
  • Дистилляция и DarkKnowledge
  • Функции потерь для дистилляции: MSE / KLD / MAE
  • Дистилляция для ускорения моделей
  • Дистилляция в классических CV-задачах: classification, detection, identification
На практике:
Научитесь дистиллировать сеть для сегментации людей
2. Pruning
Метод для сокращения вычислительных операций за счет выброса лишних нейронов
Темы лекции:
  • Критерии прунинга: L1 / L2 / taylor
  • Структурированный и неструктурированный прунинг
  • Фундаментальные свойства нейронной сети и lottery ticket hypothesis
На практике:
Научитесь прунить нейронную сеть с фреймворком для структурированного прунинга torch-pruning
3. Matrix decomposition
Низкоранговые разложения для изменения архитектуры сети — комбинации более лёгких операций
Темы лекции:
  • Сингулярное разложение
  • Каноническое разложение
  • Разложение в тензорный поезд
На практике:
Научитесь пользоваться фреймворком tensorly для задач ускорения
4. Low-Precision computing
Квантование нужно для представления нейронной сети через тип данных, меньший исходного. С его помощью она сможет использоваться на устройстве с малыми вычислительными ресурсами
Темы лекции:
  • 8-ми битное квантование
  • Quantization aware training как способ улучшения качества нейронной сети
  • Нестандартные типы данных: fp16 / fp8 / bfloat16
На практике:
Научитесь пользоваться фреймворком квантования torch.quantization/qnnpack
  • Post-Train quantization как способ заквантовать сетку без головной боли
  • Cовременные методы квантования: HAWQ и HAWQ-v2
5. NAS
Метод для оптимального подбора архитектуры сети под конкретные задачи
Темы лекции:
  • Дифференцируемый и недифференцируемый NAS
  • DARTs как основа всех методов для дифф прунинга
  • Суперсети и подархитектуры, их связь с прунингом
6. Эффективные архитектуры
Эффективные архитектуры нейронных сетей для решения самых разных задач
Темы лекции:
  • Общие эффективные ахитектуры: MobileOne, FastVit
  • Эффективные архитектуры для детекции, или жизнь без Yolo
  • Сегментация PIDNet и DDR-Net
  • Эффективный speech2text
  • Способы обучения суперсетей
  • Zero-shot NAS
7. Инференс на процессоре
Инференс на процессоре для ускорения нейронной сети
Темы лекции:
  • Базовое устройство процессора
  • x86 vs ARM: особенности инференса
8. Инференс на графическом ускорителе. Part 1
Инференс на графическом ускорителе нейронной сети
Темы лекции:
  • Особенности работы GPU
  • Принцип работы TensorRT
  • Понятие CudaGraph
На практике:
Научитесь пользоваться фреймворком для квантования OpenVINO
На практике:
Научитесь применять квантование на TRT
9. Инференс на графическом ускорителе. Part 2
Инференс на графическом ускорителе нейронной сети
Темы лекции:
  • Cuda Event: как работают профилировщики на его основе
  • Cuda Event: как померить latency отдельных операций на конкретном примере
10. Рынок специализированных процессоров
Особенности рынка специализированных процессоров: стоит ли нам ждать очередного киллера GPU?
Темы лекции:
  • Принципы работы систоллического массива
  • Трудности проектирования тензорных процессоров
  • Актуальные события в области: основные игроки и их подходы
На практике:
Научитесь применять квантование на TRT
На практике:
Напишите свой систоллический массив
  • Профайлинг в торче
  • TensorRT: как посмотреть оптимизированный граф
  • TensorRT [advanced]: как запретить оптимизировать отдельные операции

Блок 2. NLP – 2 лекции

Познакомитесь с методами ускорения, специфичными для больших языковых моделей
Part 1. Ключевые методы ускорения LLM
Основные рабочие лошадки для ускорения LLM'ок
Темы лекции:
  • MemoryBound вычисления, или как сделать attention быстрее
  • Особенности квантования LLM
  • Современные методы и механизмы квантования: QuIP, QuIP#, AQLM
  • Sparse-перемножение матриц и принцип работы SparseGPT
На практике:
Изучите и сравните современные библиотеки для локального инфренса LLM
Part 2. Нестандартные методы ускорения LLM
Дополнительные механизмы ускорения с обзором небольших и крупных языковых моделей
Темы лекции:
  • Conditional Inference: PowerInfer/PowerInfer-2
  • Speculative decoding
  • Small Large Language Models
На практике:
Ускорите LLM с помощью этих методов
  • Современные opensource-фреймворки для ускорения: vLLM, TensorRT-LLM, GGML

Блок 3. Device – 3 лекции

Научитесь запускать нейронные сети на Android, IOS и микрокомпьютерах
CPU. Part 2: ARM + Android
Создание простого приложения на мобильном устройстве с использованием нейросетей и её запуск на конкретном девайсе
Темы лекции:
  • Особенности ОС Android
  • Что такое делегаты и какими они бывают
  • NN-API как основной делегат для запуска
  • Квантование TFLite
На практике:
Создадите свое приложение с ускоренной нейронной сетью
CPU. Part 3: ARM + IOS
То же самое, но на айфоне с его фреймворками для запуска
Темы лекции:
  • Устройство iOS
  • Фреймворк CoreML
  • Низкоуровневые фреймворки: Metal, BNNS, Accelerate
На практике:
Создадите свое приложение с ускоренной нейронной сетью
Микроконтроллеры
Одноплатники и их особенности для нейросетей
Темы лекции:
  • Устройство и ключевые особенности
  • Производители микрокомпьютеров
  • Проблемные слои
На практике:
Запустите нейронную сеть на RKNN-фреймворке для rock chip
  • Использование фреймворка MNN
  • Квантование в IOS
  • Общий workflow

Как именно вы освоите каждый навык

Онлайн-лекции, где можно задавать вопросы, обсуждать сложные кейсы и дискутировать. В конце — анонимный тест для закрепления материала

Изучите теорию на zoom-лекции

После каждой лекции — домашнее задание для закрепления материала

Сделаете практическое задание

Каждое домашнее задание проверит лектор и даст исчерпывающий фидбэк

Получите разбор домашнего задания

Обсуждайте домашние задания, рабочие задачи или просто общайтесь. Кураторы курса всегда помогут решить проблемы и поделятся советом

Если возникнут трудности, мы оперативно поможем в чате

Раз в 4−5 недель спикеры и кураторы собираются в zoom, чтобы ответить на ваши вопросы, помочь с практикой, обсудить текущие задачи

Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом

1.

2.

3.

4.

5.

Полная оплата 170 000 ₽ 190 000 ₽

Расскажем про курс лично

Ответим на ваши вопросы, расскажем, как проходят лекции, семинары и приём домашек. А также поможем определить, подходит ли программа именно вам

Кто будет преподавать

Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
Александр Гончаренко
CTO в стартапе, занимается созданием R&D версий алгоритмов и проверкой первичных гипотез, которые потом допиливаются и идут во фреймворк
enot.ai
Intel
Артур Панюков
Добавляет в NLP фичи в инференс-фреймворк OpenVINO. Расскажет про особенности его работы и запуска сетей на CPU
ИТМО
Илья Ревин
Научит оптимизировать архитектуры нейросетей с помощью тензорной факторизации и аппроксимации
2GIS
Дмитрий Чудаков
Делает PhD по квантованию. Расскажет про Low-Precision computing
TapMobile
Дмитрий Гордин
Работал над видео-режимом в Android приложении Яндекс. Расскажет про работу с Android камерой, подключение OpenCV, инференс нейросетей
SkyEng
Илья Начевский
Занимается разработкой мультимодальных LLM агентов. Расскажет про ускорение LLM
enot.ai
Андрей Щербин
Имеет большой опыт в применении алгоритмов оптимизации к конкретным моделям. Расскажет про алгоритмы прунинга
Тимофей Науменко
Занимается примеркой часов и кроссовок в виртуальной реальности. До этого занимался алгоритмами автоматического поиска архитектур нейронных сетей
wanna.fashion
Prequel
Александр Ковальчук
Запускал генеративные модели на камере iOS устройства. Расскажет о конвертации нейросетей для мобильных устройств с iOS и их запуске через CoreML и TFLite
Игорь Калгин
Главный разработчик фреймворка ЕНОТ, программный архитектор. Поделится практическим опытом работы с TensorRT
enot.ai
enot.ai
Пётр Иванов
Занимается разработкой приложений на EDGE устройствах. Расскажет про эффективные архитектуры нейронных сетей
2GIS
Дмитрий Чудаков
Оптимизирует сети для быстрой работы на Edge устройствах. Научит ускорять сети
Александр Гончаренко
CTO в стартапе, занимается созданием R&D версий алгоритмов и проверкой первичных гипотез, которые потом допиливаются и идут во фреймворк
enot.ai
Intel
Артур Панюков
Добавляет в NLP фичи в инференс-фреймворк OpenVINO. Расскажет про особенности его работы и запуска сетей на CPU
enot.ai
Пётр Иванов
Занимается разработкой приложений на EDGE устройствах. Расскажет про эффективные архитектуры нейронных сетей
Игорь Калгин
Главный разработчик фреймворка ЕНОТ, программный архитектор. Поделится практическим опытом работы с TensorRT
enot.ai
ИТМО
Илья Ревин
Научит оптимизировать архитектуры нейросетей с помощью тензорной факторизации и аппроксимации
enot.ai
Андрей Щербин
Имеет большой опыт в применении алгоритмов оптимизации к конкретным моделям. Расскажет про алгоритмы прунинга
Тимофей Науменко
Занимается примеркой часов и кроссовок в виртуальной реальности. До этого занимался алгоритмами автоматического поиска архитектур нейронных сетей
wanna.fashion
TapMobile
Дмитрий Гордин
Работал над видео-режимом в Android приложении Яндекс. Расскажет про работу с Android камерой, подключение OpenCV, инференс нейросетей
SkyEng
Илья Начевский
Занимается разработкой мультимодальных LLM агентов. Расскажет про ускорение LLM
Александр Ковальчук
Запускал генеративные модели на камере iOS устройства. Расскажет о конвертации нейросетей для мобильных устройств с iOS и их запуске через CoreML и TFLite
Prequel

Что говорят наши выпускники

Истории глазами тех, кто успешно прошёл обучение
Мария Старцева
«Воспользовалась на работе некоторыми идеями и мне очень пригодился код для построения рабочих пайплайнов»
«Я был удивлен уровнем сложности и глубины информации, которую я получил на лекциях. Это второй мой курс от этой команды»
Артём Соломко
«Курс оказался крайне полезным. Благодаря лекторам, тьюторам и создателям программы, я смог углубить свои знания»
Арсений Рылов
Ольга Чаганова
«После обучения стала ощущать себя намного увереннее, многие вещи стали понятнее, осталось только углублять знания»
(Ускорение)
(CV Rocket)
(CV Rocket)
(CV Rocket)
«Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов»
Дмитрий
(3DCV)
Александр
LinkedIn
«На собеседовании за счет того, что подчерпнул на курсе об устройстве OCR, вытянул»
(CV Rocket)
Виктор Юдин
«Курс крутой, много полезного узнал. Очень удобно, что по ускорению собрали все вместе, много тем охватили!»
«Каждая лекция покрывает объёмный материал и включает практические рекомендации, которые можно применить»
Елизавета Носова
«Курс понравился: первая часть сильно ориентирована на прикладные DS задачи, мне показалась очень полезной»
Иван Петров
(Ускорение)
(Ускорение)
(Ускорение)

Лист ожидания

Мы свяжемся, когда начнем собирать группу 3-го потока и подарим скидку на обучение

Доступен налоговый вычет

Может оплатить компания

Полный возврат в первые 14 дней

Принимаем оплату из-за рубежа

FAQs

Когда проходят лекции и семинары?

Лекции проходят по будням в 18:00 МСК и длятся от 90 до 120 минут. Онлайн-семинары проходят после каждой 5-й лекции