Научитесь решать задачи эффективно

Программа

• 13 лекций
• 13 заданий с авторскими решениями

Лекции в записи. После каждой темы — домашнее задание с авторскими решениями и дополнительными материалами.

1. Блок 1. Основы – 5 лекций Научитесь ускорять инференс за счёт изменения архитектуры сети. Проведёте нейросеть через прунинг, квантизацию и дистилляцию.

   1. Дистилляция

   Метод для улучшения точности нейронной сети. При комбинации с другими методами — для ее ускорения

   Темы лекции:

   • Дистилляция и DarkKnowledge
   • Функции потерь для дистилляции: MSE / KLD / MAE
   • Дистилляция для ускорения моделей
   • Дистилляция в классических CV-задачах: classification, detection, identification

   На практике: Научитесь дистиллировать сеть для сегментации людей

   2. Прунинг

   Метод для сокращения вычислительных операций за счет выброса лишних нейронов

   Темы лекции:

   • Критерии прунинга: L1 / L2 / taylor
   • Структурированный и неструктурированный прунинг
   • Фундаментальные свойства нейронной сети и lottery ticket hypothesis

   На практике: Научитесь прунить нейронную сеть с фреймворком для структурированного прунинга torch-pruning

   3. Low-Precision computing

   Квантование нужно для представления нейронной сети через тип данных, меньший исходного. С его помощью она сможет использоваться на устройстве с малыми вычислительными ресурсами

   Темы лекции:

   • 8-ми битное квантование
   • Quantization aware training как способ улучшения качества нейронной сети
   • Нестандартные типы данных: fp16 / fp8 / bfloat16
   • Post-Train quantization как способ заквантовать сетку без головной боли
   • Cовременные методы квантования: HAWQ и HAWQ-v2

   На практике: Научитесь пользоваться фреймворком квантования torch.quantization/qnnpack

   4. NAS

   Метод для оптимального подбора архитектуры сети под конкретные задачи

   Темы лекции:

   • Дифференцируемый и недифференцируемый NAS
   • DARTs как основа всех методов для дифф прунинга
   • Суперсети и подархитектуры, их связь с прунингом
   • Способы обучения суперсетей
   • Zero-shot NAS

   5. Эффективные архитектуры

   Эффективные архитектуры нейронных сетей для решения самых разных задач

   Темы лекции:

   • Общие эффективные ахитектуры: MobileOne, FastVit
   • Эффективные архитектуры для детекции, или жизнь без Yolo
   • Сегментация PIDNet и DDR-Net
   • Эффективный speech2text
2. Блок 2. LLM – 2 лекции Познакомитесь с методами ускорения, специфичными для больших языковых моделей

   1. Основы ускорения LLM

   Основные рабочие лошадки для ускорения LLM'ок

   Темы лекции:

   • MemoryBound вычисления, или как сделать attention быстрее
   • Особенности квантования LLM
   • Современные методы и механизмы квантования: QuIP, QuIP#, AQLM
   • Sparse-перемножение матриц и принцип работы SparseGPT

   На практике: Изучите и сравните современные библиотеки для локального инфренса LLM

   2. Специфичные методы ускорения LLM

   Дополнительные механизмы ускорения с обзором небольших и крупных языковых моделей

   Темы лекции:

   • Conditional Inference
   • Speculative decoding
   • Small Large Language Models
   • Современные opensource-фреймворки для ускорения: vLLM, TensorRT-LLM, GGML

   На практике: Ускорите LLM с помощью этих методов

3. Блок 3. Девайсы – 6 лекций Познакомитесь с ускорением сетей на x86, CPU и GPU. Научитесь запускать нейронные сети на Android, iOS и микрокомпьютерах

   CPU: ARM + Android

   Создание простого приложения на мобильном устройстве с использованием нейросетей и её запуск на конкретном девайсе

   Темы лекции:

   • Особенности ОС Android
   • Что такое делегаты и какими они бывают
   • NN-API как основной делегат для запуска
   • Квантование TFLite
   • Использование фреймворка MNN

   На практике: Сравните ускорения разных нейронных сетей на мобильном телефоне

   CPU: ARM + iOS

   То же самое, но на iPhone с его фреймворками для запуска

   Темы лекции:

   • Устройство iOS
   • Фреймворк CoreML
   • Низкоуровневые фреймворки: Metal, BNNS, Accelerate
   • Квантование в iOS

   На практике: Создадите свое приложение с ускоренной нейронной сетью

   Микроконтроллеры

   Одноплатники и их особенности для нейросетей

   Темы лекции:

   • Устройство и ключевые особенности
   • Производители микрокомпьютеров
   • Проблемные слои
   • Общий workflow

   На практике: Запустите нейронную сеть на RKNN-фреймворке для rock chip

   Инференс на процессоре

   Инференс на процессоре для ускорения нейронной сети

   Темы лекции:

   • Базовое устройство процессора
   • x86 vs ARM: особенности инференса

   На практике: Научитесь пользоваться фреймворком для квантования OpenVINO

   Инференс на графическом ускорителе. Part 1

   Инференс на графическом ускорителе нейронной сети

   Темы лекции:

   • Особенности работы GPU
   • Принцип работы TensorRT
   • Понятие CudaGraph

   На практике: Научитесь применять квантование на TRT

   Инференс на графическом ускорителе. Part 2

   Инференс на графическом ускорителе нейронной сети

   Темы лекции:

   • Cuda Event: как работают профилировщики на его основе
   • Cuda Event: как померить latency отдельных операций на конкретном примере
   • Профайлинг в торче
   • TensorRT: как посмотреть оптимизированный граф
   • TensorRT [advanced]: как запретить оптимизировать отдельные операции

   На практике: Научитесь применять квантование на TRT