Generative
Computer Vision

Программа

• 11 лекций
• 8-12 часов в неделю

Лекция за лекцией — от теории автокодировщиков до видео-диффузии и виртуальной примерки одежды.

1. 1. Введение в генеративный CV, VAE: часть 1

   Темы лекции:

   • Таймлайн развития генеративных моделей
   • Примеры применения генеративных моделей
   • Общий фреймворк и семейство генеративных моделей: постановка задачи, зачем её решать, дивергенция, правдоподобия
   • AE → VAE → VQ-VAE

   На практике:

   • Имплементировать и обучить VAE и VQ-VAE
2. 2. VAE: часть 2

   Темы лекции:

   • VQ-VAE-2
   • Инференс авторегрессионой моделью
   • Гумбель софтмакс
   • dVAE → DALLE-1

   На практике:

   • Имплементировать и обучить dVAE
   • Обучить авторегрессионную модель для инференса
3. 3. Основы GAN и разбор архитектур

   Темы лекции:

   • Всё про GANы
   • Метрики: FID, SSIM, PSNR, Perceptual loss, LPIPS
   • Задача Super-Resolution: esrgan, real-esrgan
   • VQ-GAN → codeformer

   На практике:

   • Имплементировать метрики PSNR, SSIM, LPIPS, FID
   • Обучить GAN для генерации на датасете лиц и для Super-Resolution
4. 4. Введение в StyleGAN

   Темы лекции:

   • Трюки в обучении GAN'ов
   • От ProGAN к StyleGAN2/StyleGAN2-Ada — краткий разбор архитектур
   • StyleGAN3

   На практике:

   • Реализовать поиск интерпретируемых направлений в латентном пространстве StyleGAN2
5. 5. Экосистема StyleGAN

   Темы лекции:

   • Экосистема StyleGAN2
   • Кодирование лица, латентные пространства, манипуляции латентами в StyleGAN2

   На практике:

   • Имплементировать и обучить метод кодирования в латентное пространство StyleGAN2
6. 6. Теория диффузионных моделей

   Темы лекции:

   • DDPM
   • DDIM

   На практике:

   • Имплементировать и обучить диффузию на MNIST
   • Реализовать DDIM метод сэмплирования на инференсе
7. 7. Применение диффузионных моделей и архитектуры

   Темы лекции:

   • Conditional generation, classifier/classifier-free/attention guidance
   • Super-Resolution, inpaint, text2image
   • DALLE-2, cascade diffusion (Imagen), latent diffusion (stable diffusion)

   На практике:

   • Имплементировать метод ускорения диффузии
   • Реализовать методы guidance'а в сочетании с inpaint
8. 8. Ускорение диффузии

   Темы лекции:

   • Латентная диффузия
   • Генеративная трилемма
   • Диффузионный GAN
   • Дистилляция диффузии

   На практике:

   • Реализовать метод ускорения диффузии DeepCache
   • Применить методы ускорения диффузии с помощью Diffusers
9. 9. Stable Diffusion

   Темы лекции:

   • Общая архитектура Stable Diffusion
   • Различные версии Stable Diffusion
   • Экосистема и имплементации Stable Diffusion
   • Методы файн-тюна (hypernetworks, textual inversion, dreambooth, loras)
   • Методы добавления контроля (ControlNet / IP-Adapter)

   На практике:

   • Протестировать методы добавления контроля через Diffusers
   • Обучить один из методов файн-тюна Stable Diffusion
10. 10. Видео диффузия

    Темы лекции:

    • Проблемы видео и прошлые модели: Temporal GANs, VAE+transformers
    • Видео диффузия: основная идея, MagicVideo, Imagen, Sora
    • Файн-тюнинг text2image моделей: Make-a-video, Tune-a-video, Gen-1, AnimateDiff, Text2Video-Zero, ControlVideo
11. 11. Virtual try-on

    Темы лекции:

    • Способы решения задачи виртуальной примерки одежды: 3D, GAN и diffusion
    • State-of-the-art качество и текущие ограничения

    На практике:

    • Запустить часть обсуждённых моделей и сравнить их между собой на новых данных