Курс CV Rocket

Программа

• 4 месяца
• 13 лекций
• 13 заданий с фидбеком от преподавателей

Лекция каждую неделю. После каждой темы — домашнее задание с фидбеком от лектора. Раз в 4−5 недель — Q&A-сессия для разбора вопросов и перерыв на каникулы.

1. 01. Подготовка данных

   Темы лекции:

   • Разметка данных и инструменты для аннотации (Label Studio, CVAT)
   • Где все берут данные? Как собирать данные из интернета: веб-скрапинг
   • Data-Centric AI — новый фокус в машинном обучении
   • Когда данных нет — создаём сами: синтетические данные и диффузионные модели
2. 02. Получение качественных данных

   Темы лекции:

   • Как проектировать сбор данных под задачу: сенсоры, триггеры, хранение
   • Мониторинг данных в продакшене и обнаружение сдвигов распределения
   • Оценка и улучшение качества разметки: перекрёстная проверка, foundation-модели
   • Активное обучение для эффективного использования разметки
3. 03. Секреты успешных архитектур

   Темы лекции:

   • Структура нейросети: feature extractor, neck, head
   • Почему BatchNorm не всегда работает и какие есть альтернативы
   • Эволюция архитектур: от ResNet к EfficientNet и Vision Transformers
   • Адаптация больших моделей: LoRA, ControlNet, IP-Adapter
4. 04. Обучение метрики и быстрый векторный поиск

   Темы лекции:

   • Metric Learning: обучение расстояний через contrastive и triplet loss
   • Angular Loss и ArcFace для улучшения качества эмбеддингов
   • Быстрый поиск: FAISS, Navigable Small Worlds, хэширование
   • Оценка качества: Precision@K, Recall@K, Closed vs Open set
5. 05. Мультимодальные модели

   Темы лекции:

   • Принцип работы CLIP и его модификаций (SigLIP, BLIP)
   • Как обучать мультимодальные модели на парах «изображение–текст»
   • Выбор размерности эмбеддингов: Matryoshka Representation Learning
6. 06. Детекция объектов

   Темы лекции:

   • One-stage vs two-stage детекторы: SSD, RetinaNet, Faster R-CNN
   • Anchor-free подходы: CenterNet, YOLO11
   • DETR и гибридные архитектуры на основе трансформеров
   • Openset-детекция с помощью foundation-моделей (Florence, GLEE)
7. 07. Сегментация

   Темы лекции:

   • Типы сегментации: семантическая, instance, panoptic
   • Архитектуры: U-Net, Mask R-CNN, Mask2Former
   • Foundation-модели: Segment Anything (SAM) и промптинг
   • Работа с high-res изображениями и проблемными масками
8. 08. Optical Character Recognition (OCR)

   Темы лекции:

   • OCR-пайплайн: детекция + распознавание (FAST, CRNN, CTC)
   • Современные VLM для OCR: PaliGemma, Qwen-VL, DocVLM
   • Выбор стратегии OCR в зависимости от задачи и данных
9. 09. Поиск ошибок и интерпретируемость моделей

   Темы лекции:

   • Диагностика проблем обучения: NaN, переобучение, плато
   • Поиск аномалий: Normalizing Flows, contrastive подходы
   • Интерпретация через attention, Grad-CAM, LIME, ProtoNets
   • Мониторинг активаций и выходов модели в продакшене
10. 10. Self-supervised Learning

    Темы лекции:

    • Зачем нужен SSL и когда он лучше transfer learning
    • Pretext-задачи: восстановление, контекст, инвариантность
    • BYOL: архитектура, EMA, projector/predictor
    • Практические рекомендации: аугментации, batch size, linear evaluation
11. 11. Работа с видео

    Темы лекции:

    • Структура видео: кодеки, FPS, битрейт, I/P-кадры
    • Архитектуры: 3D CNN, R(2+1)D, ViViT, VideoMAE
    • Fusion-стратегии для учёта времени
    • Foundation-модели для видео и их дообучение
12. 12. Задачи на видео

    Темы лекции:

    • Трекинг: SORT, Kalman Filter, матчинг, Re-ID
    • Action Recognition: от кадров до позы и аудио
    • Метрики качества: HOTA, DetA, AssA
13. 13. Дизайн ML-систем

    Темы лекции:

    • Различие между проектом и продуктом в ML
    • Функциональные и нефункциональные требования к системе
    • Построение дерева гипотез и метрик для принятия решений