Есть вопросы по курсу?

напишите нам в Telegram, ответим на все вопросы

Large Language Models

Старт 27 ноября
Онлайн-курс
Научитесь использовать LLM в приложениях: обучать, деплоить, ускорять и многое другое
LLM

Курс для тех, кто планирует или уже работает с LLM

DL-инженеры с опытом в LLM

ML/CV-инженеры без опыта в LLM

Python-разработчики

Закроете пробелы в знаниях, наберетесь советов и улучшите проекты
Разберетесь в теории, отточите практику, структурировано и без воды
С нуля познакомитесь с NLP и инструментами для работы с LLM

Программа

После каждой лекции — практика
16
недель
13
лекций
8-12
часов в неделю

1. Введение в NLP. Часть 1

Темы лекции:
  • Особенности домена
  • Виды NLP-задач
  • Модели на основе подсчетов
  • Дистрибутивная гипотеза
  • Эмбеддинги
  • Рекуррентные сети
  • Token classification

2. Введение в NLP. Часть 2

Темы лекции:
  • Seq-to-seq
  • Attention
  • Трансформер
  • BERT
  • Почему трансформеры победили
  • T5

3. Основы LLM. Часть 1

Темы лекции:
  • LSTM имплементации
  • Полный трансформер
  • Архитектура GPT
  • Эмбеддинги
  • Attention
  • Нормализации
  • Superposition

4. Основы LLM. Часть 2

Темы лекции:
  • Attentions (sliding, streaming, group query)
  • Embeddings (ROPE, ALIBI, NOPE)
  • Knowledge fusion
  • Circuits and W-compositions
  • LLM Surgery

5. Доступные LLMs

Темы лекции:
  • Обзор основных игроков индустрии
  • Open source LLM и датасеты
  • Открытые бенчмарки и арены
  • Сервисы для сервинга LLM
  • Как выбрать LLM для своей задачи и нужна ли она вообще

6. Prompt Engineering

Темы лекции:
  • Instruct LLM
  • Что такое промпт и почему это работает, zero shot learning
  • Примеры промптов к разным моделям
  • Промпты в LangChain
  • Форматированный ответ
  • Извлечение ответа из промпта
  • Few Shot learning
  • Борьба с галлюцинацией
  • Tips and tricks
  • Примеры
  • Function calling
  • Защита от инъекций

7. Tools and Chains

Темы лекции:
  • Введение в инструменты
  • Применение инструментов на примере задачи
  • Создание собственных инструментов
  • Введение в цепочки (chains)
  • Применение цепочек на примере LangChain
  • Обзор фреймворков: LlamaIndex, Ollama

8. LLM Agent

Темы лекции:
  • Введение в агентов
  • Создание агентов
  • Работа агента
  • Борьба с галлюцинацией при помощи агентов
  • ReAct
  • Обзор фреймворков: AutoGPT, Langroid, AutoGen, OpenAgents, GPT Engineer, DemoGPT, GPT Researcher, AgentVerse, Agents, BMTools, crewAI, Phidata

9. RAG

Темы лекции:
  • Ванильный RAG
  • Векторные базы
  • Полнотекстовый поиск
  • Поисковые движки
  • Проблемы поиска
  • Защита от вредных команд и цензура
  • Защита от нерелевантной выдачи
  • Валидация ответа LLM
  • Как оценивать RAG?

10. Fine-tuning

Темы лекции:
  • Управление памятью и точностью вычислений
  • Multi-GPU, Multi-Host training, FSDP/ZeRO
  • Оптимизация и квантизация
  • Легковесные дообучения адаптеров
  • Фреймворки и инструменты

11. Alignment

Темы лекции:
  • Мотивация: safety, robustness, predictability
  • Обзор подходов: RLHF, RLAIF, Reward Hacking (Overoptimization), DPO, KTO
  • TRL библиотека для дообучения
  • Less Is More for Allignment
  • Источники данных: User feedback, Crowdsourcing, Synthetic

12. Деплой

Темы лекции:
  • Схемы деплоя
  • Фреймворки для инференса: torch.compile, onnx, trtllm, vllm, tgi, lmdeploy
  • Разбор преимуществ фреймворков
  • Техники ускорения инференса
  • Мониторинги

13. Ускорение LLM

Темы лекции:
  • Flash attention
  • Квантизации bitsandbytes
  • Различные методы квантования
  • Speculative decoding
  • Sparse Matrix multiplication (статьи SpQR и butterfly от Tri Dao)
  • Инициатива LocalLlama (gguf)
  • Архитектурные решения: MoE, medusa, и multitoken prediction

14. Multimodal models

Темы лекции:
  • Задачи мультимодального домена
  • Метрики
  • CLIP
  • LLaVA

Как именно вы освоите каждый навык

Онлайн-лекции, где можно задавать вопросы, обсуждать сложные кейсы и дискутировать. В конце — анонимный тест для закрепления материала

Изучите теорию на zoom-лекции

1.

1/5
2/5
После каждой лекции — домашнее задание для закрепления материала

Сделаете практическое задание

2.

3/5
Каждое домашнее задание проверит лектор и даст исчерпывающий фидбэк

Получите разбор домашнего задания

3.

4/5
Обсуждайте домашние задания, рабочие задачи или просто общайтесь. Кураторы курса всегда помогут решить проблемы и поделятся советом

Если возникнут трудности, мы оперативно поможем в чате

4.

5/5
Раз в 4−5 недель спикеры и кураторы собираются в zoom, чтобы ответить на ваши вопросы, помочь с практикой, обсудить задачи

Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом

5.

Кто будет преподавать

Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
Intel /
Артур Панюков
Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности
Илья Димов
Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой
Replika /
Андрей Филатов
Работает в команде Kandinsky, а до этого в Tinkoff и Samsung, решал задачи в различных доменах от скоринга до 3D и публиковался на NeurIPS 2022. На курсе ведет лекцию по мультимодальным моделям
Sber AI /
Ex-Human, ex Yandex /
Ростелеком Лабс /
Артём Бардаков
Tech Lead команды робота Макса на Госуслугах. 10 лет в индустрии, сертифицированный Oracle Архитектор. Занимается разработкой и внедрением RAG-систем, о которых и расскажет в курсе
Алексей Бухтияров
Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment
SberDevices /
Даниил Водолазский
Делает co-pilot для работы с документами в Сбер. Создавал low-code фреймворк AutoNER, обучал ruLayoutLMv2, ruUDOP, IDRFormer. Решал суммаризацию в Jazz. Расскажет введение в NLP
Intel /
Артур Панюков
Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности
SkyEng /
Илья Начевский
Оптимизирует рутину в SkyEng с помощью мультимодальных моделей. Решал множество задач от видео-аналитики до применения DL к космическим данным, но последние годы посвятил LLM. Расскажет введение в LLM
Фаррух Кушназаров
Solution-архитектор в Alibaba Cloud. В основном занимается разработкой LLM-агентов и RAG-систем. На курсе преподает лекции по созданию LLM-инструментов и агентов
Alibaba /
Replika /
Илья Димов
Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой
Ex-Human, ex Yandex /
Алексей Бухтияров
Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment
Sber AI /
Андрей Филатов
Работает в команде Kandinsky, а до этого в Tinkoff и Samsung, решал задачи в различных доменах от скоринга до 3D и публиковался на NeurIPS 2022. На курсе ведет лекцию по мультимодальным моделям
Артём Бардаков
Tech Lead команды робота Макса на Госуслугах. 10 лет в индустрии, сертифицированный Oracle Архитектор. Занимается разработкой и внедрением RAG-систем, о которых и расскажет в курсе
Ростелеком Лабс /
SberDevices /
Даниил Водолазский
Делает co-pilot для работы с документами в Сбер. Создавал low-code фреймворк AutoNER, обучал ruLayoutLMv2, ruUDOP, IDRFormer. Решал суммаризацию в Jazz. Расскажет введение в NLP
CodeFuel, ex Huawei /
Игорь Иткин
10 лет работает в индустрии машинного обучения. Последние годы работает с LLM в различных проектах и доменах. Расскажет про трюки в промпт-инжиниринге

Только LLM

Запишитесь на следующий поток

Запишитесь в лист ожидания! Мы сообщим о старте нового потока и подарим скидку
10 практических занятий
Проверка заданий от спикеров
Семинары со спикерами
Поддержка в чате

Основы + LLM

14 практических занятий
Проверка заданий от спикеров
Семинары со спикерами
Поддержка в чате
Скидки не распространяются на юридических лиц
10 лекций про LLM и их записи
4 лекции основ NLP и LLM
10 лекций про LLM
4 лекции основ NLP и LLM

Что говорят наши выпускники

Истории глазами тех, кто успешно прошел обучение
Мария Старцева
«Воспользовалась на работе некоторыми идеями и мне очень пригодился код для построения рабочих пайплайнов»
«Хочу сказать, что это, пожалуй, лучший курс по ML, который я проходила (а у меня достаточно лет опыта в ML)»
Галина Альперович
«Курс оказался крайне полезным. Благодаря лекторам, тьюторам и создателям программы, я смог углубить свои знания»
Арсений Рылов
Ольга Чаганова
«После обучения стала ощущать себя намного увереннее, многие вещи стали понятнее, осталось только углублять знания»