Есть вопросы по курсу?

напишите нам в Telegram, ответим на все вопросы

Large Language Models

Старт 27 ноября
Онлайн-курс
Научитесь использовать LLM в приложениях: обучать, деплоить, ускорять и многое другое
LLM

Курс для тех, кто планирует или уже работает с LLM

DL-инженеры с опытом в LLM

ML/CV-инженеры без опыта в LLM

Python-разработчики

Закроете пробелы в знаниях, наберетесь советов и улучшите проекты
Разберетесь в теории, отточите практику, структурировано и без воды
С нуля познакомитесь с NLP и инструментами для работы с LLM

Программа

После каждой лекции — практика
16
недель
13
лекций
8-12
часов в неделю

1. Введение в NLP. Часть 1

Темы лекции:
  • Особенности домена
  • Виды NLP-задач
  • Модели на основе подсчетов
  • Дистрибутивная гипотеза
  • Эмбеддинги
  • Рекуррентные сети
  • Token classification

2. Введение в NLP. Часть 2

Темы лекции:
  • Seq-to-seq
  • Attention
  • Трансформер
  • BERT
  • Почему трансформеры победили
  • T5

3. Основы LLM. Часть 1

Темы лекции:
  • LSTM имплементации
  • Полный трансформер
  • Архитектура GPT
  • Эмбеддинги
  • Attention
  • Нормализации
  • Superposition

4. Основы LLM. Часть 2

Темы лекции:
  • Attentions (sliding, streaming, group query)
  • Embeddings (ROPE, ALIBI, NOPE)
  • Knowledge fusion
  • Circuits and W-compositions
  • LLM Surgery

5. Доступные LLMs

Темы лекции:
  • Обзор основных игроков индустрии
  • Open source LLM и датасеты
  • Открытые бенчмарки и арены
  • Сервисы для сервинга LLM
  • Как выбрать LLM для своей задачи и нужна ли она вообще

6. Prompt Engineering

Темы лекции:
  • Instruct LLM
  • Что такое промпт и почему это работает, zero shot learning
  • Примеры промптов к разным моделям
  • Промпты в LangChain
  • Форматированный ответ
  • Извлечение ответа из промпта
  • Few Shot learning
  • Борьба с галлюцинацией
  • Tips and tricks
  • Примеры
  • Function calling
  • Защита от инъекций

7. Tools and Chains

Темы лекции:
  • Введение в инструменты
  • Применение инструментов на примере задачи
  • Создание собственных инструментов
  • Введение в цепочки (chains)
  • Применение цепочек на примере LangChain
  • Обзор фреймворков: LlamaIndex, Ollama

8. LLM Agent

Темы лекции:
  • Введение в агентов
  • Создание агентов
  • Работа агента
  • Борьба с галлюцинацией при помощи агентов
  • ReAct
  • Обзор фреймворков: AutoGPT, Langroid, AutoGen, OpenAgents, GPT Engineer, DemoGPT, GPT Researcher, AgentVerse, Agents, BMTools, crewAI, Phidata

9. RAG

Темы лекции:
  • Ванильный RAG
  • Векторные базы
  • Полнотекстовый поиск
  • Поисковые движки
  • Проблемы поиска
  • Защита от вредных команд и цензура
  • Защита от нерелевантной выдачи
  • Валидация ответа LLM
  • Как оценивать RAG?

10. Fine-tuning

Темы лекции:
  • Управление памятью и точностью вычислений
  • Multi-GPU, Multi-Host training, FSDP/ZeRO
  • Оптимизация и квантизация
  • Легковесные дообучения адаптеров
  • Фреймворки и инструменты

11. Alignment

Темы лекции:
  • Мотивация: safety, robustness, predictability
  • Обзор подходов: RLHF, RLAIF, Reward Hacking (Overoptimization), DPO, KTO
  • TRL библиотека для дообучения
  • Less Is More for Allignment
  • Источники данных: User feedback, Crowdsourcing, Synthetic

12. Деплой

Темы лекции:
  • Схемы деплоя
  • Фреймворки для инференса: torch.compile, onnx, trtllm, vllm, tgi, lmdeploy
  • Разбор преимуществ фреймворков
  • Техники ускорения инференса
  • Мониторинги

13. Ускорение LLM

Темы лекции:
  • Flash attention
  • Квантизации bitsandbytes
  • Различные методы квантования
  • Speculative decoding
  • Sparse Matrix multiplication (статьи SpQR и butterfly от Tri Dao)
  • Инициатива LocalLlama (gguf)
  • Архитектурные решения: MoE, medusa, и multitoken prediction

14. Multimodal models

Темы лекции:
  • Задачи мультимодального домена
  • Метрики
  • CLIP
  • LLaVA

Как именно вы освоите каждый навык

Онлайн-лекции, где можно задавать вопросы, обсуждать сложные кейсы и дискутировать. В конце — анонимный тест для закрепления материала

Изучите теорию на zoom-лекции

1.

1/5
2/5
После каждой лекции — домашнее задание для закрепления материала

Сделаете практическое задание

2.

3/5
Каждое домашнее задание проверит лектор и даст исчерпывающий фидбэк

Получите разбор домашнего задания

3.

4/5
Обсуждайте домашние задания, рабочие задачи или просто общайтесь. Кураторы курса всегда помогут решить проблемы и поделятся советом

Если возникнут трудности, мы оперативно поможем в чате

4.

5/5
Раз в 4−5 недель спикеры и кураторы собираются в zoom, чтобы ответить на ваши вопросы, помочь с практикой, обсудить задачи

Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом

5.

Кто будет преподавать

Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
Intel /
Артур Панюков
Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности
Илья Димов
Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой
Replika /
Андрей Филатов
Работает в команде Kandinsky, а до этого в Tinkoff и Samsung, решал задачи в различных доменах от скоринга до 3D и публиковался на NeurIPS 2022. На курсе ведет лекцию по мультимодальным моделям
Sber AI /
Ex-Human, ex Yandex /
Ростелеком Лабс /
Артём Бардаков
Tech Lead команды робота Макса на Госуслугах. 10 лет в индустрии, сертифицированный Oracle Архитектор. Занимается разработкой и внедрением RAG-систем, о которых и расскажет в курсе
Алексей Бухтияров
Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment
SberDevices /
Даниил Водолазский
Делает co-pilot для работы с документами в Сбер. Создавал low-code фреймворк AutoNER, обучал ruLayoutLMv2, ruUDOP, IDRFormer. Решал суммаризацию в Jazz. Расскажет введение в NLP
Intel /
Артур Панюков
Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности
SkyEng /
Илья Начевский
Оптимизирует рутину в SkyEng с помощью мультимодальных моделей. Решал множество задач от видео-аналитики до применения DL к космическим данным, но последние годы посвятил LLM. Расскажет введение в LLM
Фаррух Кушназаров
Solution-архитектор в Alibaba Cloud. В основном занимается разработкой LLM-агентов и RAG-систем. На курсе преподает лекции по созданию LLM-инструментов и агентов
Alibaba /
Replika /
Илья Димов
Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой
Ex-Human, ex Yandex /
Алексей Бухтияров
Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment
Sber AI /
Андрей Филатов
Работает в команде Kandinsky, а до этого в Tinkoff и Samsung, решал задачи в различных доменах от скоринга до 3D и публиковался на NeurIPS 2022. На курсе ведет лекцию по мультимодальным моделям
Артём Бардаков
Tech Lead команды робота Макса на Госуслугах. 10 лет в индустрии, сертифицированный Oracle Архитектор. Занимается разработкой и внедрением RAG-систем, о которых и расскажет в курсе
Ростелеком Лабс /
SberDevices /
Даниил Водолазский
Делает co-pilot для работы с документами в Сбер. Создавал low-code фреймворк AutoNER, обучал ruLayoutLMv2, ruUDOP, IDRFormer. Решал суммаризацию в Jazz. Расскажет введение в NLP
CodeFuel, ex Huawei /
Игорь Иткин
10 лет работает в индустрии машинного обучения. Последние годы работает с LLM в различных проектах и доменах. Расскажет про трюки в промпт-инжиниринге

Только LLM

Запишитесь на следующий поток

Запишитесь в лист ожидания! Мы сообщим о старте нового потока и подарим скидку
10 практических занятий
Проверка заданий от спикеров
Семинары со спикерами
Поддержка в чате

Основы + LLM

14 практических занятий
Проверка заданий от спикеров
Семинары со спикерами
Поддержка в чате
Скидки не распространяются на юридических лиц
10 лекций про LLM и их записи
4 лекции основ NLP и LLM
10 лекций про LLM
4 лекции основ NLP и LLM

Что говорят наши выпускники

Истории глазами тех, кто успешно прошел обучение
Мария Старцева
«Воспользовалась на работе некоторыми идеями и мне очень пригодился код для построения рабочих пайплайнов»
«Хочу сказать, что это, пожалуй, лучший курс по ML, который я проходила (а у меня достаточно лет опыта в ML)»
Галина Альперович
«Курс оказался крайне полезным. Благодаря лекторам, тьюторам и создателям программы, я смог углубить свои знания»
Арсений Рылов
Ольга Чаганова
«После обучения стала ощущать себя намного увереннее, многие вещи стали понятнее, осталось только углублять знания»
(CV Rocket)
(3DCV)
(CV Rocket)
(CV Rocket)
«Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов»
Дмитрий
(3DCV)
Александр
LinkedIn
«На собеседовании за счет того, что подчерпнул на курсе об устройстве OCR, вытянул»
(CV Rocket)

FAQs

Когда проходят лекции и семинары?

Лекции проходят по будням в 18:00 МСК и длятся от 90 до 120 минут. Онлайн-семинары проходят после каждой 5-й лекции

Смогу ли я оформить налоговый вычет?

Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Подать документы на вычет можно в году, следующем за годом оплаты обучения. Подробнее о налоговом вычете за обучение можно прочитать на сайте ФНС

Может ли моя компания оплатить курс?

Моя компания может оплатить курс?
Да, мы подготовим счёт на полную или частичную оплату для юридического лица. Напишите на hello@deepschool.ru

На сколько часов рассчитана программа?

На сколько
часов рассчитана программа?
28 астрономических часов на лекции и ~70 часов практики или примерно 8 часов в неделю, что позволяет комфортно встроить обучение в рабочий график

Что я должен знать, чтобы начать обучение?

Python, основы Machine Learning и базовый курс математики из технического ВУЗа, чтобы понять формулы из лекций. Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм: @deepschool_support

Телеграм-канал
DeepSchool

Короткие посты по теории ML/DL, полезные библиотеки и фреймворки, вопросы с собеседований и советы, которые помогут в работе