Есть вопросы по курсу?

напишите нам в Telegram, ответим на все вопросы

Large Language Models

Старт — 26 февраля
Онлайн-курс
Научитесь использовать LLM в приложениях: обучать, деплоить, ускорять и многое другое

Курс для тех, кто планирует или уже работает с LLM

DL-инженеры с опытом в LLM

ML/CV-инженеры без опыта в LLM

Python-разработчики

Закроете пробелы в знаниях, наберетесь советов и улучшите проекты
Разберетесь в теории, отточите практику, структурировано и без воды
С нуля познакомитесь с NLP и инструментами для работы с LLM
Главное — знать основы DL и уметь работать с Python и PyTorch
1. Математика для ML и основы DL
Необходимо знать, что такое производная, матричное умножение, скалярное произведение, градиентный спуск, дифференцируемость, как работают оптимизаторы SGD/Adam, что такое кроссэнтропийная функция потерь

2. Базовое знание Python
Будем писать функции и классы. Часть заданий будет в py-скриптах

3. Базовое владение Pytorch
В первой половине курса мы реализуем несколько архитектур и напишем свое обучение языковой модели, нужно знать такие классы как nn.Linear, nn.Dropout, torch.softmax, оптимизаторы из torch.optim, уметь написать training loop

В результате обучения:

Узнаете или повторите архитектуру трансформеров и особенности NLP-домена
Научитесь ускорять и деплоить LLM
Узнаете, как эффективно тюнить свои модели
Освоите фреймворки для решения LLM-задач: RAG, Agents, Tools, Function Calling и др.
Научитесь работать с доступными LLM и выбирать модель под проект

Программа

Лекция каждую неделю. После каждой темы — домашнее задание с фидбеком от лектора. Раз в 4−5 недель — Q&A-сессия для разбора вопросов. В середине курса есть перерыв на каникулы.
16 недель
13 лекций
13 заданий с фидбеком от преподавателей

01. Введение в NLP. Классические подходы и RNN

В тарифе «С введением»
Темы лекции:
  • Особенности домена
  • Виды NLP-задач
  • Модели на основе подсчетов
  • Дистрибутивная гипотеза
  • Эмбеддинги
  • Рекуррентные сети
  • Token classification

02. Введение в NLP. Seq2Seq и Трансформеры

В тарифе «С введением»
Темы лекции:
  • Seq-to-seq
  • Attention
  • Трансформер
  • BERT
  • Почему трансформеры победили
  • T5

03. Основы LLM. Архитектура трансформера

В тарифе «С введением»
Темы лекции:
  • LSTM имплементации
  • Полный трансформер
  • Архитектура GPT
  • Эмбеддинги
  • Attention
  • Нормализации
  • Superposition

04. Основы LLM. Модификации трансформеров

В тарифе «С введением»
Темы лекции:
  • Attentions (sliding, streaming, group query)
  • Embeddings (ROPE, ALIBI, NOPE)
  • Knowledge fusion
  • Circuits and W-compositions
  • LLM Surgery

05. Доступные LLMs

Темы лекции:
  • Обзор основных игроков индустрии
  • Open source LLM и датасеты
  • Открытые бенчмарки и арены
  • Сервисы для сервинга LLM
  • Как выбрать LLM для своей задачи и нужна ли она вообще

06. Prompt Engineering

Темы лекции:
  • Instruct LLM
  • Что такое промпт и почему это работает, zero shot learning
  • Примеры промптов к разным моделям
  • Промпты в LangChain
  • Форматированный ответ
  • Извлечение ответа из промпта
  • Few Shot learning
  • Борьба с галлюцинацией
  • Tips and tricks
  • Примеры
  • Function calling
  • Защита от инъекций

07. Tools and Agents

Темы лекции:
  • Function call / Tools
  • Structured output
  • Примеры сценариев
  • LLM Agents
  • ReAct

08. Fine-tuning

Темы лекции:
  • Управление памятью и точностью вычислений
  • Multi-GPU, Multi-Host training, FSDP/ZeRO
  • Оптимизация и квантизация
  • Легковесные дообучения адаптеров
  • Фреймворки и инструменты

9. Alignment

Темы лекции:
  • Мотивация: safety, robustness, predictability
  • Обзор подходов: RLHF, RLAIF, Reward Hacking (Overoptimization), DPO, KTO
  • TRL библиотека для дообучения
  • Less Is More for Allignment
  • Источники данных: User feedback, Crowdsourcing, Synthetic

10. RAG

Темы лекции:
  • Что такое RAG
  • Векторный поиск
  • Векторные БД
  • Полнотекстовый поиск
  • Проблемы поиска
  • Оценка качества
  • Практические советы

11. Деплой

Темы лекции:
  • Схемы деплоя
  • Фреймворки для инференса: torch.compile, onnx, trtllm, vllm, tgi, lmdeploy
  • Разбор преимуществ фреймворков
  • Техники ускорения инференса
  • Мониторинги

12. Ускорение LLM

Темы лекции:
  • Flash attention
  • Квантизации bitsandbytes
  • Различные методы квантования
  • Speculative decoding
  • Sparse Matrix multiplication (статьи SpQR и butterfly от Tri Dao)
  • Инициатива LocalLlama (gguf)
  • Архитектурные решения: MoE, medusa, и multitoken prediction

13. Multimodal models

Темы лекции:
  • Задачи мультимодального домена
  • Метрики
  • CLIP
  • LLaVA

Как именно вы освоите каждый навык

Онлайн-лекции, где можно задавать вопросы, обсуждать сложные кейсы и дискутировать. В конце — анонимный тест для закрепления материала

Изучите теорию на zoom-лекции

1.

1/5
2/5
После каждой лекции — домашнее задание для закрепления материала

Сделаете практическое задание

2.

3/5
Каждое домашнее задание проверит лектор и даст исчерпывающий фидбэк

Получите разбор домашнего задания

3.

4/5
Обсуждайте домашние задания, рабочие задачи или просто общайтесь. Кураторы курса всегда помогут решить проблемы и поделятся советом

Если возникнут трудности, мы оперативно поможем в чате

4.

5/5
Раз в 4−5 недель спикеры и кураторы собираются в zoom, чтобы ответить на ваши вопросы, помочь с практикой, обсудить задачи

Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом

5.

Кто будет преподавать

Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
Илья Димов
Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой
Intel /
Артур Панюков
Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности
Yandex /
Дмитрий Калашников
Улучшает качество быстрых генеративных ответов
в Нейро-Поиске
Yandex, ex. VK /
Ex-Human, ex Yandex /
Yandex /
Роман Горб
Руководит командой ускорения инференса YandexGPT
Алексей Бухтияров
Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment
НИУ ВШЭ, Сколтех /
Екатерина Трофимова
Занимается применением LLM к синтезу кода машинного обучения. Разрабатывает программы ДПО в Сколтехе. На курсе расскажет про промптинг
Intel /
Артур Панюков
Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности
Yandex /
Илья Димов
Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой
Ex-Human, ex Yandex /
Алексей Бухтияров
Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment
Yandex, ex. VK /
Дмитрий Калашников
Улучшает качество быстрых генеративных ответов в Нейро-Поиске
Роман Горб
Руководит командой ускорения инференса YandexGPT
Yandex /
НИУ ВШЭ, Сколтех /
Екатерина Трофимова
Занимается применением LLM к синтезу кода машинного обучения. Разрабатывает программы ДПО в Сколтехе. На курсе расскажет про промптинг

После обучения

Чат выпускников

Сертификат о прохождении обучения

Вы попадаете в чат выпускников — чат с опытными инженерами, где мы проводим литклубы, random coffee и обсуждаем вопросы с работы

Доступ к материалам курса на один год

Комфортные условия для вашей учёбы

Полный возврат стоимости в первые 14 дней,
если поймёте, что программа вам не подходит. Если примете решение позже, вернём деньги за вычетом уже пройденных занятий
Налоговый вычет
получите 13% от стоимости курса после обучения
Оплата из-за рубежа
картой иностранного банка или другими удобными способами
Может оплатить компания. мы принимаем оплату от юрлиц, если хотите, чтобы работодатель оплатил ваше обучение, пусть ваши представители напишут нам на b2b@deepschool.ru для оформления документов и оплаты
Мы обучаем по лицензии Л035-01199-54/00734237 ↗

Лист ожидания

Количество мест ограничено. Запишитесь в лист ожидания. Мы свяжемся, когда начнем собирать группу, расскажем о тарифах и подарим скидку на обучение первым участникам.

Доступен налоговый вычет

Может оплатить компания

Полный возврат в первые 14 дней

Принимаем оплату из-за рубежа

Что говорят наши выпускники

Истории глазами тех, кто успешно прошел обучение
«Хочу сказать, что это, пожалуй, лучший курс по ML, который я проходила (а у меня достаточно лет опыта в ML)»
Галина Альперович
(CV Rocket)
Мария Старцева
«Воспользовалась на работе некоторыми идеями и мне очень пригодился код для построения рабочих пайплайнов»
«Курс оказался крайне полезным. Благодаря лекторам, тьюторам и создателям программы, я смог углубить свои знания»
Арсений Рылов
Ольга Чаганова
«После обучения стала ощущать себя намного увереннее, многие вещи стали понятнее, осталось только углублять знания»
(3DCV)
(CV Rocket)
(CV Rocket)
«Курс максимально полезный лично для меня, систематизирует знания, не оставляет пробелов»
Роман Рютин
«Крутой курс! Многое узнал и прокачал навыки. Постоянное общение с авторами курса мотивировало в учебе»
(LLM)
Дмитрий
(3DCV)

FAQs

Когда проходят лекции и семинары?

Лекции проходят по будням в 18:00 по московскому времени и длятся 1,5−2 часа. Q&A-сессии проходят после каждой 5-й лекции, время определяется индивидуально для каждого потока.

Смогу ли я оформить налоговый вычет?

Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Подать документы на вычет можно в году, следующем за годом оплаты обучения. Подробнее о налоговом вычете за обучение можно прочитать на сайте ФНС

Может ли моя компания оплатить курс?

Моя компания может оплатить курс?
Да, мы подготовим счёт на полную или частичную оплату для юридического лица. Напишите на hello@deepschool.ru
Скидки не распространяются на оплату курса юр. лицами, поэтому при заполнении заявки указывайте полную стоимость.

На сколько часов рассчитана программа?

На сколько
часов рассчитана программа?
Курс включает 32 астрономических часа лекций и Q&A-сессий. С учетом времени на домашние задания, учеба будет занимать примерно 8 часов в неделю. В середине курса есть перерыв на каникулы.

Что я должен знать, чтобы начать обучение?

От наших будущих студентов на курсе LLM мы ожидаем следующие знания:

1. Математика для ML и основы DL
Необходимо знать, что такое производная, матричное умножение, скалярное произведение, градиентный спуск, дифференцируемость, как работают оптимизаторы SGD/Adam, что такое кроссэнтропийная функция потерь.

2. Базовое знание Python
Будем писать функции и классы. Часть заданий будет в py-скриптах.

3. Базовое владение Pytorch
В первой половине курса мы реализуем несколько архитектур и напишем свое обучение языковой модели, нужно знать такие классы как nn.Linear, nn.Dropout, torch.softmax, оптимизаторы из torch.optim, уметь написать training loop.

Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм: @deepschool_support

Если у вас остались вопросы по курсу, напишите нам в Telegram

Наши программы

Поможем освоить востребованные на рынке знания, передав секреты и опыт практикующих инженеров и исследователей
Наведите порядок в репозиториях, научитесь создавать и деплоить DL-сервисы

Деплой DL-сервисов

Март 2025 • 4 месяца
Научитесь ускорять модели и адаптировать инференс под CPU, GPU и NPU

Ускорение нейросетей

Февраль 2025 • 3 месяца
Узнайте, как решают задачи в VR/AR, беспилотниках и цифровых двойниках

3D Computer Vision

Апрель 2025 • 3 месяца
Подробнее
Подробнее
Подробнее
/
Освойте теорию генеративных моделей и их обучение на практике

Generative Computer Vision

Лист ожидания • 3 месяца
Теория, инференс, ускорение и актуальные подходы в LLM

LLM

Подробнее
/
Подробнее
Февраль 2025 • 4 месяца
Повысьте квалификацию, решая сложные кейсы в CV-задачах

CV Rocket 2.0

Апрель 2025
Лист ожидания
coming soon
Наведите порядок в репозиториях, научитесь создавать и деплоить DL-сервисы

Деплой DL-сервисов

Март 2025 • 4 месяца
Научитесь ускорять модели и адаптировать инференс под CPU, GPU и NPU

Ускорение нейросетей

Февраль 2025 • 3 месяца
Узнайте, как решают задачи в VR/AR, беспилотниках и цифровых двойниках

3D Computer Vision

Апрель 2025 • 3 месяца
Освойте теорию генеративных моделей и их обучение на практике

Generative Computer Vision

Лист ожидания • 3 месяца
Теория, инференс, ускорение и актуальные подходы в LLM

LLM

Подробнее
Подробнее
Подробнее
Подробнее
Подробнее
Февраль 2025 • 4 месяца
Повысьте квалификацию, решая сложные кейсы в CV-задачах

CV Rocket 2.0

Март 2025
Лист ожидания
coming soon

Телеграм-канал
DeepSchool

Короткие посты по теории ML/DL, полезные библиотеки и фреймворки, вопросы с собеседований и советы, которые помогут в работе