Есть вопросы по курсу?
напишите нам в Telegram, ответим на все вопросы
Large Language Models
Старт — в июне
Онлайн-курс
Научитесь использовать LLM в приложениях: обучать, деплоить, ускорять и многое другое
Курс для тех, кто планирует или уже работает с LLM, знает основы DL и работает с Python и PyTorch
DL-инженеры с опытом в LLM
ML/CV-инженеры без опыта в LLM
Python-разработчики
Закроете пробелы в знаниях, наберетесь советов и улучшите проекты
Разберетесь в теории, отточите практику, структурировано и без воды
С нуля познакомитесь с NLP и инструментами для работы с LLM
Важно знать основы DL и работать с Python и PyTorch
1. Математика для ML и основы DL
Необходимо знать, что такое производная, матричное умножение, скалярное произведение, градиентный спуск, дифференцируемость, как работают оптимизаторы SGD/Adam, что такое кроссэнтропийная функция потерь
Будем писать функции и классы. Часть заданий будет в py-скриптах
2. Базовое знание Python
В первой половине курса мы реализуем несколько архитектур и напишем свое обучение языковой модели, нужно знать такие классы как nn.Linear, nn.Dropout, torch.softmax, оптимизаторы из torch.optim, уметь написать training loop
3. Базовое владение Pytorch
Программа
Лекция каждую неделю. После каждой темы — домашнее задание с фидбеком от лектора. Раз в 4−5 недель — Q&A-сессия для разбора вопросов. В середине курса есть перерыв на каникулы.
16 недель
13 лекций
13 заданий с фидбеком от преподавателей
01. Введение в NLP. Классические подходы и RNN
В тарифе «С введением»
Темы лекции:
- Особенности домена
- Виды NLP-задач
- Модели на основе подсчетов
- Дистрибутивная гипотеза
- Эмбеддинги
- Рекуррентные сети
- Token classification
02. Введение в NLP. Seq2Seq и Трансформеры
В тарифе «С введением»
Темы лекции:
- Seq-to-seq
- Attention
- Трансформер
- BERT
- Почему трансформеры победили
- T5
03. Основы LLM. Архитектура трансформера
В тарифе «С введением»
Темы лекции:
- LSTM имплементации
- Полный трансформер
- Архитектура GPT
- Эмбеддинги
- Attention
- Нормализации
- Superposition
04. Основы LLM. Модификации трансформеров
В тарифе «С введением»
Темы лекции:
- Attentions (sliding, streaming, group query)
- Embeddings (ROPE, ALIBI, NOPE)
- Knowledge fusion
- Circuits and W-compositions
- LLM Surgery
05. Доступные LLMs
Темы лекции:
- Обзор основных игроков индустрии
- Open source LLM и датасеты
- Открытые бенчмарки и арены
- Сервисы для сервинга LLM
- Как выбрать LLM для своей задачи и нужна ли она вообще
06. Prompt Engineering
Темы лекции:
- Instruct LLM
- Что такое промпт и почему это работает, zero shot learning
- Примеры промптов к разным моделям
- Промпты в LangChain
- Форматированный ответ
- Извлечение ответа из промпта
- Few Shot learning
- Борьба с галлюцинацией
- Tips and tricks
- Примеры
- Function calling
- Защита от инъекций
07. Tools and Agents
Темы лекции:
- Function call / Tools
- Structured output
- Примеры сценариев
- LLM Agents
- ReAct
08. Fine-tuning
Темы лекции:
- Управление памятью и точностью вычислений
- Multi-GPU, Multi-Host training, FSDP/ZeRO
- Оптимизация и квантизация
- Легковесные дообучения адаптеров
- Фреймворки и инструменты
09. Alignment
Темы лекции:
- Мотивация: safety, robustness, predictability
- Обзор подходов: RLHF, RLAIF, Reward Hacking (Overoptimization), DPO, KTO
- TRL библиотека для дообучения
- Less Is More for Allignment
- Источники данных: User feedback, Crowdsourcing, Synthetic
10. RAG
Темы лекции:
- Что такое RAG
- Векторный поиск
- Векторные БД
- Полнотекстовый поиск
- Проблемы поиска
- Оценка качества
- Практические советы
11. Деплой
Темы лекции:
- Схемы деплоя
- Фреймворки для инференса: torch.compile, onnx, trtllm, vllm, tgi, lmdeploy
- Разбор преимуществ фреймворков
- Техники ускорения инференса
- Мониторинги
12. Ускорение LLM
Темы лекции:
- Flash attention
- Квантизации bitsandbytes
- Различные методы квантования
- Speculative decoding
- Sparse Matrix multiplication (статьи SpQR и butterfly от Tri Dao)
- Инициатива LocalLlama (gguf)
- Архитектурные решения: MoE, medusa, и multitoken prediction
13. Multimodal models
Темы лекции:
- Задачи мультимодального домена
- Метрики
- CLIP
- LLaVA
Как именно вы освоите каждый навык
Кто будет преподавать
Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах
Илья Димов
Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой
Intel /
Артур Панюков
Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности
Yandex /
Дмитрий Калашников
Улучшает качество быстрых генеративных ответов
в Нейро-Поиске
в Нейро-Поиске
Yandex, ex. VK /
Ex-Human, ex Yandex /
Yandex /
Роман Горб
Руководит командой ускорения инференса YandexGPT
Алексей Бухтияров
Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment
НИУ ВШЭ, Сколтех /
Екатерина Трофимова
Занимается применением LLM к синтезу кода машинного обучения. Разрабатывает программы ДПО в Сколтехе. На курсе расскажет про промптинг
Intel /
Артур Панюков
Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности
Yandex /
Илья Димов
Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой
Ex-Human, ex Yandex /
Алексей Бухтияров
Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment
Yandex, ex. VK /
Дмитрий Калашников
Улучшает качество быстрых генеративных ответов в Нейро-Поиске
Роман Горб
Руководит командой ускорения инференса YandexGPT
Yandex /
НИУ ВШЭ, Сколтех /
Екатерина Трофимова
Занимается применением LLM к синтезу кода машинного обучения. Разрабатывает программы ДПО в Сколтехе. На курсе расскажет про промптинг
После обучения
Чат выпускников
Сертификат о прохождении обучения
Вы попадаете в чат выпускников — чат с опытными инженерами, где мы проводим литклубы, random coffee и обсуждаем вопросы с работы
Доступ к материалам курса на один год
Комфортные условия для вашей учёбы
Полный возврат стоимости в первые 14 дней,
если поймёте, что программа вам не подходит. Если примете решение позже, вернём деньги за вычетом уже пройденных занятий
если поймёте, что программа вам не подходит. Если примете решение позже, вернём деньги за вычетом уже пройденных занятий
Налоговый вычет
получите 13% от стоимости курса после обучения
получите 13% от стоимости курса после обучения
Оплата из-за рубежа
картой иностранного банка или другими удобными способами
картой иностранного банка или другими удобными способами
Может оплатить компания. мы принимаем оплату от юрлиц, если хотите, чтобы работодатель оплатил ваше обучение, пусть ваши представители напишут нам на b2b@deepschool.ru для оформления документов и оплаты
Мы обучаем по лицензии Л035-01199-54/00734237 ↗
Запишитесь в лист ожидания
Старт — в июне. Количество мест ограничено. Мы свяжемся, когда начнём собирать группу, расскажем о тарифах и подарим скидки на обучение первым участникам.
Доступен налоговый вычет
Может оплатить компания
Полный возврат в первые 14 дней
Принимаем оплату из-за рубежа
Лист ожидания
Старт курса в феврале, количество мест ограничено. Запишитесь в лист ожидания. Мы свяжемся, когда начнем собирать группу, расскажем о тарифах и подарим скидку на обучение первым участникам.
Что говорят наши выпускники
Истории глазами тех, кто успешно прошел обучение
«Мои ожидания оправдались на 120% и я смог закрепить уже имевшиеся знания и пополнить новыми!
Михаил Пузицкий
(LLM)
«Прекрасно подобранные темы, прекрасно выстроена дорожка обучения, начиная с собери сам до использования инструментов»
Александр Петров
(LLM)
(LLM)
«Хороший курс! Рассказываются крутые и не супер-очевидные вещи, на паре технических собесов (формат «ML и LLM…)»
Александр Логинов
Виталий Проценко
«Получил огромный пласт знаний и практический опыт, который уже применяю на работе»
(LLM)
«Все мои вопросы подробно разобрали. Самым интересным был RAG, потому что применил в работе»
Роман Рютин
«Крутой курс! Многое узнал и прокачал навыки. Постоянное общение с авторами курса мотивировало в учебе»
(LLM)
Евгений Макаров
(LLM)
(LLM)
LinkedIn
Максим Гольцов
«Курс позволил получить теоретические и практические навыки работы с LLM. Благодаря ему получил первый оффер)»
«Узнал много нового в тех областях LLM, где не хватало опыта. Сразу придумал, как использовать агенты в рабочих проектах»
Петр Матюков
LinkedIn
(LLM)
(LLM)
Елизавета Носова
«Курс полезный, помог наверстать упущенное в понимании современных llm»
«Ожидания оправдались более чем! Готовность отвечать практически в любое время и настолько развернуто»
Никита Довидченко
LinkedIn
(LLM)
(LLM)
(LLM)
LinkedIn
Дмитрий Махортов
«Осознание как работает function caling под капотом это было настоящим открытием»
Павел Думин
«Отличный курс, было интересно и полезно. Но некоторые темы требуют чуть большего времени»
«Хороший обзор по теме LLM с практикой, после которого можно дальше погружаться вглубь»
Алексей Глотов
(LLM)
«Мои ожидания оправдались на 120% и я смог закрепить уже имевшиеся знания и пополнить новыми!
Михаил Пузицкий
(LLM)
«Прекрасно подобранные темы, прекрасно выстроена дорожка обучения, начиная с собери сам до использования инструментов»
Александр Петров
(LLM)
(LLM)
«Хороший курс! Рассказываются крутые и не супер-очевидные вещи, на паре технических собесов (формат «ML и LLM…)»
Александр Логинов
Виталий Проценко
«Получил огромный пласт знаний и практический опыт, который уже применяю на работе»
(LLM)
«Все мои вопросы подробно разобрали. Самым интересным был RAG, потому что применил в работе»
Роман Рютин
«Крутой курс! Многое узнал и прокачал навыки. Постоянное общение с авторами курса мотивировало в учебе»
(LLM)
Евгений Макаров
(LLM)
(LLM)
LinkedIn
Максим Гольцов
«Курс позволил получить теоретические и практические навыки работы с LLM. Благодаря ему получил первый оффер)»
«Узнал много нового в тех областях LLM, где не хватало опыта. Сразу придумал, как использовать агенты в рабочих проектах»
Петр Матюков
LinkedIn
(LLM)
(LLM)
Елизавета Носова
«Курс полезный, помог наверстать упущенное в понимании современных llm»
«Ожидания оправдались более чем! Готовность отвечать практически в любое время и настолько развернуто»
Никита Довидченко
LinkedIn
(LLM)
(LLM)
(LLM)
LinkedIn
Дмитрий Махортов
«Осознание как работает function caling под капотом это было настоящим открытием»
Павел Думин
«Отличный курс, было интересно и полезно. Но некоторые темы требуют чуть большего времени»
«Хороший обзор по теме LLM с практикой, после которого можно дальше погружаться вглубь»
Алексей Глотов
(LLM)
FAQs
Когда проходят лекции и семинары?
Лекции проходят по будням в 19:00 по московскому времени и длятся 1,5−2 часа. Q&A-сессии проходят после каждой 5-й лекции, время определяется индивидуально для каждого потока.
Смогу ли я оформить налоговый вычет?
Да, вы сможете оформить налоговый вычет за обучение, если вы являетесь налоговым резидентом России и оплачиваете подоходный налог. Подать документы на вычет можно в году, следующем за годом оплаты обучения. Подробнее о налоговом вычете за обучение можно прочитать на сайте ФНС
Может ли моя компания оплатить курс?
Моя компания может оплатить курс?
Да, мы подготовим счёт на полную или частичную оплату для юридического лица. Напишите на hello@deepschool.ru
Скидки не распространяются на оплату курса юр. лицами, поэтому при заполнении заявки указывайте полную стоимость.
Скидки не распространяются на оплату курса юр. лицами, поэтому при заполнении заявки указывайте полную стоимость.
На сколько часов рассчитана программа?
На сколько
часов рассчитана программа?
часов рассчитана программа?
Курс включает 32 астрономических часа лекций и Q&A-сессий. С учетом времени на домашние задания, учеба будет занимать примерно 8 часов в неделю. В середине курса есть перерыв на каникулы.
Что я должен знать, чтобы начать обучение?
От наших будущих студентов на курсе LLM мы ожидаем следующие знания:
1. Математика для ML и основы DL
Необходимо знать, что такое производная, матричное умножение, скалярное произведение, градиентный спуск, дифференцируемость, как работают оптимизаторы SGD/Adam, что такое кроссэнтропийная функция потерь.
2. Базовое знание Python
Будем писать функции и классы. Часть заданий будет в py-скриптах.
3. Базовое владение Pytorch
В первой половине курса мы реализуем несколько архитектур и напишем свое обучение языковой модели, нужно знать такие классы как nn.Linear, nn.Dropout, torch.softmax, оптимизаторы из torch.optim, уметь написать training loop.
Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм: @deepschool_support
1. Математика для ML и основы DL
Необходимо знать, что такое производная, матричное умножение, скалярное произведение, градиентный спуск, дифференцируемость, как работают оптимизаторы SGD/Adam, что такое кроссэнтропийная функция потерь.
2. Базовое знание Python
Будем писать функции и классы. Часть заданий будет в py-скриптах.
3. Базовое владение Pytorch
В первой половине курса мы реализуем несколько архитектур и напишем свое обучение языковой модели, нужно знать такие классы как nn.Linear, nn.Dropout, torch.softmax, оптимизаторы из torch.optim, уметь написать training loop.
Если вы сомневаетесь, подходит ли курс именно вам, напишите нам в телеграм: @deepschool_support
Наши программы
Поможем освоить востребованные на рынке знания, передав секреты и опыт практикующих инженеров и исследователей
Наведите порядок в репозиториях, научитесь создавать и деплоить DL-сервисы
Деплой DL-сервисов
Март 2025 • 4 месяца
Научитесь ускорять модели и адаптировать инференс под CPU, GPU и NPU
Ускорение нейросетей
Июнь 2025 • 3 месяца
Узнайте, как решают задачи в VR/AR, беспилотниках и цифровых двойниках
3D Computer Vision
Июль 2025 • 3 месяца
Подробнее
Подробнее
Подробнее
/
Записаться в лист ожидания
Погрузитесь в продвинутый Computer Vision
Наведите порядок в репозиториях, научитесь создавать и деплоить DL-сервисы
Деплой DL-сервисов
Март 2025 • 4 месяца
Научитесь ускорять модели и адаптировать инференс под CPU, GPU и NPU
Ускорение нейросетей
Июнь 2025 • 3 месяца
Узнайте, как решают задачи в VR/AR, беспилотниках и цифровых двойниках
3D Computer Vision
Июль 2025 • 3 месяца
Освойте теорию генеративных моделей и их обучение на практике
Generative Computer Vision
Лист ожидания • 3 месяца
Теория, инференс, ускорение и актуальные подходы в LLM
LLM
Подробнее
Подробнее
Подробнее
Подробнее
Подробнее
Июнь 2025 • 4 месяца
CV Rocket 2.0
Подробнее
13 мая 2025
Телеграм-канал DeepSchool
Короткие посты по теории ML/DL, полезные библиотеки и фреймворки, вопросы с собеседований и советы, которые помогут в работе
Крутой курс! Многое узнал и прокачал навыки. Из того, что оказалось для меня особенно полезным – RAG, агенты, ускорение, инференс при малом бюджете, промпт инжиниринг и немного деплой. Постоянное общение с авторами курса мотивировало в учебе.
Роман Рютин
Роман Рютин
Хороший курс! Рассказываются крутые и не супер-очевидные вещи, на паре технических собесов (формат "ML и LLM в глубину") удалось рассказать то, о чем собеседующий эксперт не знал, это прикольно
Александр Логинов
Александр Логинов
Прекрасно подобранные темы, прекрасно выстроена дорожка обучения, начиная
с собери сам до использования инструментов. Интересные д/з. Ваши программы надо в универах запускать
Александр Петров
с собери сам до использования инструментов. Интересные д/з. Ваши программы надо в универах запускать
Александр Петров
Очень доволен, тем что прошел курс. На мой взгляд, в нем наиболее полный источник знаний о современных LLM моделях. Затронули очень много тем и дали кучу дополнительных материалов.
Домашние задания на каждую тему помогли пощупать руками то, что изучали.
Все мои вопросы подробно разобрали, на лекции хватало времени на каждого человека.
Самым интересным был RAG, потому что применил в работе.
Евгений Макаров
Домашние задания на каждую тему помогли пощупать руками то, что изучали.
Все мои вопросы подробно разобрали, на лекции хватало времени на каждого человека.
Самым интересным был RAG, потому что применил в работе.
Евгений Макаров
Крайне положительное впечатление осталось, очень понравились и лекции, и практические задания.
Получил огромный пласт знаний и практический опыт, который уже применяю на работе.
Очень интересно было кодить части трансформера, всегда любил программирование больше, чем промптинг.
Виталий Проценко
Получил огромный пласт знаний и практический опыт, который уже применяю на работе.
Очень интересно было кодить части трансформера, всегда любил программирование больше, чем промптинг.
Виталий Проценко
Мощная и достаточно высоко нагруженная программа. Особенно хороша при совпадении с тематикой своей работы.
Мои ожидания оправдались на 120% и я смог закрепить уже имевшиеся знания и пополнить новыми! Расширил и углубил понимание.
LLMMultimodal models — самая интересная тема, так как это мое направление и в ней собраны и отчасти ранее полученные знания по LLM.
Удачи и развития других программ на вашей платформе!
Михаил Пузицкий
Мои ожидания оправдались на 120% и я смог закрепить уже имевшиеся знания и пополнить новыми! Расширил и углубил понимание.
LLMMultimodal models — самая интересная тема, так как это мое направление и в ней собраны и отчасти ранее полученные знания по LLM.
Удачи и развития других программ на вашей платформе!
Михаил Пузицкий
Очень интересный курс! Позволил получить теоретические и практические навыки работы с LLM.
На рынке множество курсов, и каждый предлагает свою «уникальную» программу. Но была уверенность в deepschool, поэтому сомнения быстро ушли)) Курс познакомил меня с необходимыми знаниями для развития в интересующей меня области.
Интереснее всего были Основы LLM. Преподаватель смог простым языком разобрать сложную тему.
Большое спасибо всем за курс! Благодаря ему получил первый оффер)
Максим Гольцов
На рынке множество курсов, и каждый предлагает свою «уникальную» программу. Но была уверенность в deepschool, поэтому сомнения быстро ушли)) Курс познакомил меня с необходимыми знаниями для развития в интересующей меня области.
Интереснее всего были Основы LLM. Преподаватель смог простым языком разобрать сложную тему.
Большое спасибо всем за курс! Благодаря ему получил первый оффер)
Максим Гольцов
Отлично. Узнал много нового в тех областях LLM, где не хватало опыта. Особенно с деплоймент, ускорение, агенты, многими гпу.
Самой интересной темой оказались Агенты, потому что сразу придумал как их использовать в рабочих проектах.
Стала более понятна архитектура трансформеров и LLM. Подтвердил, что стек ИИ на работе соответствует лучшим практикам.
Петр Матюков
Самой интересной темой оказались Агенты, потому что сразу придумал как их использовать в рабочих проектах.
Стала более понятна архитектура трансформеров и LLM. Подтвердил, что стек ИИ на работе соответствует лучшим практикам.
Петр Матюков
Курс полезный, помог наверстать упущенное в понимании современных llm.
Систематизировала знания об llm, узнала про специфичные для llm принципы деплоя и ускорения
Елизавета Носова
Систематизировала знания об llm, узнала про специфичные для llm принципы деплоя и ускорения
Елизавета Носова
Очень хороший курс, оправдал ожидания.
Хороший обзор по теме LLM с практикой, после которого можно дальше погружаться вглубь.
Все супер, буду ждать обновленных лекций второго запуска. Ну и в целом, курс нужно просматривать 2 раза.
Алексей Глотов
Хороший обзор по теме LLM с практикой, после которого можно дальше погружаться вглубь.
Все супер, буду ждать обновленных лекций второго запуска. Ну и в целом, курс нужно просматривать 2 раза.
Алексей Глотов
Отличный курс, было интересно и полезно. Но некоторые темы требуют чуть большего времени.
Павел Думин
Павел Думин
Что курс, что программа — огонь! Пришел по наводке:) ожидания оправдались более чем!
Изначально хотелось побольше узнать о файнтюнинге (по работе) так что очень ждал этот раздел, но неожиданно для себя тема с агентами и RAG взорвала мозг — когда научная фантастика становится реальностью!
Самое полезное и в общих словах — более глубокое понимание донастройки моделей под собственные нужды (фактически весь третий раздел) — сложно выделить из этого что-то одно. Ну и переспектива на то в какую сторону область развивается.
Команде курса огромное спасибо за четкую организацию процесса, также отдельно хочу выразить благодарность лекторам за их терпение и упрямство в том чтобы даже ребенок все понял и осознал! Готовность отвечать практически в любое время и настолько развернуто насколько только можно — это просто вне всяких оценок, без этого солидный кусок курса точно остался бы непонятым!
Никита Довидченко
Изначально хотелось побольше узнать о файнтюнинге (по работе) так что очень ждал этот раздел, но неожиданно для себя тема с агентами и RAG взорвала мозг — когда научная фантастика становится реальностью!
Самое полезное и в общих словах — более глубокое понимание донастройки моделей под собственные нужды (фактически весь третий раздел) — сложно выделить из этого что-то одно. Ну и переспектива на то в какую сторону область развивается.
Команде курса огромное спасибо за четкую организацию процесса, также отдельно хочу выразить благодарность лекторам за их терпение и упрямство в том чтобы даже ребенок все понял и осознал! Готовность отвечать практически в любое время и настолько развернуто насколько только можно — это просто вне всяких оценок, без этого солидный кусок курса точно остался бы непонятым!
Никита Довидченко
Положительные впечатления о программе. Все темы были интересными. Хотя если выбирать что-то одно, то осознание как работает function caling под капотом это было настоящим открытием.
Большое спасибо всей команде курса, особенно хочу отметить Илью. Умеет держать интерес и рассказывать сложные вещи простым языком.
Дмитрий Махортов
Большое спасибо всей команде курса, особенно хочу отметить Илью. Умеет держать интерес и рассказывать сложные вещи простым языком.
Дмитрий Махортов
Есть вопросы, на которые вы не нашли ответы? Напишите нам в Telegram, ответим на все интересующие вопросы