Есть вопросы по курсу?

напишите нам в Telegram, ответим на все вопросы

Телеграм-канал DeepSchool

Large Language Models

Старт 27 ноября

Онлайн-курс

Телеграм-канал DS

Меню

Научитесь использовать LLM в приложениях: обучать, деплоить, ускорять и многое другое

Курс для тех, кто планирует или уже работает с LLM

DL-инженеры с опытом в LLM

ML/CV-инженеры без опыта в LLM

Python-разработчики

Закроете пробелы в знаниях, наберетесь советов и улучшите проекты

Разберетесь в теории, отточите практику, структурировано и без воды

С нуля познакомитесь с NLP и инструментами для работы с LLM

Главное — иметь опыт работы с Python, Pytorch и не бояться умножения матриц

1. Базовый курс математики для ML
Необходимо знать, что такое производная, матричное умножение, скалярное произведение

2. Базовое знание Python
Будем писать функции и классы. Часть заданий будет в py-скриптах

3. Базовое владение Pytorch
В первой половине курса мы реализуем несколько архитектур и напишем свое обучение языковой модели

В результате обучения:

Узнаете или повторите архитектуру трансформеров и особенности NLP-домена

Научитесь ускорять и деплоить LLM

Узнаете, как эффективно тюнить свои модели

Освоите фреймворки для решения LLM-задач: RAG, Agents, Tools, Function Calling и др.

Научитесь работать с доступными LLM и выбирать модель под проект

Программа

После каждой лекции — домашнее задание

16 недель

13 лекций

8−12 часов в неделю

01. Введение в NLP. Классические подходы и RNN

Темы лекции:

Особенности домена

Виды NLP-задач

Модели на основе подсчетов

Дистрибутивная гипотеза

Эмбеддинги

Рекуррентные сети

Token classification

02. Введение в NLP. Seq2Seq и Трансформеры

Темы лекции:

Seq-to-seq

Attention

Трансформер

BERT

Почему трансформеры победили

T5

03. Основы LLM. Архитектура трансформера

Темы лекции:

LSTM имплементации

Полный трансформер

Архитектура GPT

Эмбеддинги

Attention

Нормализации

Superposition

04. Основы LLM. Модификации трансформеров

Темы лекции:

Attentions (sliding, streaming, group query)

Embeddings (ROPE, ALIBI, NOPE)

Knowledge fusion

Circuits and W-compositions

LLM Surgery

05. Доступные LLMs

Темы лекции:

Обзор основных игроков индустрии

Open source LLM и датасеты

Открытые бенчмарки и арены

Сервисы для сервинга LLM

Как выбрать LLM для своей задачи и нужна ли она вообще

06. Prompt Engineering

Темы лекции:

Instruct LLM

Что такое промпт и почему это работает, zero shot learning

Примеры промптов к разным моделям

Промпты в LangChain

Форматированный ответ

Извлечение ответа из промпта

Few Shot learning

Борьба с галлюцинацией

Tips and tricks

Примеры

Function calling

Защита от инъекций

07. Tools and Agents

Темы лекции:

Function call / Tools

Structured output

Примеры сценариев

LLM Agents

ReAct

08. RAG

Темы лекции:

Что такое RAG

Векторный поиск

Векторные БД

Полнотекстовый поиск

Проблемы поиска

Оценка качества

Практические советы

09. Fine-tuning

Темы лекции:

Управление памятью и точностью вычислений

Multi-GPU, Multi-Host training, FSDP/ZeRO

Оптимизация и квантизация

Легковесные дообучения адаптеров

Фреймворки и инструменты

10. Alignment

Темы лекции:

Мотивация: safety, robustness, predictability

Обзор подходов: RLHF, RLAIF, Reward Hacking (Overoptimization), DPO, KTO

TRL библиотека для дообучения

Less Is More for Allignment

Источники данных: User feedback, Crowdsourcing, Synthetic

11. Деплой

Темы лекции:

Схемы деплоя

Фреймворки для инференса: torch.compile, onnx, trtllm, vllm, tgi, lmdeploy

Разбор преимуществ фреймворков

Техники ускорения инференса

Мониторинги

12. Ускорение LLM

Темы лекции:

Flash attention

Квантизации bitsandbytes

Различные методы квантования

Speculative decoding

Sparse Matrix multiplication (статьи SpQR и butterfly от Tri Dao)

Инициатива LocalLlama (gguf)

Архитектурные решения: MoE, medusa, и multitoken prediction

13. Multimodal models

Темы лекции:

Задачи мультимодального домена

Метрики

CLIP

LLaVA

Как именно вы освоите каждый навык

Онлайн-лекции, где можно задавать вопросы, обсуждать сложные кейсы и дискутировать. В конце — анонимный тест для закрепления материала

Изучите теорию на zoom-лекции

1.

1/5

←

→

2/5

←

→

После каждой лекции — домашнее задание для закрепления материала

Сделаете практическое задание

2.

3/5

←

→

Каждое домашнее задание проверит лектор и даст исчерпывающий фидбэк

Получите разбор домашнего задания

3.

4/5

←

→

Обсуждайте домашние задания, рабочие задачи или просто общайтесь. Кураторы курса всегда помогут решить проблемы и поделятся советом

Если возникнут трудности, мы оперативно поможем в чате

4.

5/5

←

→

Раз в 4−5 недель спикеры и кураторы собираются в zoom, чтобы ответить на ваши вопросы, помочь с практикой, обсудить задачи

Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом

5.

Кто будет преподавать

Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах

Илья Димов

Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой

Intel /

Артур Панюков

Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности

Replika /

Андрей Филатов

Работает в команде Kandinsky, а до этого в Tinkoff и Samsung, решал задачи в различных доменах от скоринга до 3D и публиковался на NeurIPS 2022. На курсе ведет лекцию по мультимодальным моделям

Sber AI /

Ex-Human, ex Yandex /

Ростелеком Лабс /

Артём Бардаков

Tech Lead команды робота Макса на Госуслугах. 10 лет в индустрии, сертифицированный Oracle Архитектор. Занимается разработкой и внедрением RAG-систем, о которых и расскажет в курсе

Алексей Бухтияров

Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment

SberDevices /

Даниил Водолазский

Делает co-pilot для работы с документами в Сбер. Создавал low-code фреймворк AutoNER, обучал ruLayoutLMv2, ruUDOP, IDRFormer. Решал суммаризацию в Jazz. Расскажет введение в NLP

Intel /

Артур Панюков

Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности

Replika /

Илья Димов

Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой

Ex-Human, ex Yandex /

Алексей Бухтияров

Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment

Sber AI /

Андрей Филатов

Работает в команде Kandinsky, а до этого в Tinkoff и Samsung, решал задачи в различных доменах от скоринга до 3D и публиковался на NeurIPS 2022. На курсе ведет лекцию по мультимодальным моделям

Артём Бардаков

Tech Lead команды робота Макса на Госуслугах. 10 лет в индустрии, сертифицированный Oracle Архитектор. Занимается разработкой и внедрением RAG-систем, о которых и расскажет в курсе

Ростелеком Лабс /

SberDevices /

Даниил Водолазский

Делает co-pilot для работы с документами в Сбер. Создавал low-code фреймворк AutoNER, обучал ruLayoutLMv2, ruUDOP, IDRFormer. Решал суммаризацию в Jazz. Расскажет введение в NLP

После обучения

Чат выпускников

Сертификат о прохождении обучения

Вы попадаете в чат выпускников — чат с опытными инженерами, где мы проводим литклубы, random coffee и обсуждаем вопросы с работы

Доступ к материалам курса на один год

Комфортные условия для вашей учёбы

Полный возврат стоимости в первые 14 дней,
если поймёте, что программа вам не подходит. Если примете решение позже, вернём деньги за вычетом уже пройденных занятий

Налоговый вычет
получите 13% от стоимости курса после обучения

Оплата из-за рубежа
картой иностранного банка или другими удобными способами

Может оплатить компания. мы принимаем оплату от юрлиц, если хотите, чтобы работодатель оплатил ваше обучение, пусть ваши представители напишут нам на b2b@deepschool.ru для оформления документов и оплаты

Мы обучаем по лицензии Л035-01199-54/00734237 ↗