Есть вопросы по курсу?

напишите нам в Telegram, ответим на все вопросы

Телеграм-канал DeepSchool

Ускорение нейросетей

3D CV

Gen CV

Large Language Models

Старт 27 ноября

Онлайн-курс

Научитесь использовать LLM в приложениях: обучать, деплоить, ускорять и многое другое

LLM

Курс для тех, кто планирует или уже работает с LLM

DL-инженеры с опытом в LLM

ML/CV-инженеры без опыта в LLM

Python-разработчики

Закроете пробелы в знаниях, наберетесь советов и улучшите проекты

Разберетесь в теории, отточите практику, структурировано и без воды

С нуля познакомитесь с NLP и инструментами для работы с LLM

Программа

После каждой лекции — практика

16

недель

13

лекций

8-12

часов в неделю

1. Введение в NLP. Часть 1

Темы лекции:

Особенности домена

Виды NLP-задач

Модели на основе подсчетов

Дистрибутивная гипотеза

Эмбеддинги

Рекуррентные сети

Token classification

2. Введение в NLP. Часть 2

Темы лекции:

Seq-to-seq

Attention

Трансформер

BERT

Почему трансформеры победили

T5

3. Основы LLM. Часть 1

Темы лекции:

LSTM имплементации

Полный трансформер

Архитектура GPT

Эмбеддинги

Attention

Нормализации

Superposition

4. Основы LLM. Часть 2

Темы лекции:

Attentions (sliding, streaming, group query)

Embeddings (ROPE, ALIBI, NOPE)

Knowledge fusion

Circuits and W-compositions

LLM Surgery

5. Доступные LLMs

Темы лекции:

Обзор основных игроков индустрии

Open source LLM и датасеты

Открытые бенчмарки и арены

Сервисы для сервинга LLM

Как выбрать LLM для своей задачи и нужна ли она вообще

6. Prompt Engineering

Темы лекции:

Instruct LLM

Что такое промпт и почему это работает, zero shot learning

Примеры промптов к разным моделям

Промпты в LangChain

Форматированный ответ

Извлечение ответа из промпта

Few Shot learning

Борьба с галлюцинацией

Tips and tricks

Примеры

Function calling

Защита от инъекций

7. Tools and Chains

Темы лекции:

Введение в инструменты

Применение инструментов на примере задачи

Создание собственных инструментов

Введение в цепочки (chains)

Применение цепочек на примере LangChain

Обзор фреймворков: LlamaIndex, Ollama

8. LLM Agent

Темы лекции:

Введение в агентов

Создание агентов

Работа агента

Борьба с галлюцинацией при помощи агентов

ReAct

Обзор фреймворков: AutoGPT, Langroid, AutoGen, OpenAgents, GPT Engineer, DemoGPT, GPT Researcher, AgentVerse, Agents, BMTools, crewAI, Phidata

9. RAG

Темы лекции:

Ванильный RAG

Векторные базы

Полнотекстовый поиск

Поисковые движки

Проблемы поиска

Защита от вредных команд и цензура

Защита от нерелевантной выдачи

Валидация ответа LLM

Как оценивать RAG?

10. Fine-tuning

Темы лекции:

Управление памятью и точностью вычислений

Multi-GPU, Multi-Host training, FSDP/ZeRO

Оптимизация и квантизация

Легковесные дообучения адаптеров

Фреймворки и инструменты

11. Alignment

Темы лекции:

Мотивация: safety, robustness, predictability

Обзор подходов: RLHF, RLAIF, Reward Hacking (Overoptimization), DPO, KTO

TRL библиотека для дообучения

Less Is More for Allignment

Источники данных: User feedback, Crowdsourcing, Synthetic

12. Деплой

Темы лекции:

Схемы деплоя

Фреймворки для инференса: torch.compile, onnx, trtllm, vllm, tgi, lmdeploy

Разбор преимуществ фреймворков

Техники ускорения инференса

Мониторинги

13. Ускорение LLM

Темы лекции:

Flash attention

Квантизации bitsandbytes

Различные методы квантования

Speculative decoding

Sparse Matrix multiplication (статьи SpQR и butterfly от Tri Dao)

Инициатива LocalLlama (gguf)

Архитектурные решения: MoE, medusa, и multitoken prediction

14. Multimodal models

Темы лекции:

Задачи мультимодального домена

Метрики

CLIP

LLaVA

Как именно вы освоите каждый навык

Онлайн-лекции, где можно задавать вопросы, обсуждать сложные кейсы и дискутировать. В конце — анонимный тест для закрепления материала

Изучите теорию на zoom-лекции

1.

1/5

←

→

2/5

←

→

После каждой лекции — домашнее задание для закрепления материала

Сделаете практическое задание

2.

3/5

←

→

Каждое домашнее задание проверит лектор и даст исчерпывающий фидбэк

Получите разбор домашнего задания

3.

4/5

←

→

Обсуждайте домашние задания, рабочие задачи или просто общайтесь. Кураторы курса всегда помогут решить проблемы и поделятся советом

Если возникнут трудности, мы оперативно поможем в чате

4.

5/5

←

→

Раз в 4−5 недель спикеры и кураторы собираются в zoom, чтобы ответить на ваши вопросы, помочь с практикой, обсудить задачи

Или приходите на онлайн-встречи с кураторами, чтобы обсудить вопрос голосом

5.

Кто будет преподавать

Опытные инженеры. Каждый расскажет про задачу, с которой несколько лет работал в коммерческих проектах

Intel /

Артур Панюков

Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности

Илья Димов

Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой

Replika /

Андрей Филатов

Работает в команде Kandinsky, а до этого в Tinkoff и Samsung, решал задачи в различных доменах от скоринга до 3D и публиковался на NeurIPS 2022. На курсе ведет лекцию по мультимодальным моделям

Sber AI /

Ex-Human, ex Yandex /

Ростелеком Лабс /

Артём Бардаков

Tech Lead команды робота Макса на Госуслугах. 10 лет в индустрии, сертифицированный Oracle Архитектор. Занимается разработкой и внедрением RAG-систем, о которых и расскажет в курсе

Алексей Бухтияров

Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment

SberDevices /

Даниил Водолазский

Делает co-pilot для работы с документами в Сбер. Создавал low-code фреймворк AutoNER, обучал ruLayoutLMv2, ruUDOP, IDRFormer. Решал суммаризацию в Jazz. Расскажет введение в NLP

Intel /

Артур Панюков

Занимается добавлением NLP-фич и токенайзеров в инференс-фреймворк OpenVINO. На курсе расскажет про устройство трансформеров и BERT-подобные модели в частности

SkyEng /

Илья Начевский

Оптимизирует рутину в SkyEng с помощью мультимодальных моделей. Решал множество задач от видео-аналитики до применения DL к космическим данным, но последние годы посвятил LLM. Расскажет введение в LLM

Фаррух Кушназаров

Solution-архитектор в Alibaba Cloud. В основном занимается разработкой LLM-агентов и RAG-систем. На курсе преподает лекции по созданию LLM-инструментов и агентов

Alibaba /

Replika /

Илья Димов

Создаёт виртуальных собеседников при помощи LLM. Работал в команде претрейна в Яндекс, до этого в Abby и Сбер. Расскажет про доступные LLM, тюнинг и деплой

Ex-Human, ex Yandex /

Алексей Бухтияров

Team Lead NLP-команды в Ex-Human, создаёт мультимодальных чатботов. До этого работал с LLM, RAG и эмбеддингами в Яндексе. На курсе расскажет про alignment

Sber AI /

Андрей Филатов

Работает в команде Kandinsky, а до этого в Tinkoff и Samsung, решал задачи в различных доменах от скоринга до 3D и публиковался на NeurIPS 2022. На курсе ведет лекцию по мультимодальным моделям

Артём Бардаков

Tech Lead команды робота Макса на Госуслугах. 10 лет в индустрии, сертифицированный Oracle Архитектор. Занимается разработкой и внедрением RAG-систем, о которых и расскажет в курсе

Ростелеком Лабс /

SberDevices /

Даниил Водолазский

Делает co-pilot для работы с документами в Сбер. Создавал low-code фреймворк AutoNER, обучал ruLayoutLMv2, ruUDOP, IDRFormer. Решал суммаризацию в Jazz. Расскажет введение в NLP

CodeFuel, ex Huawei /

Игорь Иткин

10 лет работает в индустрии машинного обучения. Последние годы работает с LLM в различных проектах и доменах. Расскажет про трюки в промпт-инжиниринге