1. Математика для ML и понимание устройства DL
Необходимо знать, что такое производная, матричное умножение, скалярное произведение, градиентный спуск, дифференцируемость, как работают оптимизаторы SGD/Adam, что такое кроссэнтропийная функция потерь, как работает backpropagation
Будем писать функции и классы на Python. Нужно уметь использовать базовые pytorch-классы, такие как nn.Linear, nn.Dropout, torch.softmax, оптимизаторы из torch.optim, уметь написать training loop
2. Базовое знание Python и PyTorch
5. Понимание базовых NLP-задач
Токенизация, классификация, генерация текста, оценка близости текстов через вектора
Self-attention, positional encoding, механизмы кодирования/декодирования, на какие задачи учится BERT и GPT
6. Знание архитектуры трансформеров
7. Базовое знание того, как обучаются LLM
8. Базовое представление об устройстве AI-агентов
Предобучение, supervised fine-tuning, алайнмент (включая метод DPO)
4. Знание архитектуры LLM