Лекции и семинары по курсу эффективные модели глубокого обучения

Лекции

• Мотивация к курсу и что такое вычислительная эффективность. От чего зависит эффективность работы моделей YouTube

• Автоматический поиск архитектур YouTube

• Аппаратное обеспечение и низкоуровневые решения. Введение в вычислительные устройства, как работают CPU и GPU память YouTube

• JIT and Compile в PyTorch 2.0. Погружение в JIT trace, jit compile и Compile YouTube

• Прунинг и спарсификация. Обзор основных методов спарсификации моделей, мотивация почему это работает и какие типы спарсификации бывают YouTube

• Квантизация. Основные методы и подходы к квантизации YouTube

• Продвинутый прунинг — обучение и другое YouTube

• Методы оптимизации LLM: больших языковых моделей — KV-Cache, Paged Attention, GradientCheckpointing и далее YouTube

• Обзор методов поиска архитектур и оптимизации с помощью LLM YouTube

Семинары

• Профилировка моделей с PyTorch Profiler YouTube

• Подбор гиперпараметров для моделей + TPE YouTube

• Введение в Triton. Примеры программирования кернелей на Triton YouTube

• Triton + Quant YouTube

• Работа с JIT, конвертация модели в ONNX. Ускорение модели с JIT и compile YouTube

• Структурный и неструктурный прунинг для VGG YouTube

• Реализация квантования с LSQ. Квантование с PyTorch на CPU YouTube

• Продвинутый прунинг YouTube

Полезные материалы по курсу

Аппаратное обеспечение и низкоуровневая оптимизация

• Глоссарий по GPU от Modal
  Подробное объяснение ключевых компонентов GPU, включая Streaming Multiprocessor и другие элементы архитектуры NVIDIA.
  Читать далее

• Погружение в архитектуру TPU
  Исчерпывающий обзор внутреннего устройства Tensor Processing Units от Google: от систолических массивов до многоуровневой топологии масштабируемых кластеров.
  Читать далее

• Как работают умножения матриц: техника тайлинга
  Наглядное и интуитивное объяснение, почему тайлинг (tiling) ускоряет матричное умножение, как он связан с иерархией памяти GPU и почему это критически важно для трансформеров.
  Читать далее

• Арифметика вывода трансформеров: подсчёт памяти и задержек
  Аналитический разбор потребления памяти, использования KV-кэша, пропускной способности и задержек при инференсе LLM.
  Читать далее

Масштабирование и распределённое обучение

• UltraScale Playbook от Hugging Face
  Практическое руководство по масштабированию обучения LLM на GPU, включая советы по оптимизации памяти, выбору стратегий параллелизма и эффективной утилизации оборудования.
  Читать далее

• Scaling Book: подход DeepMind к масштабированию на TPU
  Комплексный гайд по эффективному распределённому обучению масштабных моделей на TPU, с акцентом на со-дизайн программного и аппаратного стека (XLA, JAX, GSPMD).
  Читать далее

Архитектура и внутреннее устройство LLM

• Сравнение современных архитектур LLM (2025)
  Детальный обзор и сравнение ключевых архитектурных решений в актуальных моделях: DeepSeek-V3, Llama 4, Gemma 3, Qwen3, Kimi K2 и др. Рассматриваются такие аспекты, как MoE, MLA, GQA, sliding window attention, QK-Norm и другие инновации.
  Читать далее

• Отладка в глубинах PyTorch: история одного бага
  Увлекательное повествование о диагностике сложной проблемы в PyTorch, раскрывающее внутренние механизмы библиотеки — от высокоуровневых абстракций до низкоуровневых CUDA-ядрёл и автоматической дифференциации.
  Читать далее

Проекты кураса 2025 ITMO по категориям:

Квантование моделей и Triton-оптимизация
Ускорение и профилирование ASR / Whisper
Профилирование и энергопотребление
Квантование с обучением (QAT) и оценка на CPU
Запуск моделей на мобильных устройствах
Бинарные нейронные сети
Поиск архитектур с помощью LLM (NAS)
Эффективное обучение (Data-Efficient Training)
Оптимизация свёрточных слоёв

Квантование моделей и Triton-оптимизация

• Реализация Triton-кернелей для квантизации весов в LLM и инференса квантизованной модели

(Team 1) Презентация | GitHub

(Team 2) Презентация | GitHub

(Team 3) Презентация | GitHub

(Team 4) GitHub

(Team 5) Презентация | GitHub

(Team 6) Презентация | GitHub

(Team 7) Презентация | GitHub

(Team 8) Презентация | GitHub

(Team 9) GitHub

(Team 10) GitHub

Ускорение и профилирование ASR / Whisper

• Ускорение ASR (Whisper) моделей для работы в реальном времени
  Презентация | GitHub

• Ускорение Whisper. Real Time инференс на CPU
  GitHub

• Ускорение ASR (Whisper) моделей для работы в реальном времени
  Презентация | GitHub

• Ускорение ASR (Whisper) моделей для работы в реальном времени
  Презентация | GitHub

• Профилирование ASR
  Презентация | GitHub

Профилирование и энергопотребление

• Профилировка VLM
  Презентация | GitHub

• Профилировка LLM и VLLM (+ потребление энергии)
  Презентация | GitHub

• Бенчмарк железа для Local AI
  Figma • Google Slides | GitHub | Документация

Квантование с обучением (QAT) и оценка на CPU

• QAT с конвертацией в Int8 и оценка качества на CPU
  Презентация | GitHub

• QAT с конвертацией в Int8 и оценка качества на CPU
  Презентация |
  GitHub 1 •
  GitHub 2 •
  GitHub 3

• QAT с конвертацией в Int8 и оценка качества на CPU
  Презентация | GitHub

• QAT с конвертацией в Int8 и оценка качества на CPU
  Презентация | GitHub

• Бенчмарк оптимизаторов для QAT
  Презентация | GitHub

Запуск моделей на мобильных устройствах

• Запуск квантизованной Int8 CartoonGAN-tiny на телефоне
  Презентация | GitHub

• Запуск квантизованной Int8 CartoonGAN-tiny или TTS на телефоне
  Презентация | GitHub

• Ускорение модели Cartoon GAN
  Презентация | GitHub

Бинарные нейронные сети

• Обучение модели с бинарными весами для задачи классификации голосовых команд
  Презентация | GitHub

• Обучение модели с бинарными весами для задачи классификации голосовых команд
  GitHub

Поиск архитектур с помощью LLM (NAS)

• Автоматический поиск архитектуры под простую задачу с помощью LLM

(Team 1) GitHub

(Team 2) GitHub

(Team 3) GitHub

(Team 4) Презентация | GitHub

(Team 5) Презентация | GitHub

(Team 6) Презентация | GitHub

Эффективное обучение (Data-Efficient Training)

• Data-Efficient Training
  Презентация | GitHub

• Data-Efficient Training
  Презентация | GitHub

• Data-Efficient Training — Knowledge Distillation от большой к tiny модели на маленьком 10% данных
  Презентация | GitHub

Оптимизация свёрточных слоёв

• Conv2d Reimagined: img2col, GEMM, Sparsity & Quantization
  (Team 1) Презентация | GitHub

(Team 2) Презентация | GitHub

(Team 3) Презентация | GitHub

(Team 4) Презентация | GitHub

(Team 5) Презентация | GitHub