Модели внимания и трансформеры

Видеозаписи

Лекция

Семинар

Содержание лекции

• Задачи обработки и преобразования последовательностей (sequence to sequence).
• Рекуррентная сеть с моделью внимания.
• Разновидности моделей внимания: многомерное, иерархическое, Query–Key–Value, внутреннее (self-attention).
• Модели внимания на графах (Graph Attention Network). Задача классификации вершин графа.
• Примеры прикладных задач: машинный перевод, аннотирование изображений.
• Трансформеры. Особенности архитектуры кодировщика и декодировщика.
• Критерии обучения и оценивание качества машинного перевода.
• Двунаправленный кодировщик трансформер BERT. Маскированное языковое моделирование.
• Генеративный пред-обученный трансформер GPT. Явление эмерджентности.

Материалы

• Презентация Voron-ML-Attention-slides.pdf (PDF, 1,6 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.