Тематическое моделирование

Видеозаписи

Лекция

Семинар

Содержание лекции

• Задача тематического моделирования коллекции текстовых документов. Метод максимума правдоподобия.
• Лемма о максимизации гладкой функции на симплексах (применение условий Каруша–Куна–Таккера).
• Аддитивная регуляризация тематических моделей ARTM. Регуляризованный EM-алгоритм. Интерпретация E и M шагов алгоритма.
• Вероятностный латентный семантический анализ PLSA.
• Латентное размещение Дирихле LDA. Метод максимума апостериорной вероятности.
• Отличия ARTM от байесовского обучения. Небайесовская интерпретация модели LDA.
• Регуляризаторы разреживания, сглаживания, частичного обучения, декоррелирования.
• Мультимодальная тематическая модель. Примеры модальностей. Регуляризаторы для мультимодальных моделей.
• Примеры прикладных задач. Комбинирование регуляризаторов в BigARTM.
• Нейросетевая тематическая модель Contextual-Top2Vec.
• Тематическая модель локального контекста Attentive ARTM
• Модель битермов WNTM. Модель связанных документов. Иерархическая тематическая модель.
• Внутренние и внешние критерии качества тематических моделей.—>

Материалы

• Презентация Voron-ML-TopicModeling-slides.pdf (PDF, 8.5 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.