Константин Вячеславович Воронцов

Обзорная лекция: машинное обучение как постановки оптимизационных задач — модель, функция потерь, регуляризатор. Регрессия и классификация, непрерывные аппроксимации пороговой функции потерь, SVM и логистическая регрессия, квантильная, робастная и SVM-регрессия; регуляризаторы L0, L1, L2, Elastic Net, SFM, RFM и отбор признаков; обучение ранжированию: ранговая регрессия, попарный подход и AUC, LambdaRank; восстановление плотности и смеси распределений, кластеризация как частный случай смеси, одноклассовый SVM; частичное обучение, трансдуктивный SVM, PU-learning; матричные разложения, автокодировщики, многомерное шкалирование, графовые разложения, GraphEDM; перенос обучения, многозадачное и самостоятельное обучение, дистилляция, обучение с привилегированной информацией, генеративные состязательные сети; типология задач машинного обучения.

Комбинаторная теория переобучения: вероятность переобучения и завышенность оценок Вапника–Червоненкиса; эксперименты с переобучением — монотонная цепь алгоритмов, влияние расслоения и связности семейства на вероятность переобучения и на оценку полного скользящего контроля, переобучение цепей, точная формула вероятности переобучения при выборе из двух алгоритмов; граф расслоения–связности семейства алгоритмов, примеры для линейных классификаторов, монотонной цепи и двумерной сети; порождающее и запрещающее множества, верхняя связность и неоптимальность алгоритма; верхняя оценка расслоения–связности, идея доказательства и свойства.

Интерпретируемость и объяснимость моделей машинного обучения: цели, задачи и основные понятия, кому и зачем нужны объяснения; интерпретируемые модели; оценки значимости признаков в линейной регрессии: t-статистика, чистые эффекты, вклады и ситуативная важность; графики частичной зависимости (PDP) и индивидуальных условных зависимостей (ICE); перестановочные оценки значимости; вектор Шепли из теории кооперативных игр, его аксиомы и оценивание методом Монте-Карло, применение в линейной регрессии; суррогатное моделирование в окрестности объекта, методы LIME, Anchors, SHAP, Shapley Kernel и SAGE; вектор Шепли для обучающих объектов, Data Shapley и Gradient Shapley; контрфактические объяснения.

Активное обучение: модель сама выбирает, какие объекты отдать учителю на разметку. Постановка задачи, почему активное обучение быстрее пассивного, кривые обучения; отбор объектов из пула, синтез объектов и отбор из потока, методы, чувствительные к стоимости; сэмплирование по неуверенности (наименьшая достоверность, наименьшая разность, максимум энтропии), по несогласию в комитете, сокращение пространства решений, ожидаемое изменение модели, ожидаемое сокращение ошибки; синтез объектов методом Нелдера–Мида и по критерию сокращения дисперсии; взвешивание по плотности; изучающие действия, алгоритмы ε-active и EG-active с экспоненциальным градиентом; активное обучение в краудсорсинге: согласование оценок аннотаторов, модели их надёжности и трудности объектов, назначение заданий аннотаторам.

Обучение с подкреплением как обучение по реакции среды: задача о многоруком бандите, оценка ценности действия, жадная и ε-жадная стратегии, компромисс «изучение–применение», метод UCB, экспоненциальное скользящее среднее, метод преследования и сравнение с подкреплением; среда с состояниями, марковский процесс принятия решений, отличия от обычных задач машинного обучения, дисконтированная выгода, функции ценности состояния и действия, уравнение Беллмана, методы SARSA и Q-обучения, on-policy и off-policy; глубокое Q-обучение DQN на примере игр Atari, experience replay; градиентная оптимизация стратегии (policy gradient) и её связь с максимизацией log-правдоподобия; model-based и model-free подходы, регрессионная модель премии с верхней доверительной оценкой LinUCB, рекомендация новостных статей, оценивание стратегии по историческим данным.

Обучение на потоке данных: постановка задачи онлайнового обучения, кривая обучения, проблематика — эффективное обновление модели, усложнение модели с ростом выборки, эквивалентность онлайна и оффлайна, хранение выборки и катастрофическое забывание; отличия онлайнового обучения от инкрементного, continual learning, anytime-алгоритмы; ленивое обучение и онлайновый отбор эталонов; онлайновый наивный байесовский классификатор с экспоненциальными распределениями признаков; персептрон, Passive-Aggressive и онлайновый градиентный спуск; рекурсивный метод наименьших квадратов и формула Шермана–Моррисона; инкрементное обучение решающих деревьев ID5R; онлайновое обучение ансамбля алгоритмом Hedge(β) и его финансовая интерпретация; онлайновое глубокое обучение и Hedge BackProp; инкрементное обучение новым классам iCaRL.

Задачи прогнозирования временных рядов: модель временного ряда, горизонт прогнозирования, метод наименьших квадратов; эконометрика как основной источник задач — тренды, сезонности, разладки; примеры прогнозирования объёмов продаж и цен электроэнергии; линейная модель авторегрессии; беглый обзор методов прогнозирования; адаптивные методы краткосрочного прогнозирования: экспоненциальное скользящее среднее и параметр сглаживания, модели Хольта, Тейла–Вейджа, Уинтерса с линейным и экспоненциальным трендом, адаптивная авторегрессия; следящий контрольный сигнал и статистический тест адекватности модели, модель Тригга–Лича; адаптивная селекция и адаптивная композиция моделей, метод ЛАВР — локальная адаптация весов с регуляризацией, ограничение монотонности как регуляризатор; эксперименты на задаче прогнозирования объёмов продаж.

Поиск ассоциативных правил как обучение без учителя: бинарные признаки, поддержка (support) и частые наборы (frequent itemsets), ассоциативное правило, минимальная поддержка MinSupp и минимальная значимость MinConf; анализ рыночных корзин; связь ассоциативных правил с логическими закономерностями; свойство антимонотонности поддержки; алгоритм APriori: поиск частых наборов в ширину и рекурсивное выделение правил; модификации: поиск по случайной подвыборке, иерархии товаров, инкрементные и декрементные алгоритмы; алгоритм FP-growth: префиксное FP-дерево, его построение одним проходом по базе транзакций, вычисление поддержки любого набора по дереву, условное FP-дерево и рекурсивный поиск частых наборов; сравнение быстродействия FP-growth и APriori.

Задачи коллаборативной фильтрации: транзакционные данные, матрица клиенты–объекты, заполнение пропусков и ранжирование рекомендаций, конкурс Netflix Prize; корреляционные методы user-based и item-based, меры сходства Пирсона, косинусная, Жаккара, точный тест Фишера; разреженная линейная модель SLIM; латентные модели и матричные разложения: SVD, метод чередующихся наименьших квадратов ALS, модель латентных факторов LFM и стохастический градиент, неотрицательные матричные разложения NNMF, PLSA; учёт неявных предпочтений (implicit feedback); матричное разложение как линейный автокодировщик, нейросетевые и шумоподавляющие автокодировщики; учёт признаков клиентов и объектов, факторизационные машины libFM, гиперграфовая тематическая модель; качество рекомендаций: RMSE, precision@k, recall@k, разнообразие, новизна, покрытие, догадливость, предвзятость, оффлайн- и онлайн-оценивание.

Задача обучения ранжированию: восстановление отношения частичного порядка, поточечный, попарный и списочный подходы, линейная модель ранжирования, приложения; ранговая регрессия и ранговый SVM (SVOR); попарный критерий, Ranking SVM, RankNet, переход к списочному методу LambdaRank; ранжирование поисковой выдачи: объекты «запрос–документ», асессорские оценки, текстовые, ссылочные и кликовые признаки, TF-IDF и его вероятностный смысл, Okapi BM25, PageRank; критерии качества: точность и полнота, MAP, доля дефектных пар и связь с AUC, DCG и NDCG, модель поведения пользователя pFound; нейросетевая модель DSSM: сиамская сеть, хэширование слов буквенными триграммами, обучение по кликам с отрицательным сэмплированием.

Вероятностное тематическое моделирование коллекций текстовых документов: гипотезы мешка слов и условной независимости, критерий максимума правдоподобия, три интерпретации задачи (мягкая кластеризация, стохастическое матричное разложение, автокодировщик); лемма о максимизации функции на единичных симплексах; некорректность задачи и аддитивная регуляризация тематических моделей ARTM, EM-алгоритм и его интерпретация; PLSA и LDA, распределение Дирихле, максимум апостериорной вероятности и отказ от байесовского вывода; сглаживание, разреживание, фоновые темы, декоррелирование; мультимодальные и мультиязычные модели, униграммы и биграммы; регуляризаторы для классификации и регрессии на текстах, сочетаемости слов в коротких текстах, ссылок между документами и иерархий тем.

Задачи преобразования последовательностей (sequence to sequence): рекуррентная сеть, архитектура кодировщик–декодировщик и её ограничения; рекуррентная сеть с моделью внимания, интерпретация матрицы внимания в машинном переводе и описании изображений; функции сходства, модель внимания запрос–ключ–значение, формула внимания, самовнимание (self-attention); многомерное (multi-head) внимание и его регуляризация, иерархическое внимание для классификации документов, модель внимания на графах GAT; трансформер для машинного перевода: кодировщик, позиционное кодирование, нормировка уровня и сквозные связи, декодировщик с маскированием, критерий обучения, BLEU и WER; трансформер-кодировщик BERT, критерии MLM и NSP, дообучение, токенизация BPE и WordPiece, размеры моделей.