Константин Вячеславович Воронцов

Векторные представления (эмбединги) текстов и графов: гипотеза дистрибутивной семантики, синтагматическая и парадигматическая близость слов, модели CBOW и Skip-gram программы word2vec, иерархический SoftMax на дереве Хаффмана, отрицательное сэмплирование (SGNS) и связь word2vec с матричным разложением матрицы PMI, семантические аналогии слов, модель FastText на буквенных n-граммах; тексты как графы; многомерное шкалирование и критерий стресса, стохастическое вложение соседства SNE, перплексия, t-SNE; матричные разложения графов, модели случайных блужданий DeepWalk и node2vec; методы векторизации графов как автокодировщики, обобщённая модель GraphEDM, графовые нейронные сети и передача сообщений.

Сети Кохонена: кластеризация как двухслойная нейронная сеть, правила жёсткой (WTA) и мягкой (WTM) конкуренции, самоорганизующиеся карты Кохонена и их интерпретация; автокодировщики: постановка задачи, линейный автокодировщик и метод главных компонент, разреживающий, шумоподавляющий, сжимающий, реляционный и вариационный автокодировщики, репараметризация, автокодировщики для обучения с учителем, многослойные автокодировщики; совместное обучение нескольких моделей: предобучение и перенос обучения, многозадачное обучение и few-shot learning, самостоятельное обучение (self-supervised), дистилляция и суррогатное моделирование, обучение с привилегированной информацией (LUPI), генеративные состязательные сети (GAN).

Напоминание: модель нейрона, многослойная сеть, стохастический градиент, метод импульса, затухание и взрыв градиентов, ReLU, dropout, пакетная нормализация; глубина важнее ширины; генерация признаков и end-to-end обучение; свёрточные нейронные сети: свёрточный и объединяющий (pooling) слои, стандартная схема CNN, AlexNet и ImageNet, остаточные сети ResNet и Highway Networks; свёрточные сети для речи, текстов и игр; рекуррентные нейронные сети, обучение BPTT, сети долгой кратковременной памяти LSTM, вариант с «замочными скважинами», GRU.

Итоговый обзор первого семестра: минимизация эмпирического риска и градиентные методы; недообучение, переобучение, мультиколлинеарность и регуляризация; оптимизационные постановки задач обучения с учителем (регрессия, классификация, ранжирование) и без учителя (плотность, смеси, кластеризация, одноклассовая классификация, частичное обучение, PU-learning, метод главных компонент, автокодировщики); шесть научных школ машинного обучения — символизм, эволюционизм, аналогизм, байесионизм, коннекционизм, композиционизм — и их отечественные истоки; алгоритмы вычисления оценок; практика: CRISP-DM, предобработка данных, оценивание и выбор моделей, анализ потерь, A/B-тестирование, мета-обучение и AutoML.

Задачи выявления аномалий и новизны; эвристические методы оценивания аномальности: локальная плотность, изолирующий лес, смесь с фоновой компонентой, робастный метод главных компонент; отсев выбросов в непараметрической регрессии, алгоритм LOWESS; аномальность как значение функции потерь; теория робастного обучения: функции медленного роста, итерационное перевзвешивание объектов IRS и IRLS, робастные функции потерь, медиана, квантиль и цензурированное среднее, робастные агрегирующие функции и их сглаживание, алгоритм IR-ERM; одноклассовый SVM, обучение по положительным и неразмеченным объектам (PU-learning), задачи с новыми и неизвестными классами.

Задача кластеризации и её некорректность, цели кластеризации, типы кластерных структур, чувствительность к выбору метрики; задача частичного обучения (semi-supervised learning) и трансдуктивного обучения, почему она не сводится ни к классификации, ни к кластеризации; критерии качества кластеризации, коэффициент силуэта, BCubed-меры точности и полноты; метод k-средних (алгоритм Ллойда) как упрощение EM-алгоритма для смеси гауссиан; алгоритм DBSCAN; агломеративная иерархическая кластеризация, формула Ланса–Уильямса и её частные случаи, дендрограмма, монотонность, сжимающие и растягивающие расстояния, расстояние Уорда; частичное обучение на основе классификации: self-training, co-training, co-learning, трансдуктивный SVM, регуляризация ожиданий (XR).

Вероятностная постановка задачи классификации: априорные и апостериорные вероятности классов, функции правдоподобия классов, принцип максимума апостериорной вероятности; оптимальный байесовский классификатор и потери от ошибок; эмпирическое оценивание априорных вероятностей и плотностей классов; наивный байесовский классификатор, признаки с плотностями экспоненциального семейства и линейный наивный байесовский классификатор; обзор байесовских классификаторов: метод парзеновского окна, квадратичный дискриминант, линейный дискриминант Фишера, гауссовские смеси с диагональными матрицами ковариации и сеть радиальных базисных функций.

Восстановление плотности распределения по выборке: принцип максимума правдоподобия, многомерная гауссовская плотность и её геометрический смысл, мультиколлинеарность и регуляризация ковариационной матрицы; разделение смеси распределений, EM-алгоритм как метод простых итераций, смесь гауссиан (GMM); непараметрическая оценка Парзена–Розенблатта, выбор ядра и ширины окна; байесовская теория классификации: генеративный и дискриминативный подходы, оптимальный байесовский классификатор, метод парзеновского окна, квадратичный дискриминант, линейный дискриминант Фишера, сеть радиальных базисных функций и её обучение EM-алгоритмом.

Анализ смещения и разброса (bias–variance): разложение ошибки на шум, смещение и разброс, смещение и разброс простого голосования, почему сложные ансамбли не переобучаются; градиентный бустинг для произвольной функции потерь как параметрическая аппроксимация градиентного шага; стохастический градиентный бустинг; частные случаи: регрессия, AdaBoost, AnyBoost, варианты функций потерь; XGBoost: дерево как линейная модель, L0- и L2-регуляризация, аналитические значения в листьях и критерий ветвления; CatBoost: утечка в градиентах, упорядоченный бустинг на подвыборках удваивающейся длины, несмещённые статистики по целевому признаку для категориальных признаков.

Ансамбли моделей: базовые алгоритмы, пространство оценок, решающее правило и корректирующие функции; проблема разнообразия базовых алгоритмов; бэггинг, метод случайных подпространств и общий псевдокод стохастического ансамблирования; несмещённая оценка out-of-bag и оценивание важности признаков; преобразование простого голосования во взвешенное; случайный лес; бустинг для бинарной классификации с отказами, экспоненциальная аппроксимация пороговой функции потерь, основная теорема AdaBoost с доказательством, сходимость, классический AdaBoost и эвристики; почему бустинг не переобучается: эксперименты, оценка вероятности ошибки через отступы, распределение отступов, сравнение с бэггингом; алгоритм ComBoost.

Интерпретируемость моделей; решающие деревья и жадный алгоритм ID3; аксиоматика неопределённости (impurity), энтропийный критерий и критерий Джини; обработка пропусков; достоинства и недостатки жадной стратегии; усечение деревьев (post-pruning); деревья регрессии CART и Minimal Cost-Complexity Pruning; индукция правил: логические закономерности, семейства правил (конъюнкции, синдромы, полуплоскости, шары), метаэвристики поиска, дерево как покрывающий набор конъюнкций; парето-фронт в (p,n)-пространстве, логические и статистические закономерности, точный тест Фишера, критерии информативности; построение классификатора из закономерностей.

Задача оценивания обобщающей способности; матрица ошибок и вероятность переобучения; случай одного алгоритма и гипергеометрическое распределение; принцип равномерной сходимости частот и неравенство Буля; оценка Вапника–Червоненкиса, функция роста и ёмкость семейства алгоритмов; обращение оценки и штраф за сложность; метод структурной минимизации риска; эффекты расслоения и сходства; оценка «бритва Оккама» и её связь с регуляризацией.