Продвинутые методы ансамблирования

Видеозаписи

Лекция

Семинар

Содержание лекции

• Виды ансамблей. Теоретические обоснования. Анализ смещения и разброса для простого голосования.
• Градиентный бустинг. Стохастический градиентный бустинг.
• Варианты бустинга: регрессия, Алгоритм AnyBoost, GentleBoost, LogitBoost, BrownBoost, и другие.
• Алгоритм XGBoost.
• Алгоритм CatBoost. Обработка категориальных признаков.
• Стэкинг. Линейный стэкинг, взвешенный по признакам.
• Смесь алгоритмов (квазилинейная композиция), область компетентности, примеры функций компетентности.
• Выпуклые функции потерь. Методы построения смесей: последовательный и иерархический.
• Построение смеси алгоритмов с помощью EM-подобного алгоритма.
• Нелинейная монотонная корректирующая операция. Случай классификации. Случай регрессии. Задача монотонизации выборки, изотонная регрессия.
• Задача ранжирования. Примеры: ранжирование результатов текстового поиска, задача Netflix.
• Функционал качества — число дефектных пар.
• Бустинг алгоритмов ранжирования — аналоги AdaBoost и AnyBoost.
• Двудольная задача. Сведение попарного функционала качества к поточечному.
• Решающий лес и бустинг над решающими деревьями. Алгоритм TreeNet.
• Методы синтеза конъюнктивных закономерностей. Псевдокод: алгоритм КОРА, алгоритм ТЭМП.
• Чередующиеся решающие деревья (alternating decision tree).
• Принцип частичной прецедентности. Структура Алгоритмов вычисления оценок.
• Тупиковые тесты.
• Тупиковые представительные наборы.
• Проблема оптимизации АВО. АВО как композиция метрических закономерностей.
• Применение бустинга, ТЭМП и СПА для оптимизации АВО.

Материалы

• Презентация Voron-ML-Compositions-slides2.pdf (PDF, 1.2 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.