Метрические методы классификации и регрессии

Видеозаписи

Лекция

Семинар

Содержание лекции

• Гипотезы компактности и непрерывности.
• Обобщённый метрический классификатор.
• Метод ближайших соседей kNN и его обобщения. Подбор числа k по критерию скользящего контроля.
• Метод окна Парзена с постоянной и переменной шириной окна.
• Метод потенциальных функций и его связь с линейной моделью классификации.
• Задача отбора эталонов. Полный скользящий контроль (CCV), формула быстрого вычисления для метода 1NN. Профиль компактности.
• Отбор эталонных объектов на основе минимизации функционала полного скользящего контроля.
• Непараметрическая регрессия. Локально взвешенный метод наименьших квадратов. Ядерное сглаживание.
• Оценка Надарая-Ватсона с постоянной и переменной шириной окна. Выбор функции ядра и ширины окна сглаживания.
• Задача отсева выбросов. Робастная непараметрическая регрессия. Алгоритм LOWESS.
• Функция конкурентного сходства, алгоритм FRiS-СТОЛП.
• Эффективные структуры данных для быстрого поиска ближайших объектов в прямых и обратных окрестностях — метрические деревья.
• Понятие отступа. Алгоритм СТОЛП.
• Задача отбора признаков. Жадный алгоритм построения метрики.
• Концепция вывода на основе прецедентов (CBR).

Материалы

• Презентация Voron-ML-Metric-slides.pdf (PDF, 3,4 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.