Теория переобучения

Содержание лекции

• Задача оценивания вероятности переобучения. Матрица ошибок конечного множества алгоритмов.
• Теория Вапника–Червоненкиса. Размерность Вапника–Червоненкиса (VC-dimension, ёмкость). Метод структурной минимизации риска.
• Бритва Оккама (Occam's razor bound).
• Эксперименты с переобучением. Монотонная цепь алгоритмов.
• Переобучение при выборе из двух алгоритмов.
• Комбинаторная теория переобучения. Граф расслоения-связности конечного множества алгоритмов.
• Порождающие и запрещающие множества. Связность и неоптимальность алгоритма. Оценка расслоения-связности.

Материалы

• Презентация Voron-ML-overfitting.pdf (PDF, 1.6 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.