Отбор признаков, оценивание и выбор моделей

Видеозаписи

Лекция

Семинар

Содержание лекции

• Цели и подходы отбора признаков. Фильтры, обёртки и встроенные методы.
• Внутренние и внешние критерии. Эмпирические и аналитические критерии.
• Скользящий контроль, разновидности эмпирических оценок скользящего контроля. Критерий непротиворечивости.
• Разновидности аналитических оценок. Регуляризация. Критерий Акаике (AIC). Байесовский информационный критерий (BIC). Оценка Вапника-Червоненкиса.
• Сложность задачи отбора признаков. Полный перебор.
• Метод добавления и удаления, шаговая регрессия.
• Поиск в глубину, метод ветвей и границ.
• Усечённый поиск в ширину, многорядный итерационный алгоритм МГУА.
• Генетический алгоритм, его сходство с МГУА.
• Обоснование эволюционных алгоритмов: теорема схемы.
• Случайный поиск с адаптацией (СПА).
• Символьная регрессия.
• Агрегированные и многоступенчатые критерии.
• Статистические критерии: коэффициент детерминации, критерий Фишера, анализ регрессионных остатков.

Материалы

• Презентация Voron-ML-Modeling.pdf (PDF, 330 КБ) — прикреплена к публикации.
• Презентация Voron-ML-Quality-slides.pdf (PDF, 1,8 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.