Линейные модели регрессии

Видеозаписи

Лекция

Семинар

Содержание лекции

• Задача регрессии, многомерная линейная регрессия.
• Метод наименьших квадратов, его вероятностный смысл и геометрический смысл.
• Сингулярное разложение.
• Проблемы мультиколлинеарности и переобучения.
• Регуляризация. Гребневая регрессия через сингулярное разложение.
• Методы отбора признаков: Лассо Тибширани, Elastic Net, сравнение с гребневой регрессией.
• Метод главных компонент и декоррелирующее преобразование Карунена-Лоэва, его связь с сингулярным разложением.
• Спектральный подход к решению задачи наименьших квадратов.
• Задачи и методы низкоранговых матричных разложений.
• Модифицированная ортогонализация Грама-Шмидта, достоинства и недостатки.
• Отбор признаков в процессе ортогонализации, критерии выбора и останова.
• Метод наименьших углов (LARS), его связь с лассо и шаговой регрессией.

Материалы

• Презентация Voron-ML-regression-slides.pdf (PDF, 0,6 MБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.