Оценивание плотности и байесовская классификация

Видеозаписи

Лекция

Семинар

Содержание лекции

• Параметрическое оценивание плотности. Многомерное нормальное распределение, геометрическая интерпретация.
• Выборочные оценки параметров многомерного нормального распределения. Проблемы мультиколлинеарности и переобучения. Регуляризация ковариационной матрицы.
• Непараметрическое оценивание плотности. Ядерная оценка плотности Парзена-Розенблатта. Одномерный и многомерный случаи.
• Смесь распределений. EM-алгоритм как метод простых итераций.
• Матричное дифференцирование. Вывод оценок параметров многомерного нормального распределения.
• Детали реализации EM-алгоритма. Критерий останова. Выбор начального приближения.
• Обобщённый EM-алгоритм. Стохастический EM-алгоритм.
• Выбор числа компонентов смеси. Пошаговая стратегия. Иерархический EM-алгоритм.

Материалы

• Презентация Voron-Density-Bayes-slides.pdf (PDF, 1,6 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.