Стохастический градиент и линейный классификатор

Видеозаписи

Лекция

Семинар

Содержание лекции

• Метод стохастического градиента SG.
• Эвристики: инерция и ускоренный градиент, инициализация весов, порядок предъявления объектов, выбор величины градиентного шага, «выбивание» из локальных минимумов.
• Разделяющие классификаторы. Понятие отступа. Непрерывные аппроксимации пороговой функции потерь.
• Бинарная классификация и многоклассовая классификация.
• Критерии качества классификации: чувствительность и специфичность, ROC-кривая и AUC, точность и полнота, AUC-PR.
• Градиентный метод максимизации AUC.
• Линейный классификатор.
• Проблема мультиколлинеарности и переобучения, регуляризация или редукция весов (weight decay).
• Метод стохастического среднего градиента SAG.
• Частные случаи: адаптивный линейный элемент ADALINE, перcептрон Розенблатта, правило Хэбба.
• Теорема Новикова о сходимости. Доказательство теоремы Новикова
• Вероятностная постановка задачи классификации. Принцип максимума правдоподобия.
• Вероятностная интерпретация регуляризации, совместное правдоподобие данных и модели. Принцип максимума апостериорной вероятности.
• Гауссовский и лапласовский регуляризаторы.
• Логистическая регрессия. Принцип максимума правдоподобия и логарифмическая функция потерь. Многоклассовая логистическая регрессия. Регуляризованная логистическая регрессия.
• Калибровка Платта.
• Алгоритм эффективного построения ROC-кривой.

Материалы

• Презентация Voron-ML-Lin-SG.pdf (PDF, 2,4 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.