Логические методы классификации

Видеозаписи

Лекция

2020

Содержание лекции

• Решающее дерево. Жадная нисходящая стратегия «разделяй и властвуй». Алгоритм ID3. Недостатки жадной стратегии и способы их устранения. Проблема переобучения.
• Вывод критериев ветвления. Мера нечистоты (impurity) распределения. Энтропийный критерий, критерий Джини.
• Редукция решающих деревьев: предредукция и постредукция. Алгоритм C4.5.
• Деревья регрессии. Алгоритм CART.
• Понятие логической закономерности.
• Параметрические семейства закономерностей: конъюнкции пороговых правил, синдромные правила, шары, гиперплоскости.
• Преобразование решающего дерева в покрывающий набор конъюнкций.
• Переборные алгоритмы синтеза конъюнкций: стохастический локальный поиск, стабилизация, редукция.
• Двухкритериальный отбор информативных закономерностей, парето-оптимальный фронт в (p,n)-пространстве.
• Статистический критерий информативности, точный тест Фишера. Сравнение областей эвристических и статистических закономерностей. Разнообразие критериев информативности в (p,n)-пространстве.
• Решающий список (decision list). Жадный алгоритм синтеза списка.
• Решающий пень (decision stump). Бинаризация признаков. Алгоритм разбиения области значений признака на информативные зоны.
• Небрежные решающие деревья (oblivious decision tree).
• Асимптотическая эквивалентность статистического и энтропийного критерия информативности.

Материалы

• Презентация Voron-ML-Logic.pdf (PDF, 625 КБ) — прикреплена к публикации.
• Презентация Voron-ML-Logic-slides.pdf (PDF, 1.0 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.