Search results for “machine learning”

Text trees as a data structure occur in numerous machine learning tasks like hierarchical summarization and automatic mind map generation. One of the main methods of quality evaluation in these tasks is comparison with reference hierarchies created by experts. The method used so far to compare text hierarchies, as shown in this work, poorly accounts for their structure and text semantics relative to phrasing. To address this issue, we propose a new metric on the set of text trees — text tree edit distance (TTED), based on tree edit distance with semantic distance between texts measured using a large language model. To evaluate how the metric reflects different aspects of text tree difference, we introduce special quality coefficients that reflect the sensitivity of a metric to paraphrasing relative to structural and semantic differences of text trees. Using these coefficients, we conduct extensive testing of the proposed metric and its modifications compared to a baseline used in previous works to compare text hierarchies, which shows that TTED indeed captures significant differences between text trees more accurately than the previously used method. We also provide a practical implementation of TTED for further usage.

Основные понятия и примеры прикладных задач. Лекция курса «Машинное обучение» К. В. Воронцова. Постановка задач обучения по прецедентам. Объекты и признаки. Типы шкал: бинарные, номинальные, порядковые, количественные.

Стохастический градиент и линейный классификатор. Лекция курса «Машинное обучение» К. В. Воронцова. Метод стохастического градиента SG.

Нейронные сети: градиентные методы оптимизации. Лекция курса «Машинное обучение» К. В. Воронцова. Биологический нейрон, модель МакКаллока-Питтса как линейный классификатор. Функции активации.

Метрические методы классификации и регрессии. Лекция курса «Машинное обучение» К. В. Воронцова. Гипотезы компактности и непрерывности.

Метод опорных векторов. Лекция курса «Машинное обучение» К. В. Воронцова. Оптимальная разделяющая гиперплоскость. Понятие зазора между классами (margin).

Линейные модели регрессии. Лекция курса «Машинное обучение» К. В. Воронцова. Задача регрессии, многомерная линейная регрессия.

Обобщения линейных моделей. Лекция курса «Машинное обучение» К. В. Воронцова. Метод Ньютона-Рафсона, метод Ньютона-Гаусса.

Отбор признаков, оценивание и выбор моделей. Лекция курса «Машинное обучение» К. В. Воронцова. Цели и подходы отбора признаков. Фильтры, обёртки и встроенные методы.

Теория обобщающей способности. Лекция курса «Машинное обучение» К. В. Воронцова. Теория Вапника-Червоненкиса. Функционал равномерного отклонения частот ошибок. Функция роста, ёмкость семейства алгоритмов. Структурная минимизация риска.

Логические методы классификации. Лекция курса «Машинное обучение» К. В. Воронцова. Решающее дерево. Жадная нисходящая стратегия «разделяй и властвуй». Алгоритм ID3. Недостатки жадной стратегии и способы их устранения. Проблема переобучения.

Линейные ансамбли. Лекция курса «Машинное обучение» К. В. Воронцова. Основные понятия: базовый алгоритм, корректирующая операция.

Продвинутые методы ансамблирования. Лекция курса «Машинное обучение» К. В. Воронцова. Виды ансамблей. Теоретические обоснования. Анализ смещения и разброса для простого голосования.

Оценивание плотности и байесовская классификация. Лекция курса «Машинное обучение» К. В. Воронцова. Параметрическое оценивание плотности. Многомерное нормальное распределение, геометрическая интерпретация.

Байесовская теория классификации. Лекция курса «Машинное обучение» К. В. Воронцова. Байесовская теория классификации. Оптимальный байесовский классификатор.

Кластеризация и частичное обучение. Лекция курса «Машинное обучение» К. В. Воронцова. Постановка задачи кластеризации. Примеры прикладных задач. Типы кластерных структур.

Детекция аномалий и робастные методы. Лекция курса «Машинное обучение» К. В. Воронцова. Задачи выявления аномалий. Эвристические методы выявления аномалий. Алгоритм LOWESS.

Краткий итоговый обзор семестра. Лекция курса «Машинное обучение» К. В. Воронцова. Обзор постановок оптимизационных задач машинного обучения. Переобучение и регуляризация. Обучение с учителем. Обучение без учителя.

Глубокие нейронные сети. Лекция курса «Машинное обучение» К. В. Воронцова. Обоснования глубоких нейронных сетей: выразительные возможности, скорость сходимости при избыточной параметризации.