Нейронные сети: градиентные методы оптимизации

Видеозаписи

Лекция

Семинар

Содержание лекции

• Биологический нейрон, модель МакКаллока-Питтса как линейный классификатор. Функции активации.
• Проблема полноты. Задача исключающего или. Полнота двухслойных сетей в пространстве булевых функций.
• Теоремы Колмогорова и Цыбенко (без доказательства).
• Алгоритм обратного распространения ошибок.
• Быстрые методы стохастического градиента: Поляка, Нестерова, AdaGrad, RMSProp, AdaDelta, Adam, Nadam, диагональный метод Левенберга-Марквардта.
• Проблема взрыва градиента и эвристика gradient clipping.
• Метод случайных отключений нейронов (Dropout). Интерпретации Dropout. Обратный Dropout и L2-регуляризация.
• Функции активации ReLU и PReLU. Проблема «паралича» сети.
• Эвристики для формирования начального приближения. Метод послойной настройки сети.
• Подбор структуры сети: методы постепенного усложнения сети, оптимальное прореживание нейронных сетей (optimal brain damage).

Материалы

• Презентация Voron-ML-ANN-slides.pdf (PDF, 3,6 МБ) — прикреплена к публикации.

Материалы курса © К. В. Воронцов. Текст и слайды распространяются по лицензии CC BY-SA 3.0 — на условиях этой лицензии они воспроизведены здесь без изменений. Видеозаписи размещены на YouTube и встроены по ссылке; их копии здесь не хранятся.