Обґрунтування за допомогою формалізму Гамільтона—Понтрягіна методу зворотного просування похибки для навчання неопуклих негладких нейронних мереж

Норкін, ВІ
Dopov. Nac. akad. nauk Ukr. 2019, 12:19-26
https://doi.org/10.15407/dopovidi2019.12.019
Розділ: Інформатика та кібернетика
Мова: Англійська
Анотація: 

Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні сучасних глибоких мереж з негладкими цільовими функціоналами і зв’язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання поширено на неопуклі негладкі нейронні мережі.

Ключові слова: багатошарові нейронні мережі, глибоке навчання, машинне навчання, негладка неопукла оптимізація, стохастична оптимізація, стохастичний узагальнений градієнт