Обґрунтування за допомогою формалізму Гамільтона—Понтрягіна методу зворотного просування похибки для навчання неопуклих негладких нейронних мереж

ЗаголовокОбґрунтування за допомогою формалізму Гамільтона—Понтрягіна методу зворотного просування похибки для навчання неопуклих негладких нейронних мереж
Тип публікаціїJournal Article
Рік публікації2019
АвториНоркін, ВІ
Abbreviated Key TitleDopov. Nac. akad. nauk Ukr.
DOI10.15407/dopovidi2019.12.019
Номер видання12
РозділІнформатика та кібернетика
Нумерація сторінок19-26
Дата публікації12/2019
МоваАнглійська
Анотація

Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні сучасних глибоких мереж з негладкими цільовими функціоналами і зв’язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання поширено на неопуклі негладкі нейронні мережі.

Ключові словабагатошарові нейронні мережі, глибоке навчання, машинне навчання, негладка неопукла оптимізація, стохастична оптимізація, стохастичний узагальнений градієнт