Заголовок | Обґрунтування за допомогою формалізму Гамільтона—Понтрягіна методу зворотного просування похибки для навчання неопуклих негладких нейронних мереж |
Тип публікації | Journal Article |
Рік публікації | 2019 |
Автори | Норкін, ВІ |
Abbreviated Key Title | Dopov. Nac. akad. nauk Ukr. |
DOI | 10.15407/dopovidi2019.12.019 |
Номер видання | 12 |
Розділ | Інформатика та кібернетика |
Нумерація сторінок | 19-26 |
Дата публікації | 12/2019 |
Мова | Англійська |
Анотація | Простежується аналогія між задачами оптимального керування дискретними стохастичними динамічними системами та задачами навчання багатошарових нейронних мереж. Увага концентрується на вивченні сучасних глибоких мереж з негладкими цільовими функціоналами і зв’язками. Показано, що задачі машинного навчання можуть трактуватися як задачі стохастичного програмування, і для їхнього аналізу застосовано теорію неопуклого негладкого стохастичного програмування. Як модель негладких неопуклих залежностей використано так звані узагальнено диференційовані функції. Обґрунтовано метод обчислення стохастичних узагальнених градієнтів функціонала якості навчання для таких систем на основі формалізму Гамільтона—Понтрягіна. Цей метод узагальнює відомий метод “зворотного просування похибки” на задачі навчання негладких неопуклих мереж. Узагальнені (стохастичні) градієнтні алгоритми навчання поширено на неопуклі негладкі нейронні мережі. |
Ключові слова | багатошарові нейронні мережі, глибоке навчання, машинне навчання, негладка неопукла оптимізація, стохастична оптимізація, стохастичний узагальнений градієнт |