Полезное упражнение в R-STDP
Постановка задачи:
Сделать максимально упрощённую, но при этом функциональную модель LIF (Leaky Integrate-and-Fire) нейрона. Арифметика-линейность-бинарность. Никаких дифуров, непрерывных функций (экспонент) и прочего подобного.
Сделать на тех же принципах максимально упрощённую модель STDP (Spike-Time Dependent Plasticity) синапса.
Обогатить получившуюся систему механизмом R-STDP (Reward-Modulated STDP).
Собрать из этих нейронов и синапсов небольшой мозг. Снабдить этим мозгом виртуального "чудика". Сделать ему простой (одномерный) мир с двумя сущностями - пищей и опасностью. Снабдить его сенсорами (опасность слева, еда справа..., отдаляемся/приближаемся к еде/опасности и т.д....), моторами (движение влево/вправо). Запустить симуляцию, и посмотреть, что будет получаться.
Спойлер: что-то получилось.
Читать далее