基于spiking神经网络的自主强化学习模型及其在决策中的应用

A spiking Neural Network Based Autonomous Reinforcement Learning Model and Its Application in Decision Making

Guixiang Wang¹, Yi Zeng^1,2, and Bo Xu^1,2

1 Institute of Automation, Chinese Academy of Science, Beijing, 100190, China

2 Center for Excellence in Brain Science and Intelligence Technology Chinese Academy of Sciences, Shanghai, 200031, China

yi.zeng@ia.ac.cn, guixiang.wang@ia.ac.cn

（Song Jian，translate）

摘要：本文提出了一种用于决策的自主脉冲神经网络（SNN，spiking Neuron Networks）模型。该模型是对具有自动环境感知功能的基底神经节电路的扩展，从图像输入中自动构造环境状态。本文的工作有以下贡献：（1）在我们的模型中，建立了简化的Hodgkin-Huxley计算模型，以达到接近漏整合发放（Leaky Integrate-and-Fire，LIF）模型的计算效率，并用于获取和测试认知中的离子水平特性。（2）提出了一种基于尖峰的运动感知机制，在不进行大量训练的情况下，从原始像素中提取学习过程的关键元素。我们将我们的模型应用到“飞鸟”游戏中，经过几十次训练后，它表现得很好。该模型在训练开始时与人的学习性能相似。此外，我们的模型模拟了Hodgkin-Huxley模型中阻断钠离子或钾离子通道时的认知缺陷，这是对深入到离子水平的认知的探索。

翻译原件【A spiking Neural Network Based Autonomous Reinforcement Learning Model and Its Application in Decision Making】

翻译稿件【基于spiking神经网络的自主强化学习模型及其在决策中的应用】