基底节的Actor-Critic模型：新的解剖和计算观点

Actor–critic models of the basal ganglia: new anatomical and computational perspectives

Daphna Joel^a,*, Yael Niv^a, Eytan Ruppin^b

^aDepartment of Psychology, Tel-Aviv University, Ramat-Aviv, Tel Aviv 69978, Israel

^bSchools of Medicine and Mathematical Sciences, Tel-Aviv University, Tel Aviv 69978, Israel

（Song Jian，translate）

摘要:近年来发展了大量的基底神经节信息处理的计算模型。其中最突出的是基底神经节功能的Actor-Critic模型，该模型建立在多巴胺神经元活动与Critic中的时间差预测误差信号，以及纹状体中多巴胺依赖的长期突触可塑性和由Actor中的预测误差信号引导的学习之间的强相似性上。我们有选择地回顾了几种基底神经节的Actor-Critic模型，重点关注两个重要方面：Critic模型复制多巴胺释放的时间动态的方式，以及Actor模型考虑已知基底神经节解剖和生理学的程度。为了补充将基底神经节机制与强化学习（RL）联系起来的已有成果，我们引入了一种替代方法来建模Critic网络，该方法使用进化计算（进化计算）（Evolutionary Computation，EC）技术“进化”出一个最优的RL机制，并将进化机制与Critic家的基本模型联系起来。我们对Critic模型的讨论是通过对Critic在基底神经节电路中实施的解剖学合理性的批判性讨论来结束的，并且得出这样的实施建立在与基底神经节已知解剖学不一致的假设之上。我们回到Actor-Critic模型的Actor组件，通常在纹状体级别建模，但细节很少。我们描述了基底神经节的一个替代模型，该模型考虑了基底神经节-丘脑皮质连接的一些重要的和以前被忽视的解剖学和生理学特征，并建议基底神经节执行皮质输入的强化-偏重的降维。我们进一步认为，由于这种选择性编码可能使额叶皮质层的表现偏向于奖励计划和行动的选择，增强-驱动的降维框架可能作为基底神经节因子模型的基础。最后，我们简要讨论了多巴胺信号在RL和Actor转换中的双重作用。©2002爱思唯尔科技有限公司版权所有。

关键词：基底神经节；多巴胺；强化学习；Actor-Critic；降维；进化计算；Actor切换；纹状小体/斑块

翻译稿件【基底节的Actor-Critic模型：新的解剖和计算观点】

翻译原件【Actor–critic models of the basal ganglia: new anatomical and computational perspectives】