基于基底神经节的机器人强化学习机制研究.docVIP

基于基底神经节的机器人强化学习机制研究 摘要本论文受生物学中有关基底神经节的研究启发，对机器人的强化学习方法展开了研究，具体讨论了Izhikevich尖峰神经元模型，同时还探讨了生物学中的多巴胺调节机制在机器人学习中的应用，主要内容包括：(1)在生物学层面，讨论了脊椎动物学习的神经机理，明确了基底神经节在脊椎动物学习中的作用；(2)利用尖峰神经元模型研究了多巴胺在条件反射过程中的活动特性及其对突触的调节作用；(3)在Simbad仿真平台上，设计基于尖峰神经元模型的多神经元作用下的机器人走迷宫实验，编写仿真程序，通过多次模拟训练，实现机器人强化学习，并以此验证基于基底神经节的机器人强化学习机制的可行性。6500 关键词机器人强化学习基底神经节Simbad 毕业设计说明书（论文）外文摘要 TitleStudy of Robot Reinforcement Learning Mechanism Based on Basal Ganglia Abstract This dissertation studies robot reinforcement learning mechanism inspired by recent discovers of basal ganglia，which plays an important role in the control of animal’s behavior. Except for the efforts of dopamine on reinforcement learning, the spike neuron model of Izhikevich is specifically discussed as well. The main parts are concluded as follows:(1)The learning mechanism of animals is discussed at the biological level, and the effects of basal ganglia on animal’s learning are confirmed.(2)Dopamine activities during condition response, as well as its modulation effect on synapse plasticity is studied under the spike neuron model of Izhikevich.(3)On the platform of Simbad, simulated maze robot experiment is designed under spike neuron model. The robot successfully realizes reinforcement learning after training, which proves the feasibility of the robot reinforcement learning mechanism based on basal ganglia. 3.2.3.3 仿真结论28 3.3 本章小结29 4Simbad仿真平台下的机器人强化学习仿真30 4.1 Simbad仿真平台简介30 4.2 机器人走迷宫仿真30 4.2.1 仿真过程设计思路30 4.2.2 仿真程序流程图32 4.2.3 仿真迷宫的构造方法33 4.2.4 仿真参数设置以及结果分析35 4.3 本章小结36 结论37 致谢39 参 考 文 献40 1绪论 1.1 研究的背景及意义 控制论之父维纳，曾经在其著作《控制论》的引言中写道：“也许我可以澄清一下目前局势的历史背景。如果我说，第一次工业革命是革阴暗的魔鬼的磨坊的命，是人手由于和机器竞争而贬值，那么，现在的工业革命便在于人脑的贬值[1]。”他所说的“现在的工业革命”便是至今方兴未艾的第二次工业革命。第一次工业革命时蒸汽机给我们带来的生产力的进步我们有目共睹。同样，人工智能的发展也必将对人类社会的方方面面产生重要而深远的影响。 人工智能的诞生要从图灵、冯•诺依曼提出通用计算机结构开始，经过半个世纪，人工智能已经发展为机器代替人脑力劳动的关键科学。在至今半个多世纪的发展过程中，先后出现了三个流派[2]：符号主义（Symbolism）、联结主义（Connectionism）和行为主义（Behaviorism）。符号主义认为符号是智能的基础，通过符号运算就能产生智能。早期研究在与人对弈下棋等程序上取