基于强化学习的多AUV任务分配及路径规划研究.pdf

摘要

基于强化学习的多AUV任务分配及路径规划研究

随着陆地资源的日渐枯竭，各个海洋大国将其研究重心转向广袤的海洋探

索领域。因此，多自主水下航行器（MultipleAutonomousUnderwaterVehicle，

MAUV）技术的研究越来越受到关注。复杂的海洋环境对多AUV协同作业提出

了高要求，而合理的任务分配方法能够使多AUV系统的任务能力得到大大提升，

同时合理规划任务路径是多AUV完成任务的重要前提，因此多AUV的任务分

配与路径规划技术具有非常重要的研究意义。本文主要围绕多AUV系统的任务

分配问题以及AUV的路径规划问题展开研究，主要工作内容如下：

（1）本文分析并建立了AUV的六自由度运动学模型；同时通过多个Lamb

涡流场叠加的方式对现实中的海洋洋流模型进行估计，为后文的路径规划算法

提供洋流模型，提高了路径规划算法的真实性和鲁棒性。此外，本文还对强化

学习中的几种经典算法进行分析和研究，为后文的任务分配算法设计和路径规

划算法设计提供理论基础。

（2）本文提出了一种动态Q信息素蚁群算法，解决了任务资源受限的多

AUV任务分配问题。根据MTSP模型建立了任务资源受限的多AUV任务分配

问题模型，通过增加虚拟节点将MTSP模型进行简化求解；同时通过对蚁群算

法参数的实验分析合理选取蚁群算法参数，并通过引入动态Q信息素的更新方

式以及变−的路径选择策略，成功解决了蚁群算法自身前期容易停滞

的问题，并且很好的解决了任务资源受限的多AUV任务分配问题。

（3）本文建立了自定义强化学习环境，并通过PPO算法对AUV模型进行

训练，成功解决了未知环境下的AUV路径规划问题。建立了自定义声呐探测模

型，并且合理地设置状态动作空间以及奖励函数，同时引入了洋流干扰模型，

完成了自定义AUV强化学习环境的搭建，通过训练得到AUV路径规划模型，

最后通过不同场景下的AUV路径规划效果证实了强化学习在解决AUV路径规

划问题上的可行性。

I

（4）搭建了USV（UnmannedSurfaceVessel）水上实验平台，验证了任务

资源受限的多机器人任务分配算法。通过任务分配算法对USV进行任务分配，

并通过分析USV完成任务路径的质量，以及任务分配算法在真实环境中的表现，

证实任务分配算法的有效性。

关键词：

自主水下航行器、强化学习、任务分配、蚁群算法、路径规划、近端策略

优化

Abstract

Researchonmulti-AUVtaskallocationandpathplanning

basedonreinforcementlearning

Withtheincreasingdepletionoflandresources,majormaritimepowershave

shiftedtheirresearchfocustothevastdomainofoceanexploration.Consequently,

researchonMultipleAutonomousUnderwaterVehicle(MAUV)technologyhas

receivedincreasingattention.Thecomplexoceanenvironmentplaceshighdemandson

thecooperativeoperationofmultipleAUVs,andareasonabletaskallocationmethod

cansignificantlyimprovethetaskcapabilityofmultipleAUVsystems.Meanwhile,

reasonab