信息融合的脑-机接口与人机交互技术_电力技术资料.pptx

多模态信息融合的脑-机接口与人机交互技术 目 录 脑机接口技术正在从科幻走向现实将计算机和人类大脑连接起来，实现人与机器的无缝交互。2014年巴西瘫痪少年用脑电控制外骨骼 机器人站起来, 为世界杯开球Nature 442, 164–171 (2006)脑机接口技术能为生活带来哪些惊喜：帮助残障人士进行康复，提高生活质量；增强人体机能增强；危险场所作业，通过脑机接口实现机器人在人 无法进入的场合工作；作业疲劳检测，工作或学习的注意力评估；娱乐游戏中，人们可以借助脑机接口，更好地 对游戏角色进行操控，提升游戏的体验感；通过脑机接口技术直接与计算机进行交互，实 现更加智能化的工作方式，提高工作效率。 脑机接口技术正在从科幻走向现实脑机接口AI机器人宇宙探索马斯克旗下的脑机接口公司 Neuralink，获准进行脑机接口人体试验， 这被视为脑机接口迈向商业化应用的里程碑。遥控机器人反馈机器人感觉 脑机接口助力和谐的人机交互不同领域的人机交互，但人机交互需要安全和谐医疗康复Medicine工业农业Produce居家生活军事国防Life EEGEMGPositioningAccelerationCCDDe-noisingSignal analysisFeature classificationOperator's intention can be sent to the robot through the commands.Robots receive human intentions.脑电（EEG）和肌电（EMG）信号是人的意图的直接表现机器人需要明白人的意图人需要知道机器人的行为意图多模态信息融合的脑-机接口 如何描述人的意图 ?脑是人的智能中心人的行为是由神经控制的，EEG和EMG是神经传导的外在表现TED.com EEG 和 EMG 描述人的意图EEGEMGEEG 是大脑神经电活动的外在表现EMG 是肌肉电信号的外在表现 人脑如何感知机器人的状态？人能感受到机器人的痛苦吗？Yutaka Suzuki, et al., Measuring empathy for human and robot hand pain using electroencephalography, Nature, 2015, 5:1-9人对自身受伤 的疼痛感人对机器人受伤 的疼痛感EEG特征人类和机器人在同理心方面的差异 脑-机接口脑机接口(BCI)指在人或动物大 脑与外部设备之间建立的直接连 接，实现脑与设备的信息交换。 大脑皮层动作电位 动作电位 From University of Minnesota Microwire arrays of 100 electrodesBlackrock Microsystems 植入脑电极采集的脑电信号Wang H et al. NeuroReport, 1996 Nature, 2002 2006年电极被植入受试者脑内；受试者可用脑电波控制机械手臂、 控制电脑鼠标收发e-mail、控制开 关电灯和电视等。Hochberg LR et al. Nature 442, 164–171 (2006) 0.5-4.04.0-8.08.0-13.013.0-30.0>30.0 我们实验室Square of the voltage to imagine the left/right hand movement4 个EEG 电极置于脑运动区表面想象左手运动想象右手运动 我们实验室基于机器学习算法进行分类 我们实验室非学习的 自然放松状态通过视觉感知的 学习过程把EEG特征分为学习特征和决策特征，形成知识来建立基于EEG特征的人 工智能专家系统的数学模型。Zhang C, Wang H* et al., Integrated Computer-Aided Engineering, 2013, 20(4): 391-405脑电（EEG）特征 — 隐形知识 XX大学研制的脑控无人机系统我们实验室Tianwei Shi, Hong Wang*, Chi Zhang, Expert Systems With Applications, 2015具有自主知 识产权的脑 机接口系统 XX大学研制的脑控机械手系统我们实验室 不同心理负荷状态特征分析Wang H et al., Expert Systems With Applications, 2016, 53: 117-128“欢乐兔”情感交流机器人不同认知程度和心理负荷状态下各脑区脑电时空模式的相关性隐性知识的显性化模型脑网络特征提取 我们实验室熟练操作员不熟练操作脑网络特征C Hua, H Wang, et al., International Journal of Neu