基于多模态行为数据的情绪识别算法研究与应用.pdf

摘要

摘要

基于多模态行为数据的情绪识别算法研究与应用

目前，情感计算已经在医疗康复、教学管理等领域展现出极大的研究潜力，

基于多模态行为数据的情绪识别作为情感计算的一个研究领域吸引了众多研究

人员的关注。随着智能手机和可穿戴设备的快速发展，各式各样高精度的传感器

帮助研究人员更方便的获取有关人类和周围环境的相关信息，给情绪识别带来了

新的研究思路。虽然目前基于多模态传感器数据的情绪识别已经得到了较多的探

索并取得一定成果，但在现实场景下进行情绪识别仍具有众多挑战。

在现实场景下进行情绪识别一个最重要的问题是数据稀疏问题。在以往的情

绪识别研究中，大部分工作都是基于实验室环境下的数据进行模拟实验，但在真

实场景下，由于设备和环境的限制，传感器数据质量往往较差，因此基于实验室

数据的情绪识别模型难以推广到现实场景下使用。

除了数据稀疏问题，另一个重要的问题是用户数据异质性的问题，由于情绪

的特殊性和复杂性，不同的人有不同的情绪模式，根据一个用户的数据训练出的

模型往往无法迁移到其他用户。

最后，情绪识别任务中的情绪标签，无法通过第三者观测得到，只能由用户

自己标注。随着人们的隐私观念不断增强，很多人不愿提供自身的标签数据，使

不同的用户间的数据无法共享，从而形成数据孤岛。数据孤岛会导致新加入的用

户无法利用其他用户得大规模数据训练自身模型，进而产生“冷启动”问题。

针对以上的三个问题，本文具体研究内容和创新点如下：

1.针对情绪识别中的传感器数据稀疏性问题，本文提出了一种基于集合思想的

多模态融合模型，使用基于智能手机的多模态行为数据进行情绪识别。该模型将

数据当作无序集合进行整体特征嵌入，可以有效克服数据稀疏对神经网络的影响，

实现端到端的情绪识别，并且通过使用基于注意力的模态融合方法，实现多模态

特征融合。经过在多模态行为数据集上的对比实验，验证了该模型优于其他的通

用模型，证实了该模型在稀疏数据情绪识别任务中的有效性。

2.针对情绪识别中的用户数据异质性问题，本文提出了一种多任务学习模型。

该模型由共享部分和用户部分构成，通过将不同用户看作不同的分类任务，实现

I

摘要

用户模型的差异化训练。本文通过使用大量混合用户数据训练模型的共享层，使

模型得到较好的特征提取能力，而通过使用独立用户数据训练用户层，使模型的

用户特异性增强。大量对比实验证明，该模型可以较好的解决用户异质性问题，

相比于其他方法，模型在识别准确率上有了较大的提升。

3.针对传统情绪识别应用中的数据隐私保护和“冷启动”问题，本文设计了一

种基于联邦学习的智能手机情绪识别应用框架，传统的情绪识别应用需要向服务

器提交原始数据才能获得情绪识别结果，而本文提出的应用架构将情绪识别模型

部署在本地，服务器与客户端之间只进行模型参数的传递。模型采用本文提出的

多任务模型，模型共享部分放在服务器端，用户部分放在客户端，服务器共享部

分通过接受客户端的共享部分参数进行更新，提高特征提取的泛化能力，并将其

传播到客户端。客户端的用户部分参数保留在本地，实现用户个性化特征组合与

情绪识别。该应用的新用户只需从服务器加载共享参数并进行少量本地个性化训

练，即可获得与其他老用户相同的体验。本文通过多用户仿真实验证明该框架能

够实现隐私保护和解决新用户“冷启动问题”。

关键词：

情感计算，情绪识别，多模态，特征融合，多任务学习，联邦学习，稀疏

数据，数据异质性

II

Abstract

Abstract

ResearchandApplicationofEmotionRecognitionAlgorithmBasedon