基于深度学习的机器阅读理解模型研究.pdf

摘要 摘 要 机器阅读理解，旨在根据对文本的理解给出符合问题的答案，是自然语言处 理和人工智能领域的研究热点问题之一。随着深度学习技术的快速发展和理论研 究的深入，机器阅读理解的应用范围也日益广泛，并间接促进了自然语言理解、 信息检索、图像识别等领域的进展，具有非常高的学术研究价值和商业应用价值。 现有模型虽然已经具备了在单文档或者单段落中进行答案预测的优异性能，但 是，在多段落或者多文档中实现多跳推理的机器阅读理解任务仍极具挑战性，对 答案正确性的验证更进一步加大了任务难度。 为了提高机器阅读理解模型的预测性能，确保预测答案的准确性及可靠性， 本文基于深度神经网络开展了多跳式机器阅读理解任务和答案验证模型的研究， 主要研究内容如下： (1) 为了实现在多文档或者多段落之间的多跳推理，本文提出了一种基于图 注意力神经网络的多跳机器阅读理解模型 HGA 。首先，为了充分利用给定的非 结构化自然语言文本信息，构建了具有不同节点类型和边关系的实体阅读推理 图，从问题节点出发，经过链路式的推理，跳转至候选答案节点，即预测的问题 答案。其次，针对构建的实体阅读推理图，使用图注意力神经网络对图进行更新， 更新过程中同时引入问题特征，避免了对问题信息的忽略。最后，在实体阅读推 理图和问题之间使用双向注意力机制，可以进一步获得图节点和问题之间具有交 互信息的语义表征，为多跳推理提供更多的预测信息。实验结果表明，HGA 模 型可以提高多跳式机器阅读理解任务中预测答案的准确率。 (2) 针对机器阅读理解模型对不存在答案的问题依然给出预测答案的缺陷， 本文提出了一种面向答案验证的机器阅读理解模型EI-Verify 。受人类阅读模式的 启发，该模型结构包括泛读、精读以及答案验证三个模块。首先，泛读模块模拟 人类首次阅读未见过的文本过程，通过简单的浏览文本，初步预测出问题答案， 并判断该问题的可回答性。其次，精读模块通过在问题和段落之间进行信息的交 互，模拟人类代入问题阅读文本的过程，基于对文本的理解重新预测问题答案。 最后，答案验证模块结合前两个模块预测的答案结果，进行答案跨度调整，并给 出最终的答案跨度预测。此外，为三个模块中的损失函数赋予不同的权重系数， 进行联合优化。实验结果表明，EI-Verify 模型不仅提升了预测性能，而且通过答 案验证机制进一步保证了答案的可靠性和合理性。 综上，本文基于深度学习方法，面向多跳式阅读理解和答案验证任务，分别 提出了基于图注意力神经网络的多跳机器阅读理解模型HGA 和用于答案验证的 I 摘要 机器阅读理解模型EI-Verify ，有效提升了模型预测答案的准确性和可靠性，对深 入研究基于深度学习方法的机器阅读理解任务具有一定的理论意义和应用价值。 关键词：机器阅读理解，图注意力神经网络，注意力机制，答案验证 II 目录 目 录 摘 要I Abstract III 第1 章 绪论 1 1.1 研究背景与意义 1 1.2 国内外研究现状2 1.3 研究内容5 1.4 文章组织架构6 第2 章 相关研究工作8 2.1 机器阅读理解概述8 2.1.1 任务定义8 2.1.2 任务类型8 2.2 机器阅读理解数据集9 2.3 相关技术 12 2.3.1 卷积神经网络 12 2.3.2 循环神经网络 14 2.3.3 注意力机制 17 2.3.4 图注意力神经网络 18 2.4 本章小结20 第3