知识图谱和语义网概述.pdf

知识图谱和语义⽹概述 知识图谱和语义⽹概述 ⽂章 ⽬录 ⼈⼯智能的发展 ： 计算智能：规则明确的数据快 处理智能 感知智能：视觉、听觉等感知的智能，⼈脸识别、语⾳识别等，现在常见的AI 认知智能：理解语⾔、逻辑、知识的智能，机器在知识量上超越⼈类，推理上不如⼈类 ⼀、知识图谱 1.1 知识图谱的发展 知识图谱的发展历程 ： 在 1960年，提出了语义⽹络(Semantic Networks)，主要⽤于⾃⾔语⾔理解领域。它是⼀种⽤图来表⽰知识的结构化⽅式。在⼀个语义⽹ 络中，信息被表达为⼀组结点，结点之间的边⽤于表⽰结点间的关系。 1980年代出现了本体论(Ontology)，⽤来刻画知识。本体主要指领域共享知识的描述⽅式，是语义Web、语义搜索、知识⼯程等的基础。 在 1989年Time Berners-Lee发明了万维⽹，实现了⽂本间的链接。 1998年提出语义⽹(THe Semantic Web)，从超⽂本链接到语义链接。语义⽹是为了使得⽹络上的数据变得机器可读⽽提出的⼀个通⽤框 架。Semantic Web=Data+Link。 2006年Tim突出强调语义⽹的本质是要建⽴开放数据之间的链接，即链接数据(LInked Data)。 Google在20 12年提出了对搜索引擎的知识图谱称呼。现在知识图谱常⽤于指代类似Google的知识库，可⽤于搜索、问答、决策、AI推理 等⽅⾯。 1.2 知识图谱与深度学习区别 深深度度学学习习 知知识识图图谱谱 智能原理 逻辑层隐性模拟 思考层显性模拟 场景 感知智能：语⾳、图像、视频、⽂本 搜索、⼈机交互 特点 ⼤量训练数据、⾼算⼒、难解释 ⼤量知识、可解释、可理解 知识图谱可以从⼤量的实例中，抽取和提炼出精炼的语义信息。 相⽐于传统的数据库系统，知识图谱由传统的知识库发展⽽来，包含语义信息，可以进⾏⼀定的推理，可扩展性较好。 1.3、知识图谱相关技术 在最底层有⼤量的⽂本、结构化数据库、多媒体⽂件等数据来源。通过知识抽取、知识融合、知识众包等技术，获取需要的数据，⽽后通过 知识表⽰和知识推理、知识链接等将知识规范有序的组织在⼀起并存储起来。最终⽤于知识问答、语义搜索、可视化等⽅⾯。 知识表⽰ ：利⽤计算机符号来表⽰⼈脑中的知识，如何通过符号之间的运算模拟⼈脑推理。其从最开始的基于数理逻辑的知识表⽰发展 为基于向量空间学习的分布式表⽰。 输⼊ ：领域以及更具体的应⽤场景 输出：领域知识本体 ：领域实体类别体系 ；实体类别的属性 ；类别之间的语义关系 ；语义关系之间的关系 主要技术 ：Ontology Engineering 知识抽取 ：⽬标是抽取KR⽤的三元组、多元关系、模态知识等。具体流程包括⽂本预处理、词法语法处理、命名实体识别、关系抽 取。 输⼊ ： 领域知识本体 ；海量数据——⽂本、垂直站点、百科 输出：实例知识。包括实体集合，实体关系/属性 主要技术 ：信息抽取、⽂本挖掘 知识来源 ：结构化数据 （infobox）、半结构化数据 （表格型数据）、⾮结构化数据 （⽂本，重点）。 模块 ：实体识别，实体链接，关系 （属性）抽取，事件抽取，事件关系判别等 知识存储和查询 输⼊ ：⼤规模知识图谱 输出：知识库存储结构，查询服务 主要技术 ：知识表⽰、知识查询语⾔、存储/检索引擎 查询语⾔ ：SPARQL/Cypher 知识推理 ：采⽤推理的⼿段发现已有知识中隐含的知识 （知识图谱补全，关系/边预测）基于描述逻辑、基于规则挖掘、基于概率逻 辑、基于表⽰学习与神经⽹络。 输⼊ ：⼤规模知识图谱 输出：隐含知识 主要技术 ：基于逻辑规则的推理 ；基于表⽰学习的推理 知识融合 ：从不同数据集找出⼀个实体的描述记录。 输⼊ ：抽取出来的知识 ；知识本体 ；现有知识库 输出：统⼀知识库 ；知识置信度 关键技术 ：Onto