搜索日记中人名识别研究.docxVIP

搜索日记中人名识别研究 1 人名识别任务转化成crfs序列标注任务 近年来，大量从互联网用户的搜索越来越受到重视。作为一个丰富的公共智慧数据资源，搜索编年史已成为科学研究的对象。社会的进步使得用户对自己或他人的关注度越来越高, 会借助搜索引擎进行检索, 因此搜索日志中存在着大量的人名。Downey等的研究表明, 每天产生的搜索日志中, 有2%-4%为人名查询串。由于搜索日志中存在大量的人名, 对日志中人名识别的研究在垂直搜索、查询推荐以及Web检索等方面被广泛应用。 前人研究人名识别通常基于1998年人民日报标注语料, 多是基于统计模型以及统计与规则相结合的方法。随着机器学习方法的兴起, 研究者将其应用在人名识别上。与丰富的文本语料相比, 搜索日志略显单薄, 内容短、缺少上下文、结构不规范, 这些特点给日志中人名识别带来了挑战。目前在搜索日志中进行人名识别的研究相对较少, Pasca提出一种根据手动给定的种子实体确定其所在查询串的模板, 利用模板相似性算法抽取候选人名的方法。然而该方法只有当种子实体仅属于单个语义类别时才能取得较好的效果。曹雷等提出了一个基于弱指导话题模型的命名实体框架, 通过引入弱指导生成的概率模型, 学习各个类别的查询模块分布, 改善了候选实体的排序效果。张磊等将Pasca的框架移植到中文查询日志中, 借助关联规则对命名实体进行评分排序。上述方法对选取的种子要求较高, 种子性能的好坏将直接影响实验结果。Wen等提出一种基于搜索会话的无监督中文人名识别方法, 通过模拟人与人之间建立联系的过程, 结合候选人名上下文提出了候选人名的筛选方法。该方法虽实现了种子人名的自动发现, 但仅立足于搜索会话范围, 不能实现整个搜索日志内的人名识别。 与前人研究方法不同, 本文将人名识别任务转化成CRFs序列标注任务。分析用户输入查询串中人名的分布特点、用字规律, 设计有效的颗粒特征和复合特征。引入人名知识库, 部分解决机器学习对缺少上下文信息的孤立人名查询串的弱识别难题。对未召回的含人名查询串进行统计, 发现其均存在查询串短 (一般为2-3个字) 、且多为低频或生僻的人名用字现象, 据此设计了条件概率筛选准则作为优化处理。 2 日聚体信号搜索存储相关量表 与文本领域的句子不同, 查询串自身包含的字面信息较少, 人名所能依赖的信息更少, 构成查询串的关键词顺序前后也比较随意, 并不遵循严格的语法规则, 如表1所示: 通过表1对比发现, 人民日报语料中的人名有着丰富的上下文、紧密的逻辑关系。而搜狗搜索日志内容贫乏, 上下文信息易缺失, 缺乏严格的语法规范, 给搜索日志中人名识别带来了挑战。但搜索日志数量庞大, 涉及范围较广, 拥有其他语料无可比拟的召回效果。并且日志内容结构单一, 可以有效避免一些人名歧义现象, 例如表1中的第二组对比语料。 本文从人名用字、人名上下文信息、人名关注度以及伪人名4个方面对查询串进行详细的分析。 2.1 设置分布型 对搜索日志中的人名统计其姓氏和名字的词频, 发现姓氏用字集中在几个常见大姓, 如王、赵、李等。名字用字情况则较为复杂, 较常用的名字用字相对集中在几十个字上, 如英、明、志、国、月、杰、珍等, 其通常被赋予某种美好含义, 但人名用字涉及的范围较广, 一些生僻字、方言字、古字也有出现, 如蕤、肜、琮、巽、祚等。 2.2 查询串的前后结构对比 由于用户输入查询串较短, 主要以主谓、定中结构为主。因此查询串上下文缺失比较严重, 如表2所示。 由表2可得, 虽然查询串的语法结构混乱, 但其上下文结构比较单一, 同一模式下的人名边界词比较集中固定。如上边界词: 主持人、将军、演员; 下边界词: 资料、简历、照片等。本文将人名边界富含的信息特征融入机器学习模型。 2.3 互联网信息扩散识别 关注度是汉语词汇中的一个热词, 意为关注的程度。搜索日志中的人名关注度即指该人名在当下被搜索引擎检索的热度, 反映在数值上则是其出现频次的高低。 关注度较高的人名, 在搜索日志中反复出现, 可利用其充足的信息量通过信息扩散来辅助识别信息量不足的人名。关注度较低的人名由于频次低, 鲜有上下文信息, 且多含生僻字等特点使其成为人名识别中的难点。 2.4 构词是由长期在规范层作用上出现的,指“名词+名词”、“动词+名词”等词间的组合形成的,易产生伪人名。易产生伪人名。易产生伪人名。易形成伪人名。请看“资金+” 伪人名指字面意义上虽近似人名, 但在整个查询串语境中并不符合语义的假人名。日志涉及内容广泛, 不免会有伪人名存在。如实体间的混淆, “陈家坝大桥”, 地名“陈家坝”近似人名。“名词+名词”、“动词+名词”这类词间组合易形成伪人名, 如“方正卓越K100-5460最新价格”易出现“方正卓”。此外用户输入不当也会导