2023政务信息智能检索平台技术方案.docxVIP

2023年政务智能检索平台技术方案 第1章简介 1.1 目的和范围 本文档的目的是对本产品的主要功能、主要特色进行描述，为普通使用者进一步了解和使用产品提供基础。 第2章方案介绍 方案定位 在信息量爆炸的社会，用户对信息的检索需求是要简、快、准，大都习惯于依赖 Google、Baidu 搜索模式，将这种搜索模式应用到政府行业，聚焦政务信息特点的“政搜”产品就在这个时候产生。 如今信息技术高速发展，信息量急速增长，信息的种类也趋向多样化（结构化的信息如关系数据库的数据，非结构、半结构的信息如 excel、word、xml 文件中的信息、网页信息等）。采用传统的基于 SQL 的信息检索方式存在很多问题， 例如：只能检索关系数据库中的信息；不能跨表、跨列检索信息；在数据达到千万级以上使用模糊匹配时检索的速度极慢甚至无法检索出信息。 面对海量信息，信息的精确检索就像大海捞针一样困难，如何让用户快速挖掘使用者喜好，帮助使用者找到自己感兴趣的内容，就是开发本产品的主要目标。信息智能检索平台 IIRP（Infomation Intelligent Retrieval Platform）的检索技术利用多个前沿学科的研究成果，通过对文本、图像和视频信息的智能处理，实现信息的精确检索。平台具有信息服务的智能化、人性化特征，允许使用者采用自然语言进行信息的检索，为他们提供更方便、更确切的搜索服务。 方案优势 需要对海量数据实现秒级查询的用户 由于在实际应用过程中，很多场景的数据量都超过亿级别，甚至达到十亿、百亿级别。此时如果用传统的搜索查询会导致效率急剧下降。而信息智能检索平台支持多数据源索引搜索，通过检索管理平台子系统来管理维护配置，为系统提供无限扩展及高可靠的特性。HBase 无缝对接，索引与内容分开，数据查询效率高，数据抽取速度快。 对搜索细粒度上优化及交互、易用性问题上有要求的用户 由于在很多场景下，使用者在搜索过程中，需要通过某个词来搜索到所需要的结果，但因为细粒度过大，导致搜索词无法命中结果。并且在某些场景下需要通过拼音来命中结果。信息智能检索平台支持拼音检索，同音检索，语义检索， 要素检索，智能检索等检索方式，并采用复合式分词法来达到分词细粒度的优化目的，查全率高，检索无死角。信息智能检索平台还提供相关查询词智能推荐服务，可针对使用者所输入的字符联想并推荐相关搜索词，大大地提高了使用者的交互和易用性。 对检索平台安全性较高及需用对敏感数据过滤的用户 使用者在使用搜索平台过程中，对系统的安全性会有所担忧，存在是否会泄露数据，是否接口暴露在外等等问题，不仅如此，在某些场景下用户需要对某些敏感数据进行过滤，使得没有权限的用户无法查询被过滤的数据。信息智能检索平台集成多种认证方式，保障了用户的数据及接口的安全性。在敏感数据过滤上通过敏感词管理功能进行访问限制，从而更好的保护特殊数据。 第3章特色功能介绍 信息智能检索平台根据服务侧重点的不同，由以下三个核心子系统组成，分别是智能检索服务子系统、智能检索门户子系统和检索管理平台子系统。 智能检索服务子系统 数据采集与加工功能 该功能的主要作用是抓取并采集客户指定的资源、服务及内容数据。在采集完数据之后，针对文档数据的独特性，进行标签化处理，使其能应用在基于内容的推荐上。 文档内容标签的设计很重要，区分度好的话，推荐结果就会更优。因此需要我们记录每篇文档的特征。 特征主要包括：文档所属频道板块、目标读者群体（可选）、关键词（人工录入、可选）、标题提取关键词（机器分析），全文提取的关键词（机器分析）等。 各特征具有不同的推荐级权重。 智能检索引擎功能 智能检索引擎的核心是算法，算法的优劣决定了推荐的质量。基于内容的算法可采用聚类算法和 TF-IDF 方法、Simhash 算法等计算出内容的指纹特征值，再进行聚类。 拼音检索功能 拼音检索是在统计的汉字注音技术和多音排歧技术基础上建立的可用于信息检索的技术。该功能支持拼音输入提示、拼音检索、拼音推测高频中文词。 智能纠错功能 该功能融入强大的语义理解技术，基于大数据分析，可纠正用户输入的错别字，同时显示正确的输入词及检索结果。 繁简中文转换功能 支持繁简中文转换及繁简歧义词。 智能结果排序 提供智能算法动态调整搜索结果的排序。 智能检索门户子系统 多级事项统一检索功能 支持政府部门的省（市）、区（县）、社区多级各类办事指南及相关材料、办理点检索。 框计算功能 支持框计算（Box Computing），使用者只要在“框”中输入服务需求，系统就能明确识别这种需求，并将该需求最优的内容资源或应用精准高效地返回给使用者，而非以简单连接的方式呈现。例如事项申请状态查询、领导人物动态等。 ▲办事状态查询 智能检索提示功能 分析用户输入内容进行预先判断，提示用户相