第三方软件及中间件.docxVIP

第三方软件及中间件 操作系统 操作系统是管理计算机硬件资源，控制其他程序运行并为用户提供交互操作界面的系统软件的集合。操作系统是计算机系统的关键组成部分，负责管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本任务。 本次项目仅涉及服务器端操作系统，用户桌面使用正版操作系统不在本项目范围内。服务器操作系统一般指的是安装在大型计算机上的操作系统，如Web服务器、应用服务器和数据库服务器等。服务器操作系统主要集中在三大类：Unix系列、Linux系列和Windows系列。本次项目主要采用Linux系列和Windows系列。 应用服务器中间件 应用服务器中间件又称为“应用服务器软件平台”，是当代软件的基础设施，是最为重要的一类中间件。应用服务器可以把不同的应用软件作为构件整合到一个协同工作的环境里，并为应用提供了名字、事务、安全、消息、数据访问等服务，此外它还提供应用构件的定制、部署、运行及管理功能。 关系型数据库软件 关系型数据库管理软件采用高级结构化查询语言为基础的大型关系数据库，作为用方便逻辑管理的语言操纵大量有规律数据的集合，可以运行在各种计算机硬件和各种操作系统上。 大数据平台数据库软件 大数据平台提供统一、规范的数据接入方法，支持从内外部数据源向平台导入结构化数据（如关系型数据库数据、应用系统数据、生产实时数据）、半结构化数据（如日志、邮件等）、非结构化数据不同类型的数据、不同时效的数据，并提供这些数据的整合方式。并在此平台上建立数据采集、数据存储、数据处理及加载、数据治理与管控、数据应用、统计分析等；最终实现大数据业务整体情况的全方位展示，并对海量数据进行统一管理、统一分析、统一应用，为市场营销业务开展提供决策支持。本次大数据平台软件基于Hadoop，MPPDB，关系型数据库打造底层，大数据平台主要包含数据存储和数据计算两部分。 数据计算服务 数据计算服务包括离线计算、流式计算和内存计算三部分。 离线计算 离线计算实现非结构化及结构化数据存储与离线计算。存在于Hive、HDFS组件的数据结合Mapreduce计算框架主要用于海量数据的批量计算、指标汇总计算、数据挖掘等场景提供基础计算服务。 流式计算 流式计算集群主要满足实时布控、实时监控预警等实时性要求非常高的场景，流式数据主要包括卡口、网吧、旅业以及物联网的设备数据，通过流式计算服务能够满足轨迹流数据的秒级计算。 流式计算还是一个跨越云计算平台与边缘计算平台的技术，流式计算是未来公安行业感知数据的主要处理形式。流式计算服务主要考虑结构化数据实时吞吐量，同时应结合kafka缓存时间、Topic数量、窗口时长等因素进行规划，以及采用Flink组件实现数据实时计算。 流处理引擎包含高性能流计算引擎Storm、Spark Streaming和Flink等组合而成。 内存计算 基于Spark分布式内存数据处理框架，能够帮助用户简单的开发快速，统一的大数据应用，对数据进行、协处理、流式处理、交互式分析等等。 数据存储服务 分布式文件系统 HDFS 分布式文件系统是一个高度容错性的系统，适合部署在X86服务器上。HDFS能提供高吞吐量的数据访问，针对的使用场景是数据读写具有“一次写，多次读”的特征，而数据“写”操作是顺序写，也就是在文件创建时的写入或者在现有文件之后的添加操作。HDFS保证一个文件在一个时刻只被一个调用者执行写操作，而可以被多个调用者执行读操作。 分布式列式数据库 分布式分布式列式数据库HBase支持适合存储海量非结构化、半结构化或结构化数据，利用HBase技术可在x86 Server上搭建起大规模存储集群。 HBase目标是主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 数据仓库服务 Hive主要用于存储分析型数据，包括离线分析和交互式分析。 大数据平台基础Hive作为建立在 Hadoop 上的重要组件，提供了一系列的工具，可以用来进行数据提取转化加载（ETL）操作，这是一种可以存储、查询和分析存储在 HBase 中的大规模数据的机制。Hive定义的简单的类 SQL 查询语言-HQL，允许熟悉 SQL 的用户快速查询数据。同时，这个语言也允许熟悉 MapReduce/Spark 开发者的开发自定义函数 来处理内建的 HQL无法完成的复杂的分析工作。 全文数据库 全文检索主要应用于电子档案的全文检索以及结构化数据的关联查询分析等场景。全文检索数据容量按照全量结构化数据以及全量非结构化数据的数据容量进行规划，采用Solr或者ES全文检索组件，其中包括对结构化以及非结构化数据的检索。 内存数据库 Redis是大数据平台中提供的内存数据库，Redis是一个开源的使用 ANSI C语言编写、支持网络、基于内存