大数据项目实施方案.doc

~ PAGE 16 ~ 项目编号： 项目编号： 大数据项目实施方案 甲方： 乙方： 签订时间： 年 月 日  本技术协议由 （以下简称“ ”）和 （以下简称“ ”）对 系统项目（以下简称“ ”）共同撰写。 目 录 TOC \o "1-3" \h \z \u 1 项目介绍 5 1.1业务背景 5 1.2项目目标 5 1.3方案设计思路 5 2 项目实施前提 6 2.1项目整体假设 6 2.2 项目一般假设 6 2.3 实施方法假设 6 2.4 系统环境假设 6 2.5数据和接口假设 6 2.6项目团队假设 7 3 项目实施范围 7 3.1总体实施组织范围 7 3.2项目实施业务功能范围 7 3.3项目实施非业务功能范围 7 3.4项目实施中需要重点关注的变革点 8 4 项目实施技术方案 9 4.1系统总体架构 9 4.2系统应用架构 9 4.3 系统数据架构 9 4.4系统技术架构 9 4.5系统技术参考模型 9 4.6技术框架中的软件版本 9 4.7系统部署方案和软硬件要求 9 4.8生产环境现场硬件布点要求 9 4.9系统集成 10 4.10系统接口 10 4.11系统安全 10 4.12系统运维 10 5 项目管理 10 5.1项目实施计划 10 5.2项目实施组织 10 5.3项目实施方法 11 5.4项目职责划分 11 5.5项目风险管理 11 5.6项目变更管理 11 5.7项目培训及知识转移 11 6 项目交付件及验收 11 6.1项目正式交付物 11 6.2项目非正式交付物 11 6.3项目验收 12 7 质量保证及服务承诺 12 8 运维及升级方案 12 9 .其他约定 12 附录： 后续运维服务相关政策等 12 项目介绍 1.1业务背景（行业背景，企业背景） 概述项目提出的业务背景 1.2项目目标 概述项目建设的目标(目标要具体、有效、可衡量) 1.3方案设计思路 概述项目设计思路（基于业务、IT、项目等维度，重点阐述项目实施原则及指导思想） 项目实施前提 2.1项目整体假设 项目整体管理： 项目培训管理： 项目计划管理： 项目质量管理： 2.2 项目一般假设 双方职责与共同约定 全过程负责与配合角色 变更程序 切换方案 接口方案 2.3 实施方法假设 项目经理负责制 2.4 系统环境假设 系统环境搭建 硬件、网络环境搭建 项目办公环境 2.5数据和接口假设 2.5.1数据交换方案 2.5.1.1数据实时推送方案 xxx数据中心部分： 1>.开发数据ETL任务，从数据中心实时过滤、转发数据到IOT消息中心； 2>.开发统一数据发送程序，将实时业务数据从xxx IOT消息中心推送至xxx API接受服务器； 数据推送机制为 at least once,保证数据不丢失，不保证数据重复； xxx数据中心部分： 1>.开发基于安全签名机制的REST API，负责接收xxx数据中心推送的数据； 2>.搭建分布式kafka集群，负责缓冲、持久化xxx数据中心推送的实时数据，防止数据量过大对后端数据存储造成压力和数据丢失，同时去除xxx数据中心与xxx数据中心之间的强耦合； 3>.开发针对mysql、hbase、hadoop的入库程序，将数据根据使用场景分别存储至业务库和大数据平台； 2.5.1.2数据开放平台接入 1>.每个合作伙伴可以拥有一个或多个（方便有多个子机构需要独立开发）开发者账号；2>.通过开发者账号可以为开发的应用申请接入码和密钥，通过接入码+密钥 签名后，可以访问xxx的开放平台服务（也可以通过开发者账号，获取JWT，让前端直接访问xxx的开放平台）。 2.5.2接口网关方案 基于springcloud的接口网关 2.6项目团队假设 项目组织结构 未经同意，不得变更项目参与人员 项目实施范围 3.1总体实施组织范围 3.2项目实施业务功能范围 功能清单 各功能点说明 3.2.1 HDFS分布式文件系统 是否必须 是 是否为标准功能 是 业务场景 可靠性数据存储 3.2.2 YARN分布式资源调度系统 是否必须 是 是否为标准功能 是 业务场景 大数据计算资源调度管理 3.2.3 MAPREDUCE分布式计算引擎 是否必须 可选 是否为标准功能 是 业务场