大数据专题主题库应用建设方案与规范.pptxVIP

大数据资源应用专题库、主题库建设方案与规范目录010203开发实施工作流程主题库、专题库建设概述1、主题/专题库建设背景什么是主题、专题库？ 主题、专题数据库 是为了便于共享应用，依托于市大数据资源平台对各市级责任部门的公共数据进行整合、清洗、转换后，形成面向某一业务主题领域和专题领域的数据模型集合。主题、专题数据库建设意义在完善基础数据库的同时，加快若干重点领域主题库、专题库建设，为业务服务、公共信用信息应用、综合管理等典型应用场景提供强有力的大数据支撑。2、主题/专题库建设任务《深化“一网通办”改革工作要点 》 主题库建设任务数据治理任务名称任务内容牵头单位配合单位时间节点主题库/专题库建设深化公共数据共享、开放、应用依托大数据资源平台，深化“公共信用”主题库建设市发展改革委市政府办公厅、市大数据中心6月底依托大数据资源平台，深化“一网统管”主题库建设市政府办公厅、市应急局市发展改革委、市经济信息化委、市公安局、市住房城乡建设管理委、市市场监管局、市大数据中心全年依托大数据资源平台，深化“互联网+监管”主题库建设市市场监管局各区、各部门，市政府办公厅、市大数据中心9月底依托大数据资源平台，深化“一网通办”主题库建设市大数据中心各区、各部门6月底依托大数据资源平台，深化“健康医疗”主题库建设市卫生健康委、市医保局、申康医院发展中心市政府办公厅、市大数据中心全年依托大数据资源平台，开展“教育”主题库建设市教委市政府办公厅、市大数据中心全年依托大数据资源平台，开展“文化旅游”主题库建设市文化旅游局市政府办公厅、市大数据中心全年目录010203工作流程主题库、专题库建设概述开发实施1、主题库/专题库建设流程主题库/专题库建设——整体流程（需求）业务单位主题库开发生成资源目录开始提出主题库建设需求明确责任需求清单主题库应用/数据共享结束大数据中心沟通方案(三方)建主题库并分配资源共享数据推送三清单管理（供给）业务单位确认责任清单2、主题库/专题库工作步骤业务单位(牵头方)主题库/专题库建设——工作步骤提出需求：依据业务逻辑提出主题库建设需求1沟通方案：牵头委办与大数据中心沟通需求及实施方案2申请账号和数据库空间：与中心对接组沟通申请；如已有门户账号，只需申请数据空间3申请数据资源：通过三清单流程，向数据共享委办申请数据资源4开发&应用：已获取需求资源后，实现主题库开发及应用5目录010203开发实施工作流程主题库、专题库建设概述1、数据开发功能特性关键特性1：开发运维一体化 数据开发功能具备一体化（DevOps）能力，让研发与运维间高度协同，在完成高频率部署的同时，提高生产环境的可靠性、稳定性、安全性和弹性。从数据入湖后开发再到应用上线部署，一套流程进行标准化流水线式分工协作全面的分析设计方便快捷上线部署需求分析开发测试运维管理24模型设计上线部署531完备的运维管理能力全方位管理多种开发方式1、数据开发功能特性关键特性2：便携式数据可视化开发 数据可视化开发，开发流程直观、可视化，从程序设计、数据源配置到组件配置全过程可查看，大大提升开发效率，提高“事中”可控性2、数据源配置：SQL数据源可以编辑SQL，可视化配置1、程序设计：支持边框布局、流式布局等多种布局形式4、页面预览：可随时预览开发效果，所见即所得3、组件配置：通过拖拽把组件绑定到设计中，即可开始组件配置开发1、数据开发功能特性关键特性3：规范化的数据治理 数据开发有标准规范的开发过程管控，即通过数据治资产管理平台同步获取数据资源，其优势在于将数据开发和数据资产管理平台有机结合起来，既是对开发过程的管控，也是保障数据质量的有效方法标准规范执行上线前按照标准规范进行控制，包括命名规范，信息完整性，合理性，不符合标准规范的不予上线数据信息同步同步开发模型数据开发平台数据资产平台获取规范据资源到开发平台2、数据开发功能平台数据开发功能运维监控数据开发任务监控平台监控数据探索数据建模日志采集问题定位可视化程序开发程序测试开发/运维人员开发工程师2.1 数据开发功能--数据开发模型开发程序开发程序测试审核上线数据探索5-程序在线测试提供WEB界面可视化测试功能;查看执行时长、执行状态等信息，方便开发人员调试，性能分析2-模型定义创建模型基础信息、定义模型的元数据6-调度配置1-数据探索根据业务逻辑做需求分析，通过探索了解相关数据情况7-提交审核并上线开发人员建立上线任务，提交审核并上线3-构建表结构添加模型字段信息提供手工/批量方式4-编辑模型应用程序固化常用程序命令，拖拽式使用图形化界面，自由配置处理逻辑2.1 数据开发功能--数据开发1、数据探索2、模型开发3、 程序开发4、程序测试5、审核上线操作路径：数据开发—SQL查询数据探索步骤：①了解业务需求②确认需求数据源③描述性统