大数据平台产品建设和应用方案.ppt

观云收集 观云收集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。 大数据源： DT时代，数据作为基础原材料，数据是否及时、准确、全面、有效，将对业务效果产生重大影响。 观云收集模块提供了一套完整的数据收集功能，针对大数据主要来源情况，包括结构化数据、非结构化数据和实时数据等。 结构化数据就是存放在传统关系型数据库中的数据，包括ORACLE、db2、mysql、sql server等，这部分数据一方面是经理清洗的，比较规范的，同时 也是价值非常高的； 非结构化数据包括日志数据（服务器运行日志、web数据）、多媒体数据（音频、视频）等，这部分数据使用传统数据库存储和使用均存在不足和不便， 无法灵活支撑业务分析挖掘； 实时数据是从数据产生频率方面描述的，如服务器实时产生各种日志、业务系统实时产生的数据流、网站实时点击产生的用户行为等。 大数据收集： 针对上述情况，观云收集提供了批量收集功能和实时收集功能，以满足不同的数据特性收集需求。 批量收集：XXX 实时收集：XXX 现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击。 这就要求我们要能实时采集到相关数据，而在海量数据下，依靠传统数据库和传统实现方法基本完成不了。 * * 观云存储 观云存储主要服务于批量数据、实时数据的存储和计算，可以提供TB/PB级大数据存储和计算。 能够更快速的解决用户海量数据存储和计算问题，有效降低客户成本，保障数据安全。 和传统数据库方案相比，成本显著降低同等存储和计算能力，软硬件综合成本最低仅需10% 具体讲，我们具有四大特性： 海量数据轻松存储： XXXX 架构健壮扩展灵活： XXXX 实时处理，高效迅捷： XXXX 现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击； 在海量数据下，依靠传统数据库和传统实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架； 我们目前使用实时计算实现了实时的网站流量统计、实时的广告效果统计两块功能。 不同数据同地存储: XXXX * 观云管理 观云管理架构在观云存储的基础上，可将客户原始数据快速转变为适合业务洞察的海量数据，支撑数据开放共享，实现数据价值的深度挖掘与业务的数据化运营。 其具有5大特点： 1，数据资产管理： 将不同系统、来源的分散各处、杂乱无序的数据，通过数据地图功能，对数据进行一点汇总、划分主题，实现数据分门别类，满足各方应用分析需求。 2，数据血缘管理： 数据之间存在先后依赖，数据的产生和再生产关系是复杂的网络图谱，通过提供数据血缘功能，便于追溯业务指标前后关系，实现业务口径统一和寻根溯源。 * 3，团队和资源管理： DT时代是共享开放的时代，只有共享开放才能充分发掘企业潜力，实现数据价值，通过提供灵活的多团队管理机制，在保障数据安全的基础上， 实现一份数据，多方按需合规使用。 同时针对传统数据库资源管理的不足，利用大数据技术，进行自主开发，实现资源集约利用，减少投资成本的同时，实现资源削峰填谷， 满足各方资源使用需求，同时降低DBA管理工作量； 4，开发工具管理： 大数据生态圈涉及上百种技术，大浪淘沙，泥沙俱下，对大数据开发人员造成了一定的选择困难症，如选择不合理，将极大的影响业务开展。 通过几年来江苏电信内部大数据项目的提炼，鸿信技术团队通过对大数据源代码进行逻辑注入和补充完善，形成了一套适合商用，具有自主知识产权 和差异化优势的开发软件集，可以实现大数据开发环境友好、统一规范、提升效率。 * 5，数据安全管理： 大数据时代，数据安全和隐私保护尤为重要，无论如何强调都不为过。 我们提供了4大安全保障和2重隐私保护等技术手段，确保数据不出门，隐私不泄露。 4大安全保障： XXX 2重隐私保护： XXX * 观云使用 * 帮助用户挖掘大数据环境下的数据价值，解决传统BI工具在大数据环境下无法使用的困境 * * * * * * * * * * 南京交管局大数据项目是我们面向交管部门的重点案例，我们以电信信令位置数据为基础，建立了高速公路通行速度模型、拥堵模型、交通枢纽及景区的实时客流和客流预测模型，并借助观云平台的实时数据处理能力，为南京二桥实现了实时路况监控，南京交管局也通过视频监控对拥堵预警的实时性和准确性进行了验证，得到了客户的认可。在此基础上，2016年的春节期间，该平台进一步实现了针对二桥的拥堵导流功能：通过分析二桥30公里范围内的车辆路径对可能前往拥堵点的车辆进行导流短信提醒。 * 常州交通局大数据项目是我们在交通行业大数据应用中的一个新的突破，该项目的建设目标是将常