大数据可视化分析平台数据分析和挖掘整体解决方案.ppt

* * * * * * * 云计算和大数据虽然是两个不同的技术，但是未来两者一定会相互促进，并且结合的更加紧密，而结合的关键是应用，当应用在云上大量形成和聚集的时候，大数据就实现了几何级的快速增长了，从而产生更高的数据价值，也使云资源的建设需求源源不断。 存起来不是大数据的结束阶段，大数据的后面还有联想阶段。在联想阶段，大数据会自己组织自己的特征，也就是会自己积累自己的知识经验，大数据会自我表达，它能表达出它能提供什么样的知识。要到这一个阶段的话，云计算和数据中心就要结合，而结合的关键是应用，只有让大数据在云上不断成长，让云计算给大数据带来几何级的增长，才能创造更高的价值。” * * 首先对政务大数据的使用进行一个前瞻 ，我们可以看到，政务大数据可以应用在城市生产、生活的各个方面 比如 交通、医疗、公共事业、公共安全、教育、科技、市民服务 等等。 大数据的价值基础来自于数据，对于企业最有价值的数据，我们认为有两点： 1)内部业务大数据(而非外部大数据)具有最高的应用价值 企业的大数据，从来源讲可分为内部(自身业务生产经营环节产生的所有数据)和外部(来自外部，如第三方/互联网)。当前企业热衷于引入来自外部的大数据(如互联网/电商/移动互联网)和相关服务应用，而忽视了一个事实：现有的内部业务大数据才是最大的价值挖掘目标。 大中型企业在信息化与数据应用过程中，大都已经完成了第一阶段(信息化系统建设与业务数据采集的自动化/常态化)的工作。多年来建立的各种业务信息系统已积累了大量业务数据。而进入第二阶段(挖掘数据提升企业业务经营管理)后，却进度缓慢。相比外部数据，内部业务数据体量大，内容多样，时间跨度长，是企业大数据的主体。因其与企业特性直接相关，深入覆盖经营的各个环节，其对企业的价值远大于各种外部数据。然而，这些数据很少发挥出应有的价值，大都沉睡在那里，甚至成为负担。 2)内部业务大数据中，应优先关注服务客户相关的数据 企业内部业务大数据，如果按逻辑属性划分，可分为两大类： 1) 产品/服务相关: 围绕企业产品/服务相关的(研发/设计/原材料/生产/制造/反馈)的数据 2)服务客户相关: 围绕着目标客户(可为B或者C)的相关(售前/销售/客服/运维/活动/CRM等等)数据 以上两类数据中，服务客户相关的业务行为对企业经营影响巨大。其数据也是企业内部大数据的主体，应优先作为内部大数据挖掘应用的目标。 * * 大数据痛点：海量数据资产难以有效管理和利用；跨部门跨专业的数据支撑越来越难； 数据时代，各行业数据存在着较多共性问题。 例如系统多、数据分散、硬件设备到期、系统架构扩展不足、专业人员不足等各种困难。 我们来看一组数据： 59%，XXX 70%，XXX 85%，XXX 98%，XXX 那如何建设大数据中心，进行海量数据资产的有效管理和利用；进行跨部门跨专业的数据支撑；成为在大数据发展道路上必须跨越的难题 总结来讲就是：收、存、管、用等四个问题。 XXXX 在阿里巴巴，总结了一个很重要的经验：人和事是分不开的。 企业要想成为一家数据化的企业，文化的培养必不可少。 “混、通、晒”及“存、管、用”两套内功是让企业的血液（数据）流动起来的关键。 数据流动得宜，则神清气爽；相反，数据如果出现停滞或质量问题，企业则性命不保。 * 大数据痛点：海量数据资产难以有效管理和利用；跨部门跨专业的数据支撑越来越难； 数据时代，各行业数据存在着较多共性问题。 例如系统多、数据分散、硬件设备到期、系统架构扩展不足、专业人员不足等各种困难。 我们来看一组数据： 59%，XXX 70%，XXX 85%，XXX 98%，XXX 那如何建设大数据中心，进行海量数据资产的有效管理和利用；进行跨部门跨专业的数据支撑；成为在大数据发展道路上必须跨越的难题 总结来讲就是：收、存、管、用等四个问题。 XXXX 在阿里巴巴，总结了一个很重要的经验：人和事是分不开的。 企业要想成为一家数据化的企业，文化的培养必不可少。 “混、通、晒”及“存、管、用”两套内功是让企业的血液（数据）流动起来的关键。 数据流动得宜，则神清气爽；相反，数据如果出现停滞或质量问题，企业则性命不保。 * 依据数据特性和应用特点，建立批处理和实时计算的大数据平台系统架构 数据采集 数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。 实时计算 现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击；在海量数据下，依靠传统数据库和传统 实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架； 我们目前使用实时计算实现了实时的网站流量统计、实时的广告效果统计两块功能