一个大数据项目的架构设计与实施方案.docx

/content/17/0603/22659649698.shtml

经典：一个大数据项目的架构设计与实施方案

2017-06-03??hp1312??来源??阅?1920??转?8

转藏到我的图书馆

微信分享：

从菜鸟到架构师，不仅需要的是时间的磨练，更需要的是机会和平台。对于大数据技术的应用，不管是传统行业还是互联网行业，已经开始大范围的应用。很多人也轰轰烈烈的加入到大数据技术学习的行列中来，但大多数是三分钟热情高涨但又无法坚持到底。原因不是不想学，而是太复杂，坑太多。

对于接触过大数据技术的人应该比较清楚，大数据技术框架都是开源的，一个项目的完成需要众多技术的整合，包括安装、部署、开发、集成等。开源的也就免费，免费的东西有好的一方面，也有不好的一方面，好的一面就是企业应用不用花钱，尽管用。不好的一面也是学习者都感同身受，比较苦恼，就是坑太多，不是这个版本有bug，就是那个版本不兼容。在企业应用中对框架补漏修改是常有的事。也正因为这个，成就了行业很多的技术高手。当然，这也是为啥大数据人才稀缺并且薪水高的原因。

所以本篇我们为大家分享一套完整的大数据项目架构设计与实施方案，也是希望有基础的学习者能通过这个课程，一点画面，系统的学习，并且能彻彻底底的感受学习大数据技术所带来的成就感。体验自己如何根据零碎的基础知识能快速的架构设计大数据项目，并且完整的得以实施。

先来谈谈我们的需求，我们要对某新闻网做用户行为分析，需要达到以下几个要求：

实时捕获用户浏览日志信息并且存储（TB级别）

实时分析前20名流量最高的新闻话题

实时统计当前线上已曝光的新闻话题量

离线分析统计哪个时段用户浏览量最高

报表

对外发布数据

针对以上的需求，如果是你该如何架构设计满足用户需求的系统呢？

先来看看卡弗卡大数据对以上需求实现的需求结果：

以上图描述的很清晰，基本完成了我们三个需求。接下来就是我们要分享的核心：系统架构设计。这个是非常重要的，他是在你完全熟练掌握技术基础之上，根据业务需求的理解而进行的设计工作。我们来看第一张图：

系统架构设计

架构设计中的所有技术框架在我们的系统实施过程中都得到了应用，当然，如何没用，我们也不会放在架构图中。哈哈。如果你能看懂这张图，那得恭喜你，你快入行了，如果看不懂，那说明你还只是个菜鸟，继续努力吧。

系统数据流程设计

在需求中我们提的很明确，有三个要点：第一是数据实时获取并存储；第二是数据实时在线分析；第三数据批量离线分析。所以在流程图上会有两个不同颜色的流程分支，一个是代表实时数据处理，一个是代表离线批量数据处理。如果你想学点什么，你应该会仔细的看这张图，因为图上的每一个标识，不管图标大小所描述的都是核心，都是重点。切记！

集群服务节点规划

大数据项目，玩的都是集群。没有一个企业会在单节点机器上玩大数据应用。除非你自己学习之用。上图是我们对此系统的服务节点规划，一个机器上放什么节点服务，这都是有原因的。不是你想放什么节点就放什么节点。所以架构设计中的机器规划部署也是非常重要的，在业务需求的基础上要做好资源的合理规划，包括扩展性和稳定性。

说了这么多，该如何实施呢？

一个完整项目的全流程实施，从架构设计、技术选型、环境配置、安装部署、研发、整合集成、数据可视化交互等各个方面所要求的知识点很多，如果是新手或者初学者，不是几篇文章能说的清楚的，也不是一朝一夕你能的搞明白的。当然这不是个人能力的问题，而是大数据技术框架本身的坑很多，如果没有系统完整案例的指导，你可能得自己一个一个的去填坑才有可能到达你想要的结果。我说的一点也不严重，不信你可以去试试，呵呵。

如果你想尽快的掌握一个完整的大数据项目架构与实施，请参加我们的线上直播课，没有别的，只是让我们的经验有价值的得到分享。