大数据环境下并行计算模型的研究进展-《华东师范大学学报（自然科学版）》(2014年5期).docx

龙源版权所有 大数据环境下并行计算模型的研究进展作者：潘巍 李战怀来源：《华东师范大学学报（自然科学版）》2014年第05期 摘要：在大数据时代，制约并行计算发展的掣肘正在发生改变，为分布式并行计算带来了前所未有的机遇和挑战. 回顾了并行计算的发展和大数据环境下的新变化；结合硬件环境、计算模式、以及应用需求等对于并行计算模型研究的影响，综述了面向批处理、面向流处理、面向图数据以及面向内存等几类并行计算模型的相关研究；展望了其发展趋势. 关键词：大数据；计算模型；并行计算；内存计算 中图分类号：TP301文献标识码：ADOI：10.3969/j.issn2014.05.004 收稿日期：201407 基金项目：国家973重点基础研究发展计划项目基金（2012CB316203）；国家自然科学基金61332006）；国家863高技术研究发展计划项目基金（2009AA011902）；广东省普及型高性能计算机重点实验/深圳市服务计算与应用重点实验室开放课题. 西北工业大学基础研究基金（3102014JSJ0005） 第一作者：潘巍，男，博士，讲师，研究方向为数据库理论与技术、数据密集型计算、内存计算等. 通信作者：李战怀，男，教授，博士生导师，研究方向为数据库理论与技术. Email： lizhh@nwpu.edu.cn. Development of parallel computing models in the big data eraPAN Wei 1，2 ，LI Zhanhuai1 （1. School of Computer Science and Technology， Northwestern Polytechnical University， Xi’an710072， China； 2. Guangdong Key Laboratory of Popular High Performance Computers，Shenzhen Key Laboratory of Service Computing and Applications， Shenzhen518000， China） Abstract： In the era of big data， the changing of the constraints gives the parallel computing opportunities and challenges for developing. This paper reviewed the new progress and changes of the parallel computing； combining with the effects of the hardware environments， computing pattern， application requirements on the parallel computing， the relevant research on batchoriented parallel computing model， streamingoriented parallel computing model， graphoriented parallel computing model and inmemory parallel computing model are summarized； Finally， the future development trends are evaluated. Key words：big data；computational model；parallel computing；inmemory computing 0引言 从计算机诞生以来，人类对于计算性能的追求从未停止，作为高性能计算和超级计算的核心技术，并行计算是充分利用资源加速计算的主要途径. 但是对于大多数程序员而言，编写分布式并行应用具有极高的编程门槛，不但需要程序员具有丰富的硬件、体系结构、操作系统等背景知识，还需要其编写大量复杂繁琐的、应用逻辑之外的分布式并行控制逻辑. 这些因素使得并行程序设计始终没有成为主流程序设计的核心. 而且，由于遵循摩尔定律的处理器的性能在过去很长一段时间内能够持续稳定的增长，因此设计和开发并行程序的必要性和紧迫性被无意的掩盖. 但是，随着大数据时代的来临，从应用需求、硬件环境、互联模式到计算技术都在发生显著的变化，人们对分布式并行计算的需求也在日益突出. 上述变化为分布式并行计算提供了新的发展契机，同时也带来了巨大的研究挑战. 其中，多样化的并行计算模型是消除分布