大数据的若干基础研究方向.docx

大数据的若干基础研究方向

朱扬勇1,2，熊贇1,2

1.复旦大学计算机科学技术学院，上海200433；

2.上海市数据科学重点实验室，上海200433

（引用标注：朱扬勇，熊贇.大数据的若干基础研究方向[J].大数据，2017，3(2):104-

114.）

摘要大数据问题的关键技术挑战在于：找到隐含在低价值密度数据中的价值；在希望的时间内完成。指出前者需要将领域知识和数据技术结合，这种结合的理论和新型算法构成大数据的分析基础和应用基础；后者需要设计新的计算机、集群体系、计算框架、存储体系和数据管理方法，这些构成大数据的计算基础和数据基础。另外，这两个挑战都涉及数学理论，这是大数据的数学基础。系统地分析了大数据的数学基础、计算基础、数据

基础、分析基础和应用基础等基础研究方向。

关键词大数据；数据科学；大数据基础；数据资源

AbstractThekeytechnicalchallengesforbigdatalieinhowtodiscoverthevalueofthelow-value-densitydataandhowtocompletethetaskinthedesiredtime.Thewaystotakeupthesechallengesfromthreeaspectswerediscussed.Firstisthattheformerchallengerequiresthecombinationofdomainknowledgeanddatatechnology.Thiscombinationoftheoryandnewalgorithmsformsthebasisofapplicationandanalysisofbigdata.Secondisthatthelatterchallengeneedstodesignnewtypesofcomputer,clustersystem,computingframework,storagesystemanddatamanagementmethod,whichformsthebasisofcomputinganddataofbigdata.Thirdly,bothchallengesrelatetomathematicaltheory,whichisthebasisofmathematicsofbigdata.Inconclusion,severalfoundationissuesforbigdataresearchincludingthebasisof

mathematics,computing,data,analysisandapplicationofbigdatawereanalyzed.

Keywordsbigdata,datascience,foundationofbigdata,dataresource

1引言

数据资源开发利用的目的是实现大数据价值。大数据是指为决策问题提供服务的大数据集、大数据技术和大数据应用的总称[1]；大数据问题是指不能用当前技术在决策希望的时间内处理分析的数据资源开发利用问题[1]。就当下而言，现有技术难以处理PB级别以上

的数据。PB级别的数据规模已经超过了大部分企业和机构自身积累的业务数据规模，这说

明PB级别数据规模的应用涉及了企业和机构外部的数据，这是质的转变。在PB级别数据规模下，企业和机构可以用历史数据、跨界数据等足够多的数据来做决策。这将对科学研究、政府治理、民生改善、产业发展发挥革命性的作用。PB级别数据规模带来的技术挑战也是非常明显的，即“大数据问题”。从技术角度看，PB级别的数据量给计算机的硬件和软件都带来了挑战：机械硬盘、盘阵、体系结构、计算框架、数据移动、多地计算/异地计算、数据管理、数据分析等。随着计算技术的进步，这些技术问题是否就会得到解决？回答是否定的。摩尔定律（Moore’sLaw）不能解决大数据问题，摩尔定律是由英特尔（Intel）创始人之一戈登·摩尔（GordonMoore）提出来的[2]。其内容为：当价格不变时，集成电路上可容纳的元器件的数目，每隔18~24个月便会增加一倍，性能也将提升一倍。换言之，每一美元所能买到