基线与增量数据分离架构下的分布式连接算法-计算机学报.PDF

第 卷 第 期 计 算 机 学 报 ３９ １０ 　 　　 　　 　　 　　 Ｖｏｌ．３９ Ｎｏ．１０ 年 月 ２０１６ １０ ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｏｃｔ．２０１６ 　 基线与增量数据分离架构下的分布式连接算法 樊秋实 周敏奇 周傲英 　 　 （华东师范大学数据科学与工程研究院，上海高可信计算重点实验室 上海 ２０００６２） 　 　 摘 要 在大数据背景下，数据库系统表连接操作的效率急需优化，尤其对于基线与增量数据分离的数据库系统 　 　 来说，其连接操作更是成为其性能的主要瓶颈 为了有效提升事务处理的性能，在基线与增量数据分离的数据库系 ． 统架构中，通常将基线数据存储于磁盘中，增量数据存储于内存中，进而获得较高的事务处理吞吐量和可扩展性． 、 、 等系统是典型的基线与增量数据分离的数据库管理系统，但是他们的表连接效率较 ＨｂａｓｅＢｉＴａｂｌｅＯｃｅａｎＢａｓｅ ｇ 低，其主要原因包括：每次表连接前必须先合并基线数据和增量数据；数据存储模式更为复杂，导致过大的网络开 销 该文提出了一种基线与增量数据分离架构下的排序归并连接优化算法 该算法对连接属性做范围切分，在多个 ． ． 节点上并行做排序归并连接 该算法无需在连接前合并基线数据和增量数据，进而实现对基线和增量数据并行处 ． 理，同时也避免了大量非连接结果集数据的基线与增量合并操作 并在开源的数据库 上实现了该算法， ． ＯｃｅａｎＢａｓｅ 通过一系列实验证明，该算法可以极大提高 ＯｃｅａｎＢａｓｅ数据库的表连接处理性能． 关键词 分布式连接；增量数据；并行处理；排序归并连接 　 中图法分类号 号 ／ ＴＰ３１１ 犇犗犐 １０．１１８９７ＳＰ．Ｊ．１０１６．２０１６．０２１０２ 　　　 犃犇犻狊狋狉犻犫狌狋犲犱犑狅犻狀犃犾狅狉犻狋犺犿狅狀犛犲犪狉犪狋犲犱犇犪狋犪犛狋狅狉犪犲 犵 狆 犵 ＦＡＮＱｉｕＳｈｉ ＺＨＯＵＭｉｎＱｉ ＺＨＯＵＡｏＹｉｎ 　 　 ｇ （ ， ， 犛犺犪狀犺犪犻犓犲 犔犪犫狅狉犪狋狅狉 狅 犜狉狌狊狋狑狅狉狋犺 犆狅犿 狌狋犻狀 犐狀狊狋犻狋狌狋犲 狅狉犇犪狋犪犛犮犻犲狀犮犲犪狀犱犈狀犻狀犲犲狉犻狀 犵 狔 狔 犳 狔 狆 犵 犳 犵 犵 ， ）