Web环境下分布式自治站点数据同步技术研究.docVIP

Web环境下分布式自治站点数据同步技术研究 　　摘 要：本文对Web环境下典型的分布式自治站点系统拓扑结构及工作方式进行研究。重点研究了同步周期、关键字同步冲突处理、更新数据捕获、更新数据源识别等分布式自治站点数据同步过程中的关键问题，并设计了一个适用于分布式系统自治站点数据同步的技术方案。 　　关键词：分布式系统；自治站点；数据同步 　　DOI：10.16640/ki.37-1222/t.2016.22.115 　　1 分布式自治站点应用场景及工作方式 　　1.1 分布式自治站点应用场景 　　随着企业信息化水平的提高及基于Web环境下的业务系统的发展，以往单一站点业务系统的服务模式已很难满足业务系统的需要，具体表现为如下几个方面： 　　（1）单一站点负载能力有限，无法满足高并发的业务访问需求。 　　（2）可靠性及可用性差，如果站点的软、硬件出现故障，则整个业务系统瘫痪。 　　（3）位于不同网络运营商的用户访问业务站点，可能会存在响应时间长、互连互通等问题，用户体验差。 　　考虑到以上问题，为了保障业务系统的快速响应及高可用性，在进行业务系统整体规划时一般会采用分布式结构进行解决。分布式系统（distributed system）是建立在网络之上的软件系统，其对于用户而言具有较高的透明性和内聚性[1]。比较常见的是分布式自治站点结构，一种典型的拓扑结构如图1所示。 　　图1中的分布式系统由一个超级站点及若干个普通站点所组成，每个站点均为一个独立自治站点，可以独立为系统用户提供业务服务。超级站点除了具有普通站点服务功能外，还担负着整个业务系统入口及用户首次业务请求至各站点负载均衡调度功能。 　　1.2 分布式自治站点系统工作原理及方式 　　以业务系统为用户1进行业务服务为例，其系统工作原理如图2所示： 　　（1）用户1向系统入口服务站点A（超级站点）发出服务请求。 　　（2）服务站点A收到用户1的服务请求后，根据当前各站点的可用性状况，将用户1的服务请求重定向至可用性最优的站点上（图2中服务站点A向用户1返回访问请求重定向至服务站点B上的指令）。 　　（3）用户1的web浏览器收到重定向至服务站点B的指令后，自动重新访问服务站点B以取得业务服务。此后，用户1将通过持续访问服务站点B获得系统服务。 　　（4）用户1在服务站点B进行业务操作期间，所产生的业务数据更新，将通过数据同步的方式同步至其它的服务站点，以使用户1下次业务请求被重定向至其它站点时可以继续业务操作。 　　1.3 分布式自治站点系统特点 　　相对于传统的单一业务站点的服务方案，分布式自治站点的方案具有以下特点： 　　（1）高吞吐及高并发。用户的业务请求被分散到各自治站点中，由各站点共同为业务用户提供服务，业务系统的负载能力可以得到大幅提升。 　　（2）负载均衡。负载均衡功能可以通过监控各自治站点的性能情况，并将用户访问请求调度到综合性能值最好的站点上，提高访问响应效能。 　　（3）高可用。某部分站点出现故障时，可以离线处理故障，其它站点可以继续承担用户业务访问请求，避免单一站点模式中出现软、硬件故障时造成业务系统瘫痪的问题。 　　（4）容灾性。由于各自治站点的业务数据进行相互同步，所以理论上由n站点构成的分布式自治系统中，将会有n-1个数据副本，具有很强的容灾性。 　　2 分布式自治站点数据同步关键问题 　　2.1 同步周期 　　由于分布式系统在数据同步时存在网络延迟、I/O耗时等因素，无法保证副本数据和主节点时刻保持一致[2]。在自治站点之间一般采用弱一致性的办法来进行处理，最终保持各站点数据的一致性。在同步的时候，需要考虑在同步周期与系统开销之间取得平衡，既能保证各自治站点数据及时相互同步，又能最大程度避免同步事务对系统资源消耗而造成服务响应速度下降的问题。 　　2.2 关键字同步冲突处理 　　在分布式系统中，位于不同自治站点上的同一数据表新插入的记录字段值可能会相同，如果字段为数据表的关键字，在各站点数据相互同步时就会产生关键字冲突，为了避免关键字冲突就必须要求数据表关键字段值全局唯一。从传统单一服务站点结构向分布式系统结构改造，或全新设计分布式系统时，要充分考虑该问题。为确保各站点同一数据表关键字段值全局唯一，通常进行以下处理：为各业务数据表添加站点标识字段（字段值为站点在分布式系统中的唯一编号），并将站点标识字段与业务数据表原关键字一起构成组合关键字，从而实现数据表记录关键字段值全局唯一。 　　2.3 更新数据捕获 　　用户在站点上进行业务操作时将会产生数据更新（新增、删除、修改），这些数据更新操作需要被记录下来形成更新日志，并将业务数据更新操作信息同步到其它各站点上，由运行于其它站点上的程序执