2013年题4范文-论分布式存储系统架构设计.pdf

论分布式存储系统架构设计 年 月，我所在的公司成功中标某省环保厅的 污染源智能监控平台 建设项目。 2016 6 " " 我作为项目的系统架构师和技术负责人，主要完成了需求的分析，系统的架构设计等工作。 该项目是基于互联网，对全省各类污染源 （水、气、声）进行实时监控并可视化显在电子地 图上进行分析、预警。由于系统覆盖范围广 （全省污染源企业），数据量大 （污染源实时数 据），所以在数据库设计方面，我们采用了分布式数据库设计，在省环保厅信息中心机房设 置中心 （全局）数据库，全省数据都要汇总到此数据库中，各市环保局设置数据库服务器， 只存储本市辖区企业信息和污染源数据，通过Oracle Stream 实现各市数据库与省厅全局数 据库的同步。我从数据库选型，分布式数据库设计，应用数据集成和测试，以及分布式数据 库部署等方面开展工作，经过 个月的努力，平台顺利开发完成并上线，通过近一年的用户 8 反馈，整个系统运行稳定，达到了预期的目标和要求。 随着工业的飞速发展，工业排放的废水、废气、城市流域水环境以及噪声、废弃物对环 境的污染日益严重，而相关监测和信息管理技术仍停留在早期的模式，环境监测数据还需要 人工操作设备进行样本采集，由于环境污染中污染源数据总是不断变化，环境管理机构对环 境污染数据掌控的实时性要求无法达到；各监测站和分局统计上报的数据也存在格式和标准 不一致问题；环境数据是空间数据，具有强烈的空间性，而这些数据库都不能很好地表达空 间数据，空间分析的功能也极其有限。污染源智能监控平台 设置数据 展示功能，将污 " " GIS 染源各类信息可视化显示在电子地图上，通过分析信息的空间分布，监测不同时段的污染数 据变化，实现对空间信息及其他各类信息的有效管理，使大量抽象、枯燥的数据变得更加直 观和易于理解，对污染源进行切实有效的管理，为政府有关职能部门对污染源管理提供科学 依据。系统包括：实时视频监控模块、在线数据查询模块、数据 展示模块、超标企业预 GIS 警模块、统计分析模块、手机端等。 鉴于该项目业务复杂、流程多，系统要涉及污染企业、省市区三级环保部门，项目工期 短等特点，既要按期上线运行，又要实现基于分布式数据库的系统建设，我从数据库选型， 数据库设计，应用数据集成和测试，以及分布式数据库部署等方面开展如下工作。 一、数据库选型 现在的主流数据库都可以按分布式进行部署，例如 ， ， 等。由于 SQL Server Oracle DB2 以前给环保厅做的项目的数据库平台都是选择的Oracle，经过大量的实践检验，其多用户并 发处理、性能、数据自动备份等都表现良好，我们公司有大量的基于Oracle 数据库平台的 分布式应用系统开发经验，所以经过我们与建设方的沟通和内部讨论，我们决定在该项目中 继续采用oracle 数据库来实现。在空间数据引擎方面，ArcSDE 由于其支持超大数据集，对 海量数据可以进行高效的管理。故系统选用使用最广泛的空间数据库引擎ArcSDE。 二、 二、分布式数据库设计 由于涉及的污染企业众多，数据库采用分布式设计，各市环保局信息中心设置数据库服 务器，省环保厅信息中心设置全局数据库服务器，并对数据进行完整性和一致性检查。即方 便各市环保局管理本辖区污染企业，查询相关数据，又可以进行冗余备份，提高了系统可靠 性、可用性，使系统易于扩充，提高了局部应用的效率，减少数据的网络传输。数据库分布 在多个城市，为了保证数据的一致性及完整性，通过Oracle Stream 实现各市数据库与省厅 全局数据库的同步，Oracle Stream 利用高级队列技术，通过解析归档日志，将归档日志解析 成DDL 及DML 语句，实现数据库之间的同步。通过使用Stream 的技术，对归档日志的挖掘， 可以在对主系统没有任何压力的情况下，实现数据表或数据对象的同步。 三、应用数据集成和测试