存储资源池建设方案.docx

存储资源池建设 存储资源池数据类型 存储资源池主要用于云平台各委办局所有相关的业务数据、统计数据等重要数据存储。各委办局的数据按照数据类型主要可以分为两类，即结构化数据和非结构化数据。 结构化数据 结构化数据即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。 非结构化数据 相对于结构化数据而言，不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。 存储资源池功能特性 云平台的存储资源池建设时应具备如下特性及考虑点： 高可靠 分布式存储系统作为云平台存储资源池的重要组成部分，在设计上应采用全冗余架构，每个环节都实现负载均衡和冗余设计以及故障自愈功能，防止任何存储故障导致服务的停止；另外，应具备智能节流机制以避免任何雪崩效应出现。 分布式存储系统可采用多副本技术来提高数据的可用性。索引数据和文件数据均可配置成多副本模式，当出现一个副本受损时，其它副本继续提供访问，不影响系统的可用性。如果一个索引控制器失效，作为备份的服务器会在秒级内将副本数据同步到最新状态，并接管这部分数据的服务功能，这种切换由客户端自动完成，上层应用基本感知不到。如果数据控制器或磁盘失效引起某个数据副本失效，客户端自动选择其它可用副本进行操作，应用也基本感知不到这种操作上的切换。 快速的恢复能力可提高系统的容错能力。当出现数据副本失效后，确认无法恢复的，分布式存储系统将尽快启动副本重建。系统具有根据系统信息和操作结果自动发现部件失效的功能。出现介质损坏后，受损数据的可用副本数减少。系统自动利用现有的可用副本生成新的副本数据，从而使系统恢复至正常水平。恢复过程中，对受损数据的读写仍可进行。整台数据控制器损坏，受损数据也按上述方式自动恢复。 如果某个控制器只是暂时失效，其它副本的操作仍正常进行，当该控制器重新上线后，增量更新受影响的数据，从而恢复到最新状态。分布式存储系统实现的并行副本重建策略大大加快了恢复时间。如下图所示，在数据控制器oStor0上，由于磁盘失效或系统失效，导致对象obj1和obj2同时丢失。如果obj1和obj2的另外一个副本存储于不同的oStor中，则obj1和obj2可以使用不同的磁盘通道和网络通道进行并行恢复，分别从不同的数据源复制到oStor3和oStor4。 并行重建数据副本 最后分布式存储系统的网络通道也应采用多通道负载均衡和冗余设计模式，从而保障当部分网络通道发生故障时，只要还有一个可以工作都不会影响在线服务；当故障的网络通道修复后，便可以继续实现负载均衡。 高性能 在云平台初步建成后，随着虚拟机个数的快速增长，对存储带宽的需求也会急剧增大。分布式存储系统应采用集群式并行存储架构以提供高IO性能。 分布式存储系统应通过多索引服务器架构使得每个索引控制器都可以独立地提供互不相干的索引数据访问能力，增加索引服务器即可提高系统的索引数据访问能力，最终达到很高的水平。 分布式存储系统还应实现索引路径和数据路径分离，使得每一数据控制器都可以独立地输出带宽，由于每个索引控制器有大量的磁盘驱动器和足够的网络带宽，每一数据控制器都可以提供高带宽，从而IO性能随容量扩展可线性增长，这样可以保证未来云平台接入节点数增加带来数据量的暴涨时，系统是完全线性可扩展的。 易扩展 传统存储的扩展都需要停止服务，存储规模越大，受影响的范围就越大，时间也越长，因此造成的损失也就越多；另外，存储扩展后无法实现负载均衡，使得扩展后性能没有得到相应的提高；因此，传统存储无法适应云计算环境的需求。云平台存储资源池建设从成本上考虑，不可能一开始就购买大量闲置的存储，存储规模应根据业务的实际需求而逐步增加。 分布式存储系统应在容量扩展过程中无需停止在线业务；同时，扩展后老服务器上的数据可自动迁移到新的存储设备上，实现容量和负载的均衡；当现有容量不足时，可成对地增加索引控制器；系统将优先使用新增加的服务器；用户对文件信息的访问可直接定位到某一台索引控制器，因此增加索引控制器的同时也提高了系统索引数据的访问性能；综上，这样才可以在真正意义上实现在线动态扩展。 分布式存储系统中的文件应均匀分散到各数据控制器上存储，当空间不足时，增加新的数据控制器，即可将新创建的文件或文件的部分存储到新增存储空间上。 分布式存储系统的聚合带宽应取决于可用的数据通道，在增加数据控制器后，即拓宽了客户端和分布式存储系统的通道数，因此聚合带宽也能相应地提高。 易管理 分布式存储系统应具有良好的可管理性，通过内置自动管理机制尽量简化管理员的操作，并通过多样报警机制及时可靠的将故障通知给管理员。分布式存储系统应提供基于浏览器的管理工具，管理员可通过简单的浏览Web页面，轻松完成系统的部署、监控、管理和维护工