基于Ceph的分布式网盘系统的设计与实现.pdf

摘要 摘要 随着在信息化建设过程中企业对文件数据越来越重视，使用传统的便携式存储设备 存储数据在易用性、安全性、成本控制等方面都有明显的不足，网盘的出现解决了这些 问题。越来越多的用户把个人文数据存储到网盘中，网盘存储成了一种新的文件存储方 式，为用户带来了极大的便利。对于企业用户来说，所存的文件数据可能涉及企业的商 业机密等重要信息，而市场上的各类网盘透明度太高，安全事件频发，文件的安全性需 要由用户自己负责；同时市面上网盘的传输性能在企业内部环境也不能达到高效的要 求；网盘服务存储集群的容灾能力也不可控，对于用户来说文件存储完全透明，一旦服 务提供商不再提供存储服务或者存储集群出现不可修复故障的情况，用户存储的文件面 临极大的风险。 本文基于AES 加密算法、MD5 散列算法以及微服务等技术实现了基于 Ceph 的分 布式网盘系统。本文的主要工作如下： （1）分析企业用户对于网盘系统的功能需求和性能需求。根据功能需求梳理出网 盘系统的功能模块，分别有存储模块、文件模块、群组/监控模块、通知模块和备份模块。 根据需求，制定出系统的测试方案，主要包括各项功能测试以及性能测试，性能测试的 指标包括系统响应时间、文件上传下载速率和集群的文件读写速度。 （2 ）设计基于Ceph 的分布式网盘系统。从系统的整体架构设计到各个模块中具体 功能的设计。在文件模块中，优化了文件的存储结构，提高文件存储的效率。针对不同 的文件大小采取不同的文件上传策略，提高文件上传的性能。在安全方面对文件使用非 对称加密算法对文件加密，保证文件数据存储的安全性。在团队管理和监控模块中，在 基于角色权限的模型上引入对单文件的权限控制，更精细的管理用户的权限。在备份模 块中，为了应对系统级故障和灾难，采用增量传输的策略跨机房备份文件。在通知模块 中，设计了钉钉通知和邮件通知的功能，满足系统通知功能的及时性要求。 （3 ）实现并测试了分布式网盘系统。根据各个模块的设计实现各项功能，并对网 盘系统进行功能测试和性能测试，给出各项测试的结果。 本文设计与实现的基于 Ceph 的分布式网盘系统已经在企业内部上线使用，目前满 足了用户对于企业网盘的功能需求和性能需求，在企业网络环境下的实际应用效果高于 市场上的其他网盘。 关键词：Ceph 文件系统，分布式存储，网盘，企业信息化 I ABSTRACT ABSTRACT With the increasing emphasis on file data in the process of enterprise information construction, the use of traditional portable storage devices has obvious deficiencies in use, security, and cost control. And the emergence of cloud storage solves these problems. Network disk storage has become a new way of storing files, which brings great convenience to users. For enterprise users, various types of network disks in the market is too pellucidity, the transmission performance of the network disk cannot meet the requirements, and the security of files and the disaster tolerance of storage clusters are uncontrollable.