《云计算与大数据》第3章 云存储.pptxVIP

云存储的基本概念;云存储的基本概念;云存储的基本概念;数据存储的发展;云存储的基本概念;云存储的基本概念;对云服务提供商而言： 通过集群技术和分布式文件系统等，将大量存储设备集合起来协同工作，对外提供数据存储和业务访问的一整套系统平台。 ;云存储的基本概念;云存储的基本概念;体系架构;云存储的基本概念;云存储的基本概念;网络架构;云存储的基本概念;云存储的基本概念;主要优势;谢谢观看;云存储的关键技术;云存储的关键技术;云存储的关键技术;网络连接存储（NAS）： 通过网络与应用程序连通。 应用程序基于文件系统访问NAS。 通过操作系统将文件访问请求转换为数据块访问请求并将其发送到内部存储驱动器。 集成了操作系统和存储设备。 提供跨平台的文件共享服务。 将存储设备与主机分离，集中管理数据。 具有易于安装、易于管理、文件共享和高可扩展性等???点。 可以根据需要动态地添加或删除NAS设备，操作方便，支持海量数据存储。;将固定于某个节点的某个文件系统扩展到任意多个节点，众多的节点组成一个文件系统网络。 目前应用于云存储领域的典型分布式文件系统有HDFS、GFS等。 其中GFS分布式文件系统是一种可扩展的分布式文件系统，用于管理大量数据的存储和使用，可运行在廉价的硬件平台上，具有较强的容错能力。;分布式存储; 客户端节点。是GFS提供给应用程序的访问接口，是一组专用接口，以库文件的形式提供，应用程序可直接调用这些库函数。 主服务器节点。是GFS的管理节点，逻辑上只有一个，用于保存系统中的元数据，负责整个文件系统的管理。 数据块服务器节点。负责具体的存储工作，数据以文件的形式存储在数据块服务器上，数据块服务器的数目直接决定了GFS系统的规模。 ; 中心化管理模式。主服务器管理分布式文件系统中所有的元数据，维护一个命名空间，简化了设计，降低了实现难度。 不缓存数据。GFS文件系统没有进行缓存，对于频繁读取的数据，数据块服务器利用本地操作系统的文件系统缓存机制来优化性能。 基于用户模式。单个进程不会影响整个操作系统，从而提升了整个系统的稳定性。GFS和操作系统在不同的空间运行，采用松耦合，提升了彼此的通用性，便于GFS和内核的单独升级。 ; 高效率。提供稳定的高效率存储服务，克服或缓解网络环境的动态性对服务性能造成的影响，减少网络数据传输延时，提供合理高效的数据缓存、负载平衡机制等。 高可靠性。保证数据的高可靠性是分布式文件系统的基本目标。系统采用有效的容错机制，可解决节点失效、网络断开、资源损坏等问题。 高扩展性。分布式文件系统要能适应节点规模和数据规模的增长，系统的存储容量、总吞吐率可以随着用户存储需求的增大而增大，以支持海量存储。 高透明性。位置透明性、故障透明性、迁移透明性、副本透明性、并发透明性。 自治性。分布式文件系统必须是一个自治系统，具有自维护、自恢复的功能。 ;云存储的关键技术;云存储的关键技术; 将同样数据复制成多份，通过网络分布到另外一个或者多个地理位置不同的系统中，从而防止数据被损坏而永久性丢失。 支撑负载均衡以减轻服务器的压力，避免单点故障或瓶颈造成服务中断的技术。 在数据保存的多个副本中，其中一个副本为主副本，其他副本为二级副本 ;数据副本复制模式; 云存储系统采用副本技术提高用户数据存储服务能力的同时，相应的产生副本管理的若干问题，高效的副本管理机制不可缺少。 副本管理机制的主要包括：副本部署、副本数量控制、数据一致性保障，以及副本删除等问题。 ;根据不同的数据副本存储方法，副本部署策略可分为路径部署、源请求部署、邻居节点部署、随机部署。 前三种部署策略适用于去中心化的存储系统，而后一种在去中心化和中心化的存储系统均可用。 ; 副本数量的确定与副本属性、系统环境以及访问情况等因素有关。 副本数量过多会造成节点存储资源和网络带宽的浪费，加重网络负担。 副本数量过少会使数据的可用性和访问速度得不到保证。 ; 数据一致性是指复制源相同的多个副本之间的数据一致。 分为弱数据一致性和强数据一致性： 弱数据一致性：最终达到一致。 强数据一致性：任何时候都要求数据一致。 Paxos算法：基于消息传递的一致性算法，用于解决分布式系统中数据一致性问题。 自适应副本一致性维护机制：达到系统副本一致性、可用性和系统性能之间的动态平衡而提出的一种包含数据副本的更新一致性和归并一致性的算法。 ; 目的是整理存储空间，减少维护成本。 发生的原因通常包括副本的生命周期结束、副本被访问频率低、副本所在节点存储空间不够或处理能力达到极限等。 常用的副本删除策略是基于灰色预测理论的副本删除策略等。 ; 根据资源和环境状况的不同，分为静态副本管理策略和动态副本管理策略 静态副本管理策略 副本的数量和位置在创建文件时确定，不会随系统状态的变化而变化。