七牛私有分布式存储介绍 2.2.pdf

七牛私有分布式存储介绍 演讲人 关于七牛云 国内领先的云计算厂商 800 人的服务团队 长期服务70多万企业用户和开发者 成功案例-加速产品的成功 互联网&移动互联网 物联网&智能硬件 大型企业 Qiniu Confidential 企业非结构化数据挑战 海量文件扩展 业务移动互联网化 数据分析与检索 音频，视频，图片，扫描件，票据，数字映 更多业务向移动互联网，IoT场景转移； 利用大数据对语音，图片进行智能分析 像等各种非结构化数据在企业IT系统中的比 更多场景使用RESTful接口； ，挖掘价值数据，实现业务增值。 重，容量和文件数量海量增长的形势。 终端个数增长促使业务终端与存储直接交互， 数据路径与业务逻辑分离，业务系统需云化。 非结构化数据 传统NAS存储问题 • 海量文件性能极速下降 单个NAS系统，由于目录结构扩展性限制，最大支持千万级文件数量 海量文件个数的场景下，查询性能低效，时延高 • 容量和性能扩展性差 单个文件系统的空间有限，无法实现随容量横向扩展 容量大的高端设备不适合存储单位价值密度低的数据 • 业务架构容易出现瓶颈 业务系统架构在NAS传统存储之上，由业务系统管理和访问 存储系统，业务系统承受大量的访问流量，容易成为瓶颈 • 价值数据挖掘 图片，音视频处理，证件，场景，人物的AI识别 视频，语音，日志等大数据分析，机器学习，模型训练 分布式海量存储系统（KODO） 70万+ 7年+ 20亿+ KODO—非结构化数据的最佳选择 总体架构 海量扩展 高可靠 边缘存储 数据智能化 传统NAS存储扩展性问题 随文件数增加，访问时延急剧上升 业务系统架构复杂，扩容变更操作复杂 时延 10s 1s 文件个数 5ms 白万 千万 亿 受限于NAS的扩展能力导致 • 受限于文件系统目录结构，海量文件访问性能显著下降 • 业务系统需要维护多套NAS设备访问的业务逻辑 • 受限于NAS机头性能，扩展容量受限 • 扩容变更时需要重新划分逻辑卷，格式化，授权访问挂载文件夹 • 资源浪费 全分布式架构，海量扩展