商品库 MySQL 优化实践 2011 Qcon Beijing.pdf

淘宝 商品库MySQL 优化实践 QCon 2011 Beijing   核心系统数据库组   余锋（褚霸） 2011/04/08 Agenda 商品库项目背景介绍以及约 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间   商品库( 单机，测试) 情况 • 无复杂查询，离散度高 • 记录数：1亿条键值对 • 记录大小：100 字节  • 数据文件：170G • 访问热点情况：20% 的键占用55 ％的访问量 • 键读写比例： 10 ：1   硬件选择 • 主机：  Dell; PowerEdge C2100; • 处理器：  physical = 2, cores = 12, virtual = 24  • 内存： 96 G  • RAID 卡：LSI MegaSAS 9260/512MB Memory • PCI-E Flash 卡: Fusion-io ioDrive 320GB/MLC  • 硬盘: SEAGATE ST3300657SS  300G x 12  软件选择 • 发行版：  Red Hat Enterprise Linux Server release 5.4  • 内核：  Kernel | 2.6.18-164.el5  • 文件系统：Ext3  • Flashcache: FB 内部版本  • MySQL 版本：  5.1.48-log Source  Agenda 商品库项目背景介绍以及约 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间 商品库技术要求 • 高可用，安全第一  • 高性能，性能平稳，性价比高  • 控制运维风险         技术方案 • MySQL数据库集群，数据水平切割，主从备份  • 采用高性价比PC服务器，大内存，强劲CPU ，可靠性高 • 采用高性能PCI-E Flash 卡作为cache,   提高系统的IO性能  • 充分利用系统各部件的cache,  大胆采用新技术  • 充分考虑容灾，在各个层面考虑数据的安全性   系统资源规划 内存分配： • MySQL • InnoDB buffer pool • OS pagecache  • 驱动程序   IO能力分配： • 读能力，零散读，提高IOPS • 写能力，集中写，提高吞吐量   Cache 分配： • MySQL 内部cache • 匿名页面/ 文件页面 • Flashcache 混合存储 • Raid 卡内部cache  调优指导思想 • 杜绝拍脑袋，理论（源码）指导+ 精确测量+ 效果验证 • 内存为王 • 数据访问规律导向，随机数据和顺序数据尽量分离 • 尽量提高IO 的利用率，减少无谓的IO能力浪费 • 在安全性的前提下，尽可能的利用好系统各个层次cache       调优工具 • 源码+emacs+ 大脑 • 必备工具 o systemtap o oprofile o latencytop  o blktrace/btt/seekwatcher o aspersa o tcprstat o sar o gdb  • 自制工具 o bash脚本 o gnuplot 脚本       Agenda 商品库项目背景介绍以及约 技术要求和方案 性能保证 安全性保证 运维保证 优化成果 交流时间 MySQL 数据库   考虑因素： • 主从备份带来的性能影响 • 复杂数据查询操作是否需要预留内存以及上限 • 数据备份dump 对系统的影响，避免系统