原创力文档- 1、本文档共106页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
DTCC
DM针对大数据量环境下分析型
应用支持方案
大纲
·一种实际案例
·挑战和解决方案
·下一步工作规划
DTCC
DTCC
一种实际案例
案例简介
DTCC
·海量数据
·基于已有硬件投资
–单服务器节点
–操作库和分析库合并
·以查询分析为主，兼顾少量数据维护
硬件与拓扑
千兆互换机
DTCC
应用服务
器
数据汇总
文本
数据
源
文本Excel
数据
数据清洗与入
库
数据库
服务器
P550
Cpux4
Mem32GB
P550
Cpux4
Mem32GB
源
源
16X1TBSAS
RAID5文本数据源数据
文本
数据
源
数据
案例简介-数据
DTCC
·以常规数据为主，重要为数值、字符串、
时间类型
·日增长数据量为约56G，3亿条元组
·当前数据量3TB
·最大单表为计费表，当前约150亿条记录
·数据保存后归档为历史数据
·在线数据规模将超过400TB
典型业务流程
DTCC
–源数据清洗入库
–分析记录型查询
·第一步过滤筛选条件不拟定
·试错式查询分析过程，成功后固化，普通包括20各种环节
·大规模连接查询、子查询、联合查询、数据分组与排序、临
时成果集与暂时表等
·复杂SQL不多，但IO非常大
–寻常数据维护
·手工修改记录内容
·批量删除
·定期维护
案例需求
DTCC
·核心在查询性能
–第一种过滤环节
·筛选字段由顾客随机定义，因而无法使用索引
·普通会得到千万级别成果集
–大量多表连接查询
·数据装载性能
·初始入库48亿条，近1T：限48小时，相称于3万条/s
·后续每3天入库一次，9亿条，168G，限10小时内完毕
DTCC
挑战-核心是性能
原有产品难以支持分析型应用DTCC
·
·
·
·
·
·
·
只支持行式存储
查询优化器比较简陋
虚拟机实现不尽合理
物理存储设计有待优化
日记系统过于复杂
不能充分运用多机资源提高性能
数据分片技术不完善
于开始新一代产品DM7研制
DTCC
实验室原型
技术积累阶段
实现各类原则
持续技术积累
5.6引入物理操作符,虚拟机
6.0引入高档特性和oracle兼容特性
5
DM7
稳定性及功能
与开源系
统有差距
3
DM5.6
4
DM6
对DM4-DM6技
术总结
融合列存储与行
存储
基于向量数据
1
DM1-DM3
2
DM4
执行内核
原生MVCC
OLAP应用支
持
1988-
DM系统研制历程
DM系统研制历程
对于性能理解
DTCC
应用系统
设计
表达式计算
优化器
综合性能
数据/控制权
传递
I/O效率
并发/并行
数据控制权传递-批量技术DTCC
–向量数据解决
–在数据泵一次传送一批数据
–减少控制转移CPU损耗；
–有助于批量表达式计算
老式数据传递
PROJECT
FILTER
一次只传递一条记录
每个操作符一次只解决一
行记录
1
1
1
…
控制权需要重复传递
SCANDTCC
DTCC
向量式数据传递
PROJECT
减少控制权限重复传递
提高CPU有效运用率
FILTER
便于表达式批量计算
SCAN12…N12…N…………
1
2
…
N
1
2
…
N
…
…
…
…
DTCC
DTCC
批量技术-数据入库
DTCC
–将系统初始数据入库
–原有BCP接口达到5000条/s，仍无法满足规定
–改进：
·在服务器端实现批量，减少执行流程中控制跳转
·效率提高８倍
批量技术-全表更新
DTCC
普通
批量
普通批量
绑定
针对大表更
新特定
批量绑定消
息
筹划生成
生成特定计
划，减少执
行流程
单趟扫描一种ID进行
更新，执行20万次
ID进行排序，单趟扫描20
万个ID并进行更新
性能提高100倍以上，控制在2秒以内
批量技术-LIKE谓词
·selectcount(*)fromorderswhere
o_commentnotlike
'%special%requests%‘
DTCC
DBMS‘O’11g:
3.3
DBMS‘S’：10
DM7:
0.4
orders：1,500,000记录
cpu2.2G,多次执行
DTCC
·一种表达式浮现多次
–Selectsum(2*c1)，sum(3*(2*c1))fromt
·只计算一次，成果缓存
–v1=2*c1；
–Selectsum(v1)，sum(3*v1)fromt
·类似思路：中间成果重用
–一种复杂查询在一条s
文档评论（0）