LLM 训练推理加速在阿里巴巴的实践.pdf

LLM训练推理加速

在阿里巴巴的实践

杨斯然/刘侃QCon2023全球软件开发大会上海站（公开）PPT

大语言模型训练和Megatron-LLaMA框架

•大语言模型训练的过程

•大语言模型训练的算法和问题

•大语言模型中的模型并行

QCon2023全球软件开发大会上海站（公开）PPT

•Megatron-LLaMA框架的计算和通信并行

•Megatron-LLaMA框架的3D并行调优

•Megatron-LLaMA框架应用到LLaMA模型中

•小结

大语言模型的应用

QCon2023全球软件开发大会上海站（公开）PPT

大语言模型：训练过程

预训练有监督微调强化学习

QCon2023全球软件开发大会上海站（公开）PPT

文本标注数据人工反馈

数万亿token数万prompt/response

上百万GPU小时

大语言模型训练：算法和问题

样本样本

模型GPUGPU

3.模型更新1.梯度计算QCon2023全球软件开发大会上海站（公开）PPT

梯度梯度

2.梯度同步DeepSpeed：ZeRO优化器

1.优化状态切分到数据并行的各个rank上

需求限制

13B模型：156GB2.部分通信和梯度计算并行

模型存储显存容量：80GB

65B模型：780GB3.激活重算，节省梯度计算过程显存

13B模型：52GB

梯度同步网络带宽：100GB/s

65B模型：260GB

大语言模型训练：模型并行

QCon2023全球软件开发大会上海站（公开）PPT

Megatron-LM：3D模型并行

参考文献：1.MLP层和Attention层切分到多张卡上，通常用NVLink互联

1.Megatron-LM:TrainingMulti-BillionParameterLanguageModelsUsingModelParallelism

2.EfficientLarge-ScaleLanguageModelTrainingonGPUClustersUsingMegatron-LM2.模型的分为多个Stage，切分到多台机器上3.分布式优化器

Megatron-LLaMA框架：计算通信并行

FWBWFWBWFWBWFWBWReduceAdamAllgather