MindSpore超大规模AI技术及在Transformer和推荐大模型中的应用.pdfVIP

昇思MindSpore超大规模AI技术 - Transformer和推荐大模型中的应用 苏腾 华为昇思MindSpore副首席专家 目 录 1. 大模型的发展趋势和挑战 2. 昇思MindSpore的解决方案和实践 • 大模型分布式并行训练推理关键技术 • Transformer类大模型训练实践 • 推荐大模型训练实践 • 自动化并行策略搜索 3. 昇思MindSpore大模型生态建设 模型增长与算力增长的剪刀差 如何解决模型的 “摩尔定律”与算力的 “摩尔定律”不匹配的问题 模型向多模态多任务演进 ，趋向 “One Model, One Brain” • 算力需求增长万倍 ： • 模型规模增长万倍 ； • 数据量增长百倍 ； • 芯片算力只增长了十倍 ； 大集群训练大模型的挑战 解决方案 内存墙 ：2000亿参数模型 ，参数内存 占用745GB内存 ，训练过程需要 3500GB+内存 （参数 +激活 +梯度 +优化器状态），一个模型需要128张卡才 能放下。 • Scale out ：多维混合并行 （数据并行、 模型并行、流水并行、MoE并行、优 性能墙 ：大模型切分到集群后 ，通信成了主要的性能瓶颈 ，综合考虑参数 化器并行、多实例并行） 量、计算量、计算类型、集群带宽拓扑和样本数量等才能设计出性能较优的并 • Scale up ：多维内存优化 （内存复用、 行切分策略； 重计算、异构并行CPU Offload、 Tensor Swap、NVMe Offload）， 图算融合 效率墙 ：算法的分布式并行开发一直并行计算领域的一大难题 ，如何让用 户高效编写分布式并行的代码 ，一直是各种框架的一个研究重点及难点 ，包 括从HPC到大数据 ，到现在的超大规模AI。HPC有MPI编程范式 ，大数据有 • 手工并行半 自动并行自动并行 MapReduce编程范式 ，而超大规模AI需要怎样的编程范式？ 调优墙 ：在数千节点集群上 ，要保证计算的正确性/性能/可用性 ，手工难以 全面兼顾。 • 可视化集群调试调优、弹性分布式训练 MindSpore上的典型Transformer大模型 1. 鹏程盘古NLP 2. 鹏程神农蛋白质结构 3. 华为云盘古NLP 4. 中科