高效且高度可配置的大模型推理引擎与服务.pdf

高效且高度可配置的

大模型推理引擎与服务

QCon2023全球软件开发大会上海站（公开）PPT

史树明

腾讯AILab

2023/12/29

Transformer推理

QCon2023全球软件开发大会上海站（公开）PPT

https://jalammar.github.io/illustrated-transformer/

大模型推理引擎：关键需求及核心技术

推理速度

吞吐率

QCon2023全球软件开发大会上海站（公开）PPT

结果质量

显存/内存占用

易用性/

多模型支持

大模型推理引擎：关键需求及核心技术

高效张量运算Flashdecoding

推理速度

算子融合推测解码(speculativedecoding)

CPU:多线程+SIMD指令并行解码(多token预测)

吞吐率

KV缓存动态批处理(dynamicbatching)

QCon2023全球软件开发大会上海站（公开）PPT

权重量化结果质量按层切分

量化

KV缓存量化按矩阵切分多卡推理

显存/内存占用

混合切分

解码策略

GPU/CPU混合推理易用性/分组查询注意力(GQA)

将KV缓存和embedding矩多模型支持基于原子技术点的组合泛化框架

阵放入内存

Inferflow:高效且高度可配置的大模型推理引擎与服务

高效张量运算Flashdecoding

推理速度

算子融合推测解码(speculativedecoding)

CPU:多线程+SIMD指令并行解码(多token预测)

吞吐率

KV缓存动态批处理(dynamicbatching)

QCon2023全球软件开发大会上海站（公开）PPT

权重量化结果质量按层切分

量化

KV缓存量化