LLM 模型压缩与推理加速实践.pdf

LLM模型压缩与推理

加速实践

QCon2023全球软件开发大会上海站（公开）PPT

小红书中台技术部-推理加速团队负责人/陈磊

LLM模型压缩与推理加速实践

•领域背景

•大语言模型压缩

•推理框架与计算优化

•总结与展望QCon2023全球软件开发大会上海站（公开）PPT

领域背景-LLM推理难点

•巨大的内存/显存需求量•自回归生成过程无法充分并行

对于如下模型和场景：

Llama65B模型

max_batchsize=64

max_input_seq_length=1024

QCon2023全球软件开发大会上海站（公开）PPT

max_output_seq_length=512

类别参数量显存用/GB

Weights12�ℎ^2120

Key/Valuecache4푏�ℎ(�+�)240

巨大的部署代价（高延迟、低吞吐、昂贵的高性能

GPU），

是LLM模型能力在产品中真正落地的拦路虎

领域背景-LLM推理难点

QCon2023全球软件开发大会上海站（公开）PPT

模型压缩-量化原理

•对称量化反量化：•Example:

푄푢��(�)

()푏−1푏−1

=푐�(푟표푢��

∗�푐��,−2+1,−2−1)

2�−1−1

�푐��=,

�=8

표푟

4

alphaQCon2023全球软件开发大会上海站（公开）PPT

()(())

퐷푞푢���=푄푢���/�푐��

()

푀��=�−퐷푞푢��(�)

异常值（outliers）是影响量化误差的重要因素

模型压缩-W8A8量化

•LLM量化难点：

将激活的量化困难“部分转移”给权重

•Activation异常值能达到其他值的100x以上；

•Weight数值分布均衡，容易量化；

•Activation异常值分布基本集中在特定的若干通道；

QCon2023全球软件开发大会上海站（公开）PPT

•SmoothQuant：

�

Y=()∗(�∗�푟�)=X∗�，

p

�푟�

��ℎ�

max(�)

�푟�=1−��ℎ�

max(�)

•��ℎ�=0.5~0.75

�

푔표표

�표푢푔ℎ

푓표푟

표�

표��

•Apply

per-tensor-quant

on

Weight

•Apply

per-tensor/per-token-quant

on

Activation

图片来自smoothquantpaper