大语言模型的低比特计算 戴金权.pdf

大语言模型的低比特计算

QCon2023全球软件开发大会上海站（公开）PPT

戴金权

英特尔院士、大数据技术全球CTO

1

自回归大语言模型(基于Transformer解码器架构）

QCon2023全球软件开发大会上海站（公开）PPT

自回归大语言模型：预测下一个tokenTransformer解码器架构

2

Transformer解码器架构

QCon2023全球软件开发大会上海站（公开）PPT

训练;推理(第一个token/Prefill)

Transformer解码器架构

QCon2023全球软件开发大会上海站（公开）PPT

推理(下一个token/Decode)

4

大语言模型推理和训练瓶颈

内存带宽

计算

QCon2023全球软件开发大会上海站（公开）PPT

显存大小

分布式计算(互联)

5

大语言模型的低比特计算

模型量化/压缩(WxAy)

数据类型(INTx,FPx,NFx)

低比特算子QCon2023全球软件开发大会上海站（公开）PPT

显存使用量

微调(QLoRA,QA-LORA,…)

生态系统(DeepSpeed,vLLM,LangChain,…)

6

BigDL-LLM：轻量级大模型开源加速库

基于英特尔XPU（CPU/GPU）平台的开源大模型加速库

•支持标准PyTorch模型和API

•一两行代码就可以加速现有的应用

•英特尔XPU:Core/Xeon/Arc/Flex/Max,etc.

QCon2023全球软件开发大会上海站（公开）PPT

•模型压缩:llama.cpp/GPTQ/AWQ/bitsandbytes/QLoRA/INC/NNCF/…

•低比特优化:FP4/INT4/NF4/FP8/INT8/…

•模型格式:GGUF/AWQ/GPTQ/…

•低比特微调:QLoRA/QA-LoRA/ReLoRA/…

•PyTorch生态支持:HuggingFace/LangChain/FastChat/vLLM/…

https://g/intel-analytics/BigDL/

7

BigDL-LLM：在Intel笔记本上构建LLM应用

QCon2023全球软件开发大会上海站（公开）PPT