构建云原生的端到端生成式 AI 应用.pdf

构建云原生的端到端

生成式AI应用

QCon2023全球软件开发大会上海站（公开）PPT

亚马逊云科技解决方案架构师/肖元君

议程

•大模型推理面临的挑战

•通过AmazonSageMaker和AmazonBedrock降低大模型推理复杂度

•构建端到端的生成式AI应用与Demo演示

QCon2023全球软件开发大会上海站（公开）PPT

大模型推理面临的挑战

复杂性性能成本

模型体量大模型编译模型编译

QCon2023全球软件开发大会上海站（公开）PPT

模型并行模型压缩模型托管成本

模型serving延迟运营开销

基础设施设置吞吐量待部署和管理的模型数量

可用性

模型多卡并行推理方式

QCon2023全球软件开发大会上海站（公开）PPT

Tensorparallel–IntralayerPipelineparallelism–Interlayer

模型压缩

•模型Pruning

•模型蒸馏

•模型量化（BitsandBytes，GPTQ，SmoothQuant）

QCon2023全球软件开发大会上海站（公开）PPT

PruningDistillation

Attention层计算优化

QCon2023全球软件开发大会上海站（公开）PPT

FlashAttention

PageAttention

ContinuousBatching

QCon2023全球软件开发大会上海站（公开）PPT

LLM推理优化框架

•DeepSpeedinference•HuggingFaceAccelerate

•模型量化•PP

•TensorParallel•模型量化

•MoE推理（模型蒸馏）

•HuggingFaceTGI•TensorRT-LLM

•TP

•Attention计算优化（FlashAttentionandPagedAttention）

•Continuousbatching

QCon2023全球软件开发大会上海站（公开）PPT

•模型量化

•NvidiaFasterTransformer

•模型压缩

•TP/PP

•模型量化

•vLLM

•TP

•Continuousbatching

•P