大语言模型提示注入攻击安全风险分析报告-大数据协同安全技术国家工程研究中心-2023.7.6-55页.pdf

安全大脑国家新一代人工智能开放创新平台 大语言模型提示注入攻击安全 风险分析报告 大数据协同安全技术国家工程研究中心 2023 年 7 月 6 日 版权声明 本报告版权属于大数据协同安全技术国家工程研究中心，项 目成果属于“安全大脑国家新一代人工智能开放创新平台” ， 受法律保护。转载、摘编或利用其他方式使用本报告文字或 观点的，应注明“来源：大数据协同安全技术国家工程研究中 心安全大脑国家新一代人工智能开放创新平台” 。违反上述声 明者，编者将追究其相关法律责任。 编写单位及部门 大数据协同安全技术国家工程研究中心 AI 安全实验室 安全大脑国家新一代人工智能开放创新平台项目组 编写组成员 邹权臣、张德岳、杨东东、韩东、徐昌凯 目录 1. 引言 1 2. 提示与提示学习3 2.1 提示的概念 3 2.2 提示学习的概念 6 3. 提示注入攻击7 3.1 直接提示注入 7 3.1.1 目标劫持7 3.1.2 提示泄露9 3.1.3 越狱攻击 11 3.2 间接提示注入 15 4. 提示注入防御 19 4.1 输入侧防御 19 4.1.1 提示过滤 19 4.1.2 提示增强22 4.2 输出侧防御 27 4.2.1 内容审核过滤27 5. 测评数据集构建30 5.1 基础数据集构建 30 5.1.1 越狱攻击验证数据集30 5.1.2 目标劫持验证数据集32 5.1.3 提示泄露验证数据集33 5.2 测评数据集生成 35 5.2.1 恶意问题数据生成35 5.2.2 恶意指令数据生成36 5.2.3 测评数据有效性验证37 6. 实验评估39 6.1 实验设置 39 6.1.1 模型设置39 6.1.2 数据设置40 6.2 提示注入攻击风险测评 40 6.2.1 不同攻击类别的攻击成功率40 6.2.2 不同问题类别的攻击成功率41 6.3 提示注入防御性能测评 42 6.3.1 基于提示增强的防御性能测评42 6.3.2 基于模型检测的防御性能测评44 7. 总结与展望45 参考文献47 1. 引言 近期，基于Transformer 的大语言模型（Large Language Model ，LLM ）研究 取得了一系列突破性进展，模型参数量已经突破千亿级别，并在人类语言相似文 本生成方面有了卓越的表现。目前已有多个商业化大模型发布，如OpenAI 推出 [1-3] [4] [5] [6] 的GPT 系列 、Google 推出的T5 和PaLM ，以及Meta 推出的OPT 等大语 言模型等。特别是OpenAI 推出ChatGPT[7] ，由于其强大的理解与生成能力，在 短短 2 个月内突破了 1 亿用户量，成为史上用户增长速度最快的消费级应用程 序。为了应对市场冲击，谷歌也推出了BARD 聊天机器人，Meta 则开源了LLaMA [8] 模型 。国内各大企业、高校和研究机构也纷纷进入大模型领域，推出了一系列 [9] [10] [11] [12] 对话大模型，包括百度文心一言 、360 智脑 、讯飞星火 、商汤商量 、阿 [13] [14] [15] [16] 里通义千问 、智源悟道 、复旦MOSS 、清华ChatGLM 等。 大语言模型正在各个应用领域引起巨大的变革，并已经在搜索、金融、办公、 安全、教育、游戏、电商