人工智能助力量化投资ChatGLM介绍.docx

一、大语言模型简介 5 （一）大语言模型的原理 6 （二）ChatGLM 的特点 8 二、模型能力测试 10 （一）推理逻辑能力测试 10 （二）总结能力测试 13 三、总结 14 四、风险提示 14 五、参考文献 15 图表 1 中文开源 LLM 项目 5 图表 2 三大类训练方法对比 6 图表 3 GLM 框架 7 图表 4 GPT-3 与 InstructGPT 对比 7 图表 5 ChatGLM-6B 模型特点介绍 8 图表 6 ChatGLM 模型信息抽取示例 9 图表 7 ChatGLM 模型提纲写作示例 9 图表 8 ChatGPT 回答 10 图表 9 GhatGLM 回答 11 图表 10 GhatGPT 回答 11 图表 11 ChatGLM 回答 12 图表 12 GhatGPT 回答 12 图表 13 ChatGLM 回答 13 图表 14 ChatGPT 回答 13 图表 15 ChatGLM 回答 14 一、大语言模型简介 大语言模型（LLM）是一种基于深度学习的自然语言处理技术，它在预训练语言模型(PLM)的基础上发展而来，预训练语言模型以及大语言模型均以Transformer 架构的模型为基础，在大规模语料库上的进行训练。自 GPT-3 模型提出后，研究者发现，当模型参数规模超过一定水平时，模型不仅实现了显著的性能提升，而且还表现出了一些在小规模语言模型中不存在的特殊能力，因此为便于区分，大型语言模型(LLM)一词被专门用于描述具有显著更大规模的预训练语言模型。 自 OpenAI 发布 ChatGPT 以来，大语言模型受到了广泛的关注，将大语言模型应用在商业、科学和金融等领域也将成为可能，越来越多的公司开始提供类似的服务，例如国内的文心一言、讯飞星火等。这些服务允许用户通过 API 接口与大语言模型进行交互，通过自然语言对话的形式获取模型生成的答案。另一方面，开源社区也取得了令人感兴趣的成果，下表统计了截至 2023 年 5 月 31 日在github 上星标大于 3k 的中文开源项目： 图表 1 中文开源 LLM 项目 模型名 介绍 ChatGLM ChatGLM-6B 是一个基于通用语言模型（GLM）框架的开放式双语语言模型，使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优 化，模型拥有 62 亿参数。 Moss MOSS 是一个支持中英双语和多种插件的开源对话语言模型， moss-moon 系列模型具有 160 亿参数，MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 Chinese-LLaMA-Alpaca 在LLaMA 模型的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，中文 Alpaca 模型进一步使用了中文指令数据进行精调，显著提升了模型对指令的理解和 执行能力。 BELLE BELLE 团队在 LLaMA、Bloomz 等开源模型的基础上针对中文做了优 化，在模型调优时使用由 ChatGPT 生产的数据，项目持续开放指令训练数据、相关模型、训练代码、应用场景等。 华驼(HuaTuo) 在 LLaMA-7B 模型的基础上使用中文医学指令精调/指令微调 (Instruct-tuning)。项目通过医学知识图谱和 GPT3.5 API 构建了中文医学指令数据集，提高了 LLaMA 在医疗领域的问答效果。 LaWGPT 基于中文法律知识的大语言模型，在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。 github，整理 从各个开源项目的报告中我们发现，目前开源模型性能表现正在不断提升，但距离 ChatGPT-3.5 仍有一定差距，那么使用开源模型的优势在哪？ 我们从大语言模型使用者的角度考虑，当我们的下游应用需要处理数千甚至数万个请求时，基于 API 的 LLM 服务可能会面临一些问题，例如（1）响应时间长，稳定性受 LLM服务提供者影响。（2）成本高，目前 OpenAI 提供的 API 服务（gpt-3.5-turbo）通过文本的长度进行计费（0.002 美元 / 1K token），日积月累下可能是不小的开销。（3）无法进 行模型订制，可能无法满足特定场景下的需求。 Chen 等人(2023)介绍了一种节约成本的 LLM 服务运用方案，他们提出用户询问大语言的问题难度不一，在较为简单的问题上可以使用廉价的 LLM