华为盘古大模型相关梳理.pptx

核心观点：今年以来，以GPT为代表的预训练大模型引发技术和商业的热潮。展望国内大模型，我们认为华为在该领域积累深厚，有望 快速实现商业化。复盘华为盘古大模型发展，其基础大模型、行业大模型、细分场景模型已经在不同领域率先取得成功，并带动产业链 相关公司。我们认为，华为是国内在芯片算力、模型算法、应用场景等多个环节具有完整布局的头部公司，具备优秀的大模型研发与应 用能力，推荐重点关注其盘古大模型的研发、应用进展及相关产业链的投资机遇。 华为云团队于2020 年立项AI 大模型，并且于2021 年4 月发布“盘古大模型”。自“盘古大模型”发布以来，已经发展出L0、L1、L2 三大阶段的成熟体系持续进化。所谓L0是指NLP大模型、CV大模型等五大水平领域的基础大模型；而L1指行业大模型，比如气象、矿 山、电力等行；L2指面向各行业中细分场景的模型，比如电力行业的无人机巡检。 基础大模型研发与迭代能力强劲，持续创新推动大模型发展。NLP大模型方面，以鹏城实验室为首的联合团队在模型设计、语料库训 练、分布式训练等方面进行创新，推出全球首个全开源2000亿参数的自回归中文预训练语言大模型——鹏程·盘古，并探索迭代语言大 模型在具体下游场景中的应用优化，可以基于更小规模的模型满足具体场景的应用需求。而在CV和多模态大模型方面，华为的相关研 究人员也在模型结构设计、数据集丰富等层面持续创新，是引领引领大模型不断发展的重要中国力量。 多行业、多场景成功验证模型能力，商业化落地效果强于GPT-3。目前盘古预训练大模型能力已经在包括能源、零售、金融、工业等 领域得到验证。例如，在电力领域，可做到一个模型适配上百种缺陷，一个模型就可以替代厂商原先的 20 多个小模型，极大减少了模 型维护成本，平均精度提升 18.4%，模型开发成本降低 90%。同时盘古NLP大模型通过迁移学习实现少样本学习的目标，将 P-tuning等 最新技术融入到盘古的微调框架中，并通过庞大的行业知识库进行训练，使其更适合在复杂商用场景下的应用能力强于GPT-3。 盘古NLP大模型带动产业链公司。华为大模型在昇腾硬件、云端AI服务、??山大模型等各方面积极拓展合作伙伴，推荐重点关注其盘 古大模型的研发、应用进展及相关产业链的投资机遇。;目录;1.1 盘古大模型：深耕行业应用;1.2 L0：盘古NLP大模型：中文理解和下游应用能力优异;1.3 L0：鹏程·盘古NLP大模型：全球首个开源的2000亿参数的中文大模型;1.4 L0：鹏程·盘古NLP大模型：针对下游应用优化，让落地成为可能;1.5 L0：盘古CV大模型：整合三大功能，应用效果佳;1.6 L0: CV领域研究进展：PyramidTNT优化视觉领域Transformer应用;1.7 L0：多模态领域研究进展：从模型设计和数据集层面推进多模态大模型发展;1.8 L1：气象大模型：业内首个精度超过传统数值预报方法的气象预测模型;1.9 L1：矿山大模型： 盘活工业数据，助力矿山行业显著实现降本增效;1.10 L1：药物分子大模型：开启AI药物研发新模式;1.11 L2： OCR金融大模型： 覆盖通用文字识别场景;1.12 昇思MindSpore：全场景深度学习框架，助力国产大模型发展;目录;华为在昇腾硬件、云端侧AI实施服务方面与神州数码、中科创达等多家公司达成合作。;2.2 华为相关标的：矿山大模型;华为在工业CV大模型、AI+OCR大模型实施方面与能科科技、赛意信息、神州信息等多家公司达成合作。;风险提示