Transformer 特征工程算法测评.docx

正文目录 Transformer 算法 4 算法简介 4 Transformer 工作流程 4 Transformer 特征工程 7 数据采集与处理 7 输入因子构建 7 模型训练 8 训练数据 8 样本划分 8 超参数选取 9 拟合优度 9 实证检验 13 3.1 中证 1000 股票池 13 3.2 中证 500 股票池 14 3.3 沪深 300 股票池 16 全市场股票池 17 Transformer 与其它模型比较 20 结论与展望 20 参考文献 21 风险提示 21 图表目录 图 1： Transformer 框架 4 图 2： Transformer 编码器、解码器结构 5 图 3： Encoders- Decoders 堆叠 5 图 4： Encoder 内部结构 5 图 5： Self-Attension 机制流程 6 图 6： Self-Attension 矩阵运算 6 图 7： Query, key, Value 矩阵运算 6 图 8： Transformer 算法流程图 7 图 9： 三角式位置编码 9 图 10： 位置编码对应损失函数 10 图 11： 位置编码对应多头年化收益 10 图 12： 不同时间步长损失函数（时间步长 T：1, 3, 6） 10 图 13： 不同时间步长多头组合年化收益 10 图 14： 不同 Encoder 层数损失函数 11 图 15： 不同 Encoder 层数多头组合年化收益 11 图 16： 增加 Dropout 前后模型样本内损失函数 11 图 17： 增加 Dropout 前后模型多头年化收益 11 图 18： 本文使用的 Transformer 模型架构 12 图 19： 注意力热度图 12 图 20： 中证 1000 多头组合净值表现 13 图 21： 中证 1000 股票池 Transformer 算法分组测试 13 图 22： 中证 500 多头组合净值表现 14 图 23： 中证 500 股票池 Transformer 算法分组测试 15 图 24： 沪深 300 多头组合净值表现 16 图 25： 沪深 300 股票池 Transformer 算法分组测试 16 图 26： 全市场股票池多空组合净值表现 17 图 27： 全市场股票池多头组合超额收益 18 图 28： 全市场股票池 Transformer 算法分组测试 18 图 29： 全市场股票池 Transformer 打分 IC/IR 19 图 30： 各特征工程算法模型净值对比 20 表 1： 因子池及定义 8 表 2： Transformer 模型超参数选择 9 表 3： 中证 1000 股票池 Transformer 算法分组绩效指标 14 表 4： 中证 500 股票池 Transformer 算法分组绩效指标 15 表 5： 沪深 300 股票池 Transformer 算法分组绩效指标 17 表 6： 全市场股票池 Transformer 算法分组绩效指标 19 Transformer 算法 Transformer 算法通过 ChatGPT 展示出了其在自然语言任务中的强大性能。股票投资场景和自然语言任务有内在相似的地方，比如金融时序任务可以被看作 Seq2Seq 任务，而Transformer 正是该领域的主力算法。因此，本文尝试在股票投资场景探索 Transformer 算法的使用。 算法简介 Transformer 算法是自然语言处理（NLP）任务所流行使用的深度学习模型。它在机器翻译，文本生成等任务中取得了显著的突破，并逐渐成为 NLP 领域的重要模型。为人熟知的 ChatGPT, BERT 等模型的底层算法就是 Transformer。 在此之前，循环神经网络（RNN）和卷积神经网络（CNN）是常用于 NLP 任务的模型。然而，RNN 存在难以并行计算和处理长距离依赖的问题，而 CNN 则对输入序列的长度有限制。这些问题限制了它们在处理长文本序列时的效果。 Transformer 算法通过引入自注意力机制（self-attention）来解决这些问题。自注意力机制允许模型在处理每个位置时，能够同时考虑到输入序列中的其他位置，从而捕捉到更长距离的依赖关系。此外，Transformer 还使用了多头注意力机制（multi-head attention），通过并行计算多个注意力头来提高模型的表达能力。 Transformer 的核心思想是将输入序列映射为多维空间中的表示，然后通过多层的自注意力和前馈神经网络进行信息的传递和变换。最终，通过解码器将表示映射回目标序列， 实现翻译或其他 NLP