DFQ强化学习因子组合挖掘系统分析报告.pdf

金融工程 | 专题报告 报告发布日期 2023 年08 月17 日 DFQ 强化学习因子组合挖掘系统 ——因子选股系列之九十五 研究结论 ⚫ 传统的Alpha 模型往往单独挖掘每个因子，在挖掘过程中只关注每个因子自身的选 股效力，忽略了单因子在应用中的组合需求。实际上我们更关注的是可以协同工作 并产生综合效果的因子组合。 ⚫ 本文展示了一种新的因子组合挖掘框架，直接使用因子组合的表现来优化一个强化 学习因子生成器，最终生成的是一组公式因子集合，这些因子协同使用具有较高的 选股效力。这样做既能保留遗传规划算法公式化的优势，也能提升模型泛化能力， 适应多种股票池，还能大幅提升运算效率。 ⚫ 基于强化学习的因子组合生成模型，由两部分组成：1) Alpha 因子生成器：使用 Maskable PPO 模型生成动作，并以token 序列的形式生成公式化的Alpha 因子。 2) Alpha 因子组合模型：组合Alpha 因子，并给出奖励信号。这两部分互相依赖： UMR2.0——风险溢价视角下的动量反转 2023-07-13 因子生成器通过生成新因子提高因子组合的性能。因子组合模型的性能作为奖励信 统一框架再升级：——因子选股系列之九 号来优化因子生成器。通过不断重复此交互过程，提升因子组合的选股效力。 十四 ⚫ DFQ 强化学习模型分别在沪深300、中证500、中证1000 指数成分股内进行训练 集成模型在量价特征中的应用：——因子 2023-07-01 测试。采用2015.1.1-2018.12.31 的数据作为训练集，2019.1.1-2019.12.31 为验证 选股系列之九十三 基于时点动量的因子轮动：——因子选股 2023-06-28 集。2020.1.1-2023.6.30 为测试集。挖掘月频因子，考察因子预测未来20 天股票收 系列之九十二 益时的表现。对于每个股票池的预测模型，选取5 个不同的随机种子训练5 个模 基于循环神经网络的多频率因子挖掘：— 2023-06-06 型，将5 个模型的合成因子值结果取平均作为最终模型的输出。 —因子选股系列之九十一 ⚫ DFQ 强化学习因子明显优于人工因子和遗传规划因子，在三个股票池中都有很强的 DFQ 遗传规划价量因子挖掘系统：——因 2023-05-28 子选股系列之九十 选股效力，市值偏向性低。在沪深300 股票池中，测试集上rankic 接近8% ， 分析师情感调整分数 ASAS ：——因子选 2023-03-28 RANKICIR 接近 1 （未年化），5 分组多头年化超额收益接近 15%。在中证500 股 股系列之八十九 票池中，测试集上rankic 达到8.5% ，RANKICIR 达到1.15 （未年化），5 分组多头 基于偏股型基金指数的增强方案：——因 2023-03-06 年化超额收益达到8.22% 。在中证1000 股票池中，测试集上