人工智能系列分析报告：扩展长短期记忆网络xLSTM.pdf

[Table_Info1][Table_Date]

证券研究报告发布时间：2024-05-15

[Table_Title][Table_Invest]

证券研究报告/金融工程研究报告

扩展长短期记忆网络xLSTM

人工智能系列之三

报告摘要：

沪深300走势图

[Table_Summary]

本篇报告主要介绍了最新的循环伸进网络研究进展——扩展长短期记忆

网络（ExtendedLongShort-TermMemory，xLSTM）。在多年以来的深度

学习研究中，长短期记忆网络（LSTM）因其在处理序列数据中显示出的

卓越性能而受到广泛关注和应用。然而，随着数据量的增加和任务复杂

性的提高，传统的LSTM模型在处理能力和效率上显示出了局限性。

xLSTM模型通过引入指数门控和改进的记忆结构，解决了传统LSTM

的一些核心局限性。

[Table_Report]

相关报告

报告第一部分介绍了传统长短期记忆网络LSTM模型的原理和局限性。《行业指数及成分股价格数据中的行业轮动信

LSTM能够有效解决传统循环神经网络（RNN）面临的梯度消失问题，息》

因此在自然语言处理、语音识别以及其他需要处理时间序列数据的领域-

中扮演了关键角色。然而在大规模语言模型和实时应用场景中，LSTM《上月Beta、波动率、红利因子表现较优》

模型由于并行处理能力不足和记忆能力有限等局限性，其地位受到了采-

用自注意力机制的Transformer架构的挑战。《低波动策略运行环境分析》

-

报告第二部分介绍了扩展长短期记忆网络xLSTM模型的原理，以及相《债基回报持续上行，杠杆下调》

比于原版LSTM的改进与优势。xLSTM包括两种新的记忆单元：sLSTM-

和mLSTM，分别采用标量和矩阵形式的记忆。这些新单元通过指数门《2024年一季度公募主动权益基金持仓解析》

控提供了改进的记忆和更新机制，增强了模型的性能和并行化能力。