基于改进的LSTM算法的时间序列流量预测-《南京信息工程大学学报》(2021年5期).docx

龙源版权所有 基于改进的LSTM算法的时间序列流量预测作者：郭佳丽　邢双云　栾昊　贾艳婷来源：《南京信息工程大学学报》2021年第05期 摘要时间序列流量的预测问题是近年来机器学习的一个热点问题，通过改变长短期记忆网络（LSTM）层数、网络层神经元的个数、网络层之间的连接方式，特殊网络层的应用等网络结构以及优化器和损失函数的选择可以极大地提高预测的精度.本文提出多层LSTM算法，该算法是在传统LSTM算法上进行改进的单一模型，模型设计的复杂度低，可以提高机器学习的效率.模型采用一个输入层、5个隐藏层、1个输出层，同时包含1个全连接层和1个Dropout层，Dropout层的作用是防止机器学习过拟合.选择adam为模型优化器、mlse为模型损失函数、relu作为模型的激活函数.实验结果表明，与传统模型相比，该模型具有较好的泛化能力.关键词时间序列预测;长短期记忆网络;预测精度;泛化能力 中圖分类号TP393.06;TP18 文献标志码A 收稿日期2021-09-11 资助项目国家自然科学基金; 辽宁省“兴辽英才计划”项目（XLYC1907044）; 辽宁省自然科学基金（2020-MS-218）; 辽宁省教育厅重点项目（lnzd202007） 作者简介郭佳丽，女，硕士生，研究方向为机器学习、优化算法.163.com 邢双云（通信作者），女，博士，教授，研究方向为随机控制、采样控制、智能优化控制、随机奇异系统理论等.xsy_angel25@163.com 1沈阳建筑大学 理学院，沈阳，110168 2沈阳建筑大学 教务处，沈阳，110168 0引言 时间序列预测[1-2]是机器学习的一个重要领域，其典型问题有交通流的预测[3]、旅游人数的预测、天气的预测、网络流量的预测[4]等.智能交通系统[5-7]（ITS）被视为缓减交通压力、减少汽车污染物的排放、降低各种交通事故的有效手段.交通流预测性能的提高是当下智能交通系统亟需解决的问题.交通流的预测可分为长时交通流预测和短时交通流预测.长时交通流预测以年、月、日为单位，主要用于道路规划与设计.短时交通流以min为单位，大多小于15 min，主要用于交通控制或作为引导系统的依据.针对交通流量的不确定性、非线性以及规律性弱等特点，已有不同的组合模型来进行交通流量的预测.例如：Du 等[8]提出深度不规则卷积残差LSTM（Long Short-Term Memory，长短期记忆）网络模型，集成了不规则卷积住宅网络和LSTM单元的深度学习框架来学习时空特征用于城市交通客流预测;武佳琪等[9]提出了LSTM和BP算法组合而成的预测道路堵塞时间的智能模型;李磊等[10]提出分时段预测交通流的思想，设计了CNN-LSTM的组合预测模型;Lu等[11]提出了ARIMA-LSTM组合的交通流量预测算法，利用滚动回归ARIMA模型获取交通数据的线性回归特征，再利用反向传播对LSTM网络进行训练，获取交通数据的非线性特征.网络规模的日益增大，应用需求也变得多种多样，网络拥塞、故障等问题接踵而来，因此网络流量预测模型[12]的建立至关重要.黎佳玥等[13]设计了一种LSTM组合预测分类算法对异常流量进行预测，通过训练遭受典型攻击事件的大规模网络流量公共数据集，用以预测来自网络流量信号的典型异常攻击事件出现概率;王海宁等[14] 提出了一个基于LSTM神经网络与传统神经网络的网络流量预测模型，与传统的机器学习的流量预测方法相比，该模型在网络流量预测中具有适用性和较高的精确度. 上述模型均是通过与LSTM人工神经网络组合生成组合模型对时间序列流量进行预测的，但组合模型涉及多个神经网络，所以复杂度高、机器学习效率较低.神经网络层的作用是把输入数据的特征抽象到另一个维度空间，来展现其更抽象化的特征，多个网络层其实是对输入特征多层次的抽象，最终目的是为了更好地线性划分不同类型的数据，所以本文提出多层LSTM算法的单一模型.经由实验验证，与文献[15]传统的LSTM相比，多层LSTM算法具有更优的泛化能力，预测效果更好. 1长短期记忆网络（LSTM） LSTM是一种改进的循环神经网络（Recurrent Neural Network，RNN），它解决了RNN中的梯度消失和长期依赖的问题.LSTM是在RNN的基础上进化而来的.在标准的RNN网络中，循环模块只有一个tanh层，如图1所示. LSTM也有类似的链结构，但是循环模块的结构不同.它有4个神经网络层，以一种特殊的方式相互作用.“门”是LSTM的重要组成部分，门的“开”和“关”决定了历史信息的保留和删除，门的工作原理如图2所示. 2改进的LSTM算法 2-1模型搭建 首先，经过大量的实