B题ATM交易状态特征分析与异常检测论文.doc

ATM 交易状态特征分析与异常检测 摘要 ATM机即基本无人监管的自动化处理机制的金融交易自助服务机，商业银行需要通过总行的数据中心处理系统及时汇总各分行的数据信息来判断某处的ATM交易及是否存在交易异常。 为了能够及时有效的检验出ATM机是否存在异常，本文从交易量，成功率和响应时间这三个指标入手，通过绘制各指标的散点图来分析各个指标的数据特征，再分别提取各自的特征参数，并通过拉依达准则法，阈值划分等方法设计出一套交易状态异常检测方案。 针对问题一，通过spss的Pearson系数法进行相关性检验判断出三个指标并无明显的相关性，只有交易量和时间存在相关性，因此我们对三个指标分别处理求特征参数。首先作图分析了日交易总量与日期的关系，发现除了1月期间，日交易总量相较其他月份数值较高且波动较大，我们猜测是因为春节的影响，在处理时应分别处理。接下来通过作图分析知，除春节外，工作日和非工作日的交易量-时间散点图相似程度很高，因而得出工作日和非工作日不会对交易量产生显著影响。 然后通过作不同日期相同时间的交易量的频数分布直方图，发现除去春节影响其符合正态分布特征，取其平均值和方差作为特征参数；而对于成功率指标，我们作出了成功率-时间（分钟）散点图，发现成功率分布范围较为集中（在0.8到1.0之间），但是相比其他时间成功率的分布，发现23~7点时成功率离散程度较高，明显该时段异常值较多。在未对数据进行处理的情况下若直接求成功率的平均值和方差作为特征参数，这样误差过大，不够精确。于是考虑排除异常值，为了排除异常值，我们考虑使用两次拉依达准则法排除异常值，从而得出了拟合较为集中且已排除部分异常值的数据，再提取其均值和方差偶为特征参数；对于响应时间指标，因为发现响应时间和时间的散点分布与成功率相似，所以我们使用了同样的方法来处理数据，即连续使用两次拉依达准则法排除异常值，再取其均值和方差作为特征参数； 针对问题二，通过问题一已得到各指标的的特征参数。对于交易量的异常检验，先考虑使用作为置信区间，被检测的交易量若在置信区间以外则视为异常；但是因为23-7h平均交易量较小，标准差较大，导致置信区间低于零，会将比较小但显著异常的交易量包含进去，所以我们另外建立了一个新的模型专门检测23-7h的异常值。我们在新的模型中加入一个交易量下限指标，即某时间段交易量正常值最低限度A,检测该时段内交易量低于A的个数超过一个阈值,就判定该时段交易量数据出现异常；而对于成功率和响应时间异常检验，在得到特征参数即均值和标准差的情况下，将在以外的点判断为异常点。在建立了异常检验模型后，对现实各指标数据进行每分钟即时检测，在发现异常值时，立即进行异常检测报警，然后针对异常值对应的指标再确定故障类型。 针对问题三，考虑增加实际各时间异常交易量数量趋势、中央数据处理系统的负载能力、故障的修复时间、每分钟交易金额对应需要耗费的处理时间这四个指标来进行分析。增加对这些指标的考虑能够从更多的角度定位异常值，从而便于判断故障类型。 关键词：相关性分析 Pearson系数法 散点图 拉依达准则法 正态分布 均值 标准差 置信区间 1.问题重述 某商业银行的 ATM 应用系统包括前端和后端两个部分。前端是部署在银行营业部和各自助服务点的 ATM 机(系统),后端是总行数据中心的处理系统。前端的主要功能是和客户直接交互,采集客户请求信息,然后通过网络传输到后端,再进行数据和账务处理。持卡人从前端设备提交查询或转账或取现等业务请求,到后台处理完毕,并将处理结果返回到前端,通知持卡人业务处理最终状态,我们称这样完整的一个流程为一笔交易。 商业银行总行数据中心监控系统为了实时掌握全行的业务状态,每分钟对各分行的交易信息进行汇总统计。汇总信息包括业务量、交易成功率、交易响应时间三个指标,各指标解释如下: 1、业务量:每分钟总共发生的交易总笔数; 2、交易成功率:每分钟交易成功笔数和业务量的比率; 3、交易响应时间:一分钟内每笔交易在后端处理的平均耗时(单 位:毫秒)。 交易数据分布存在以下特征:工作日和非工作日的交易量存在差别;一天内,交易量也存在业务低谷时间段和正常业务时间段。当无交易发生时,交易成功率和交易响应时间指标为空。 商业银行总行数据中心监控系统通过对每家分行的汇总统计信息做数据分析,来捕捉整个前端和后端整体应用系统运行情况以及时发现异常或故障。常见的故障场景包括但不限于如下情形: 1、分行侧网络传输节点故障,前端交易无法上送请求,导致业务量陡降; 2、分行侧参数数据变更或者配置错误,数据中心后端处理失败率增加,影响交易成功率指标; 3、数据中心后端处理系统异常(如操作系统 CPU 负荷过大)引起交易处理缓慢,影响交易响应时间指标; 4、数据中心后端处理