MTSC_基于游戏的图像异常AI检测实践_1126.pptx

基于游戏的图像异常AI检测实践 王君乐 腾讯互娱品质管理部Turing Lab图像团队负责人 自我介绍 2012年于法国南特大学获计算机博士学位后，留校任助理教授，从事计算机视觉、图像处理、视觉质量评价相关研究。 2014年离开大学创业，建立了一家专注于图像分类、目标检测的AI算法服务公司。 2018年，回国加入腾讯互娱品质管理部，现任Turing Lab研究员及图像算法团队负责人，探索图像、视觉等AI算法在品质管理领域的落地。 王君乐 腾讯互娱品质管理部Turing Lab 问题与挑战 初期实现：数据，算法与框架 优化与演进 从95%到100%：新的挑战与完整方案的探索 AI与测试提效的思考 分享要点 问题与挑战 游戏画面中的异常检测 异常画面与花屏检测 适配测试（每次top300适配测试图片总量可高达400万张） 目标 基于图像和视觉算法，判断游戏过程中是否出现异常 数据挑战 项目组没有完整保存历史异常图片样本 游戏上线前期，对应的异常样本数量少 画面多样性 类内差异大；类间差异小 Computer graphic image与 natural image 之间的巨大差异 计算资源限制 请求数量大，需要实时反馈 游戏画面中的异常检测 初期尝试 （2017年初） 尝试引入深度学习（2017-2018） 业务验证 （2018-2019） 初期实现：数据，算法与框架 数据 难点 原始数据缺失，样本不平衡 游戏图像特殊性 项目周期短 思路 人工生成训练所需异常样本 数据 基本类型案例 目标 算法生成结果 数据 不规则区域异常 目标 算法生成结果 数据 色彩相关异常 色偏，亮度，鲜艳、饱和度 基于正常游戏图片模拟异常 算法流程 难点 图形学图片和自然图片的巨大差异 游戏场景、特效差异大， 导致分类任务面临类内差大、类间差小的问题 思路 大而全通用方案的方向，如各种大型网络、复杂分类器 难任务拆解为大量小任务： 分游戏、分场景、分异常类型 -> 用小分类器解决复杂问题 算法流程 框架 任务队列 优化与演进 表达能力更强的CNN模型 针对全局性且不宜由规则表述的画面异常 加入针对性算法组 常见、具有通用性或表达形式较单一的异常类型 文字与UI异常检测 新方案 CNN模块 CNN模块 Base model ：任一针对图像分类任务的CNN 移除最末端的全连接层及Softmax层 整个网络仅仅作为特征提取器使用 输入尺寸的修改：例如 224*224 -> 224*384 更好地适应手机屏幕的形状（16：9），避免由于改变aspect ratio对于最终分类结果的影响 Output: 对pooling层的修改 可看做使整个base model 在原图上做了一次1 * N的滑窗操作 Pre-training: 使用了基于ILSVRC-2012-CLS图像分类数据集上预训练好的权重。 快速色块检测 特殊颜色、联通区域检测 UI文字超框检测 针对性算法组 神经网络CNN+GRU(+Attention) 从95%到100%： 新的挑战和完整方案的实现 新的挑战 支持重点项目：对于检测精度有极高要求 背景 核心需求 人工 提效 思路 算法pipeline与人工审核的融合 专门辅助人工审核的算法 局部敏感的图像相似度检测 背景 场景一：纯人工检测的提效 跨设备图像显著差异检测 难点 需要对于局部异常敏感 -> 无法使用全局特征 Cross resolution, cross aspect ratio, cross layout 且画面无法完美同步 -> 无法基于像素进行比对。 注：生成gif时，为方便图片被resize至同样分辨率，图片实际分辨率差异比该gif图中呈现的更大 背景 场景二：“AI + 人工”进行流程提效 时间维度图像去重 难点： 相同场景下，帧之间可能存在大量非bug的局部差异 -> 无法对像素一一比对 例如： 色彩/亮度渐变 物体慢速移动 进度条 物体在小范围内的反复运动等。 我们的方案 线上效果 跨设备显著差异检测 待观测区域减少90%以上，画面异常0误删 时间维度图像去重 对局图片去重可达30%以上，画面异常0误删 最大的难点！ 也是项目落地及业务团队关注的最关键点 整体方案对测试人员提效显著 2000 图片/人/小时 -> 6000图片/人/小时 已落地于个别重点游戏日常DevOps流程 自动游戏AI + WeTest 云真机 图像检测AI + 人工提效算法 + 审核人员 游戏对局总数：3000局以上 游戏时长：30000分钟以上 落地 AI与测试提效的思考 大部分AI的目的：代替人工 ？ 现实：以80%的准确率解决80%的问题 落地的关键 80% -> 95%和95% -> 1