APP端侧数据智能化测试实践-稿3 - 复件_1208.pptx

APP端侧数据智能化测试实践 程召（天道） 2019.12 厂商 阿里巴巴AliExpress介绍 AliExpress，即“全球速卖通” 阿里巴巴国际化排头兵，是服务于海外用户的跨境电商平台，全球买家数超1.5亿 AliExpress技术质量团队，是一支国际化的质量保障团队，跨杭州、深圳、俄罗斯、西班牙四地办公，我们目标是“打造全球领先的智能化技术质量团队” 2 APP适配测试 1 基于数据智能化的 分层测试实践 目录 数据 银行 监控 体系 设备 管理 埋点 平台 运维APP 过程质量 PMO 质量效能文化 打包 平台 质量 目标 质量 策略 & 无线 平台 主干用例 功能测试 灰度机制 验收测试 UI 分层自动化 接口 单元测试 适配 APP专项 网络 多语言 性能 55318 安全 多币种 请求系列 APP mock 埋点自动化 快速适配 适配Monkey 深度遍历 稳定性适配 真机租用 真机远程 H5适配 多机同步 Debug工具 辅助工具 包管理 发布记录 质量 基建 用例库 测试环境 无线 机房 自动化平台 线上质量 监控 客户质量 结果质量 APP版本质量 核心项目质量 数据智能测试 SDK测试 APP质量保障体系 厂商 无线适配：设备碎片化 厂商 无线适配：需要解决的问题 高效的覆盖更多的场景， 发现更多有效crash 收集 解决 验证 发现 Monkey 厂商 Monkey策略演进 厂商 Monkey3.0实现原理 AccessibilityNodeInfo主要方法 getBoundsInScreen (Rect outBounds) getViewIdResourceName() getClassName() isClickable() isScrollable() isLongClickable() 厂商 Monkey3.0实现原理 厂商 Monkey3.0实现原理 使用Accessibility替代坐标事件，提升事件注入效率 解析App权限并赋权，防止因权限申请失败而影响测试 接入监测App进程状态，发现跳出App立即切回 接入ActivityController，增加黑名单功能，加强Monkey自控能力 厂商 Monkey3.0效果对比 对比 Monkey1.0 Monkey2.0 Monkey3.0 Activity覆盖率 59.35% 81.59% Crash/leaks 18 66 App进程监控 NO YES YES 支持精准点击 NO YES YES 黑名单监控 NO YES YES 权限处理 NO NO YES 设备稳定性 ☆ ☆☆☆☆ ☆☆☆☆☆ 可拓展性 YES NO YES 支持平台 全版本 Android 5.0+ 全版本 2 APP适配测试 1 基于数据智能化的 分层测试实践 目录 测试数据 传统数据 新数据 性能数据 DB增删改数据 用户行为数据 请求数据 多语言，多币种 Crash数据 测试用例 包信息 源代码 认识数据，为我所用 账号 商品数据 订单数据 。。。 账号 商品数据 订单数据 。。。 账号 商品数据 订单数据 。。。 功能测试 性能测试 传统数据的使用 线上数据 线下数据 Monkey 手工测试 UI自动化 埋点数据 用户行为数据 请求数据 性能数据 Crash路径 intent数据 专项测试 多语言文案 二三方依赖 Activity 包大小 包权限 协议 包文件diff 包分析 包大小diff 多语言检测 专项工具集 发布包日志分析 包权限diff 发布包验证 请求系列 全链路压测场景划分 采集 渠道 源数据 专项 场景 个性化 源码 静态数据 APK Monkey 精准升级 APP注入 测试策略 买家画像 网关 Crash平台 埋点平台 多语言平台 源码分析 文案diff 依赖分析 请求回放 场景回放 请求对比 APP mock 新数据使用思路-APP端侧数据智能化测试 应用分析：包大小对比 应用分析：包文件对比 应用分析：原始文案对比 应用分析：依赖分析对比 APP客户端 测试模式 垂直化测试模式 分端测试模式 问题 项目测试中，约定好了服务端联调、发布时间，服务端del