基于NLP和神经网络的用户反馈智能检测技术及系统实践.pdf

基于NLP和神经⽹络的 ⽤户反馈智能检测技术 及系统实践 目录 个人经历 前言 背景 ⽤户反馈智能检测技术及系统实践 总结 个人经历 万明阳 公司：字节跳动-互娱研发-质量保障研发效能团队-算法专家 履历：曾就职于腾讯等互联⽹公司 工作：主要从事客服中台算法赋能体系构建，国际化业务视频图像低质检测和理解， 时序预测与降噪技术等方面算法实践 。 个人经历 ⻢国俊 公司：字节跳动-互娱研发-影像质量保障团队、研发效能团队负责人 履历：先后就职于腾讯、百度等互联⽹公司 工作：主要从事工程效能&质量保障领域相关⼯作，效能工程服务化、机器学习算法 评估与应用研究、质量保障团队管理等。 前言 靳东+抖音+中年大妈=? + + 前言 假靳东事件 黑灰产 前言 客诉外溢扩散趋势 离线反馈+IM 举报 舆情 背景 字节跳动作为全球日活超7亿(截至2019年7月)的互联网公司，产品收到了大量的用 户反馈，如何快速识别用户意图、挖掘用户反馈价值是十分必要的。 痛点 Ø 无效反馈占大多数 Ø 用户选择标签准确率较低 Ø 人工打标耗时、积压 Ø 用户体验较差 Ø 反馈渠道隔离 目录 个人经历 前言 背景 ⽤户反馈智能检测技术及系统实践 总结 解决方案 引入NLP和神经网络算法，通过分类、聚类和时序预测等算法实现用户反馈智能检测。 • 快速理解用户意图 准召 识别 • 及时发现新的热点反馈 发现 收益 • 准确监控反馈量级和内容 人效 时效 监控 是否异常 核心能力—基于NLP分类的标签和关键词告警 ES 分类模型 用户 更新 处理 提审/发布 修复 工单 告警策略 语义泛化匹配 关键词 预测结果 核心能力—基于人工纠偏的模型校准 ES 分类模型 AML训练平台 用户 更新 处理 提审/发布 修复 工单 告警策略 语义泛化匹配 关键词 预测结果 人工纠偏(if any) 核心能力—基于人工纠偏的模型校准 Ø 模型预测：通过NLP分类多级标签 Ø 人工纠偏：通过运营Check预测结果 Ø 报表统计：统计并可视化模型准召 Ø 在线更新：模型在线例行化更新 Ø 准召监控：对准召突降的指标进行重 点优化 核心能力—基于聚类的热点问题发掘以及告警 分类模型 ES