599
随着行业内针对智能客户服务的要求运营质量展现出爆发式提高，为了提升客户服务感知、解决“场景服务碎片化、效率低下”等问题，天津公司打造了语音认知分析系统“青鸢”，面向分析、推荐、维系、预测四大场景进行应用，致力建设“大数据+AI”协同的服务运营体系，实现AI中台驱动的客户服务精准运营。
团队介绍
△赵东明，项目负责人，博士，浙江大学博士后，中国移动AI中台专家/“高层次”专家/IT高级专家，天津移动AI实验室负责人，累计获得119项科技奖励及荣誉，16项发明专利，30余篇高水平论文，负责产品的语音情感、认知图谱研发、算法研究。
△田雷，技术负责人，北大数学系硕士，天津中心大数据架构专家，积累了大量数据仓库和大数据平台的系统架构、数据模型、需求开发的先进经验，负责产品的大数据仓库算法、大数据支撑工作。
△陈晨，大数据架构师，北京交通大学硕士，大数据专家，长期钻研客户需求深度挖掘，基于AI算法促进存量客户价值循环升档研究，负责产品的满意度预测机器学习算法及工程实现。
△石理，算法工程师，南开大学硕士，集团AI中台专家，在人工智能、计算机视觉、机器学习方面具有较丰富的研发经验，负责产品的基础平台支撑和应用拓展。
△孙武，数据工程师，硕士，大数据专家，负责产品交互界面的设计、开发，以及大数据+AI模型的标准、运营和优化。
1、项目背景
客户服务的场景化运营质量与维系、服务的措施息息相关，为了解决中国移动“运营场景碎片化、策略简单、效率低、服务方式过于被动化”的痛点，急需引入大数据、智能语音和知识图谱能力，跟踪客户语音情感变化、异动变化、满意度变化，构建智能语音认知分析系统，实现“面向场景、面向需求、面向情感”的服务运营体系。同时，中国移动积累了大量客户服务数据（10086语音、外呼语音、投诉工单、在线服务记录、服务标签），投诉数据价值挖掘的方面存在不足。通过挖掘投诉语音文件的价值，并基于识别的客户情绪、语义信息等为运营提供决策支持，可提前获知客户的潜在不满意倾向/离网倾向，可以持续提升中国移动的服务体验。
为了持续提升客户服务感知，天津公司人工智能实验室在集团智慧中台战略指导下，基于集团九天AI平台的算力、算法能力，打造了以精益服务、存量保拓为目标的语音情感认知分析系统“青鸾”，重点建设智能语音情感分析、文本语义挖掘、满意度预测、认知图谱推理四个方面的AI能力，典型场景定位为存量运营、满意度提升、感知监控，客户体验分析等，覆盖服务、无线、资费、家宽、存量、价值等场景，有效推动“大数据+AI”协同的服务运营体系的建设。
2、系统功能
智能语音情感认知分析系统命名为“青鸾”，是山海经中代表吉祥如意的神鸟，其意为“鸾音鹤信”，名字取自罗隐的著名唐诗“鸾音鹤信杳难回，凤驾龙车早晚来”，寓意是打造语音情感AI能力，给客户“仙境般”的服务体验。“青鸾”系统基于海量热线语音数据进行智能情感分析，输出关键标签和结构化情感分类，生成个性化语音理解分析报告，以日报月报、智能大屏、分析图表、专题报告等方式呈现给运营服务管理人员，提供语音结构化检索、情感语义理解、认知方案生成、业务运营决策辅助等能力，提供接口、租户两种赋能方式，面向分析、推荐、维系、预测四大类场景进行应用，并通过数据可视化运营分析界面方式进行展示。
“青鸾”智能语音情感认知分析系统主要有四大功能域：
智能语音情感能力分析：基于在线10086每日15万条语音数据、投诉外呼语音每日600条条等，构建多模态语音情感分类模型，提供“情感分类、情感量化、情感分析报告”能力。
语音转写文本挖掘分析：基于集团科大讯飞ASR的语音转写文本，打造篇章段落分析、深度语义理解、核心语义提取、自动分析报告等AI模型。
认知图谱满意度预测：融合资费、无线、家宽等全域服务数据，构建认知图谱引擎，以种子用户链接全量用户，精准预测用户的潜在投诉/不满意概率，对接IOP实现客群输出。
可视化服务运营管理：以分布图、趋势图、地图等方式进行可视化展示，体现底层AI和大数据能力，支撑运营人员快速完成查询、下载、任务执行。
（1）技术架构
“青鸾”系统架构自底向上为：基础数据层、数据预处理层、情感/语义理解层、能力输出层、应用层。存储层将从投诉语音及相关标签记录进行统一存储；数据预处理层对语音进行预处理，提取多模态信息特征并初步进行段落分配；情感语义理解层主要将语音进行精细化的情感及语义分析，理解用户的意图；能力输出层将情感语义能力进行统一开放，包括URL页面嵌入开放及接口开放；应用层通过对接前端业务系统，场景赋能。
（2）系统构建
“青鸾”语音情感分析系统打造了“要素-引擎-能力-场景”系统构建方式，实现了数据融通，汇聚了10086热线呼入语音、10088热线外呼语音、大数据标签库、经分资料库、评测数据、历史工单数据等，对接集团统一AI平台的讯飞ASR进行语音转写，打造语音情感、文本挖掘系列AI能力，实现了“要素-引擎-能力-场景”的系统构建新方式。
（3）主体流程
“青鸾”语音情感分析系统主体流程：数据处理、篇章段落分析、特征提取及对齐、情感及语义理解、结果输出五大步骤。首先获取用户语音文件及相应会话记录，对语音进行转文字处理，然后将文本按照篇章段落进行语义划分，提取子段落的音频及文本特征，实现情感及语义的深度理解，最终生成分析报告、维系策略，辅助客服服务和存量运营。语音识别利用集团ASR能力，语音情感建模基于集团九天AI平台能力，数据来源于梧桐大数据+省公司系统。
3、应用场景实例
（1）面向热线语音的情感分析和情感修补
针对10086热线呼入、10088呼出及网络投诉处理外呼的语音，“青鸾”基于独创的多模态信息处理技术实现语音情感分类及情感强度量化，以实时和离线两种模式对外开放能力，实时接口对外提供“情感分类、情感量化”服务，离线接口提供“情感分析报告”能力。省公司、分公司、网格的服务运营人员，通过用户的情绪波动，分析服务质量，主动进行客户情感修补和存量维系，并适时地进行热点业务推荐。
（2）深度理解语音场景，提供情感分析报告
“青鸾”通过对语音的深度理解分析，实现对语音的结构化梳理，对整篇热线语音细分为若干语义段落：用户提出问题、客服给出解答、沟通交流、最终反馈等，生成详细的情感曲线、情绪强度及语义要素的分析报告，支持对语音进行在线播放，辅助客服人员进行运营决策。
（3）构建客户服务认知视图，深挖不满原因
“青鸾”融合用户、产品、行为、语音、投诉等全域客服数据，形成客户服务认知图谱体系，基于热线语音蕴含的新对服务过程进行认知推理。认知图谱以“客户本体-关系-属性实体”方式构建，链接全量用户，精准感知每名客户的诉求，基于现有投诉/不满意客户的属性智能推理其他用户的潜在投诉/不满意概率。
（4）智能识别特殊事件，构建客户感知体系
“青鸾”为省公司服务运营人员提供热线服务数据中发现特殊事件的能力，以针对热点、突发、异动事件进行发现、筛选、分析、监控。针对多模态数据（语音情感、语音转文本、投诉文本）进行综合根因分析，情感+语义实现服事件主题的自动监控。通过热线数据的深入挖掘，以及对客户进行情感、语义、服务质量等层面的感知识别，构建客户真实感知体系，帮助服务满意度提升。
（5）打造满意度预测功能，解决服务难点
“青鸾”接入B域的全量大数据标签数据，省公司客响中心提供的家宽用户感知探测数据，以及省公司无线中心提供的无线网络异常感知数据，具备BOM三域融通的数据基础，基于认知图谱技术，打造了全场景、多功能域的满意度预测体系。根据用户资费、家宽、集客等资费使用情况，以种子用户推理全量用户的业务满意度情况，预估全量非沉默用户对业务、服务、资费的满意度。系统以可视化方式输出，并给出具体的不满意原因，帮助分公司、网格的服务运营人员针对性做好用户服务和精准营销。
4、重点AI能力
（1）多模态语音情感分类能力
针对10086呼入（日均15万条）、10088外呼（日均2000条）及转写的文本，将声音特征和文本特征进行综合分析，通过监督模型的标注数据训练，实现情感的分类预测。模型架构考虑尽可能地纳入更多特征，并使用attention网络进行特征对齐，最终多模态情感分类的负面情绪（厌恶、生气、愤怒）精度达81%，业界领先。
（2）语音对话文本分析能力
针对10086语音转写的非结构化文本进行语义解析，提取重点句、核心词、情感，智能生成长文本摘要，并将整体沟通过程划分为多个段落，每个段落生成精细化标签，减轻运营人员听取录音的压力，提升运营效率。模型对坐席和用户的沟通文本进行分析，输出重点句、关键词、摘要、篇章段落等分析结果，人工校验的准确率为80%。
（3）认知图谱语义推理能力
以“场景-原因概念-基本概念-原子”架构实现知识图谱架构升级，面向离网预警、满意度预测、指标分析等场景提供可理解、可解释的运营策略。认知图谱包含面向用户问题的现象层（现象标签），面向运营场景的原因概念层（概念标签），基本概念层（特性），原子层（原子标签），运营策略库。纳入全量大数据标签、家宽感知标签，形成百亿级推荐链路的认知大脑，实现一套系统支撑存量、服务、运营全场景，面向权益、换机、升档、在网等提供AI核心计算引擎，提升推荐成功率，增强推荐理由的可读性，整体推进准确率达90%。
5、应用和推广
“青鸾”系统于2021年1月20日正式上线，已实现面向天津公司900万用户的语音情感监测评估，纳入每日15万条10086热线语音、每日1.1万条10088外呼语音，以及累计10.9万条家宽投诉外呼语音，实现全量语音数据的服务感知闭环管理，及时发现潜在不满情况，给予情感修补和维系。
基于认知图谱技术，每月输出90万资费潜在不满意客户群，自2020年11月以来累计输出307万。基于客响中心日同步的全量130万用户家宽感知特征数据，每日输出9.1万家宽潜在不满意客户群及原因分布。基于无线中心潜在网络不满意用户，对5.2万无线不满意客户进行原因挖掘并可视化展示。每日可挖掘到服务异常事件120余次，每日识别的语音负面情感用户达1.6万户。
“青鸾”系统已在天津客服领域推广试用，已实现入驻集团九天AI平台的“AI超市”，以能力和应用案例两种方式对外赋能，支持一点支撑全网，同批次共上架7项AI能力和3项AI案例，已和江西公司达成智能语音系统研发合作意向，共同进行10088外呼语音质检、10088外呼营销质量评测等场景的推广。
“青鸾”为天津公司首创的基于智能语音技术的智慧服务解决方案，以AI实验室研发能力为基础，与浙江大学、河北工业大学等知名高校实现产学研合作。牵头总部的《中国移动全网知识图谱试点工作》，和江苏、浙江一起负责知识图谱规划，项目的认知图谱等方案纳入集团统一规划。“青鸾”项目输出3项国家发明专利，2篇国家级期刊论文，完成1项集团公司省级自立研发计划并结题。
