智能质检运营管理模式标准化及数据统计分析与研究

摘要：随着智能化的普及与广泛应用，以人工为主要服务载体的传统语音客户服务中心已无法满足科学技术日益增长及业务发展不断变化的多样性需求，特别是在解决人工效能不足，业务自助解决率不高，质检考核抽样率低、业务考察覆盖面小等方面，起到了效率提升的作用，解决了一些困扰自身发展的关键瓶颈项点，并利用智能化的手段，将运营管理过程中产生的数据，以更加合理、有效、科学的方法，进行整合，为制定运营策略、提升运营效率，提供了有力数据支撑。本文主要针对智能质检系统在客服质检实际工作中的应用情况，研究与分析质检工作运营管理模式，相关数据的提取、统计、分析与再加工，并以提升业务及服务水平为目标，推动质检工作的标准化建设，促进运营模式的推广与应用。

关键词：运营模式研究；数据统计分析；标准化建设；推广与应用

1 智能质检运营情况

1.1 智能质检系统框架

从系统产品一侧，在铁路客户服务中心所应用智能质检整个产品平台架构包含六层，从上到下依次是WEB应用层、接口层、服务层、能力层、数据存储层、平台层^【1】。从铁路应用一侧，铁路客服智能质检系统又从总体逻辑架构部署上分为采集层，能力层、服务层、展示层4层。目前，铁路客服智能质检系统的后端统一在国铁集团，并通过铁路外部服务网统一收集在各铁路局集团公司话务控制平台产生的录音及随路数据（未来会将随路数据进行统一集中管理），各铁路局集团公司客服中心用户通过浏览器访问系统^【2】。

1.2 智能质检应用情况

1.2.1 智能质检优势

提升效率，通过自动分析录音内容，快速发现服务过程中问题，提高质检效率；全渠道质检，全面覆盖客户与客服每一次交互，无论通过哪种渠道，都能进行质量检测，确保服务一致性和质量；降低成本，与传统人工质检相比，智能质检系统能自动分析对话内容，减少人力成本；提高准确性，智能质检采用先进AI技术,如大数据和云计算，能够更准确识别和处理服务中的问题；实时监控和反馈，质检系统能实时监控语音质量，及时发现坐席通话中的问题，并提供即时质检结果，使管理团队迅速应对问题；减少风险，通过全量质检，智能质检能发现所有对话中疑似违规行为，降低合规和管理风险；避免人为偏见，智能质检基于算法和数据，它不会受到质检员情绪或主观判断影响，从而提高质检客观性和一致性。

1.2.2 智能质检弊端

情感挑战，智能质检系统可能在理解和反应人类情感方面遇到困难，这可能会影响客服代表与客户之间交流以及客服表现的公正评估；误判问题，智能质检系统性能可能会受到误判影响，这可能会导致不准确的绩效评估，并对员工激励和培训产生不利影响；有限语义理解，智能质检系统通常基于特定规则和模式，难以充分理解复杂对话上下文，这可能导致无法全面评估客服质量；覆盖率及时效性不足，质检业务覆盖率可能不足，且质检结果的反馈时间不够及时，无法及时发现和解决问题，从而导致服务风险的滞后管理和潜在问题的忽视；评判主观性强，人工在核听录音优化模型过程中，可能会有主观差异，或者会影响质检结果客观性和一致性。

<!--[if !supportLists]-->2 <!--[endif]-->智能质检运营工作模式

^{北京铁路客户服务中心智能质检运营模式架构图}

图例1

2.1 质检模型业务逻辑培养

2.1.1 建立业务逻辑思维导图框架

建立业务逻辑思维关系导图主要目的是构建客服代表业务逻辑关系思维框架，达到业务覆盖95%的知识点，将碎片化知识进行整合，不用实时查询知识库内容，缩短操作系统知识库时间，通过逻辑关系思维导图能够快速直接有效找到相关咨询业务问题答案，而非旅客咨询常见问题罗列。

2.1.2 规范业务解答流程及口径

一种客运业务解答方式各有不同，各业务间交叉组合缠绕又很频繁，流程处理逻辑顺序又千差万别，因此规范业务解答流程及业务解答口径，是建立模型依据之一，从客服一侧培养客服代表解答话术统一性，规范客服服务质量标准，同时促进提升模型的命中准确率，为模型建立提供了基础依据。

2.1.3 设置科学质检模型建立机制

模型设置不是简单依据业务知识、旅客咨询问题而建立，需要建立标准依据，以旅客来电咨询业务问题为导向，以培养客服业务逻辑框架思维为方向，以考察客服业务能力为手段，以智能质检系统为辅助工具，以合理有效的运营模式为方法，以缩减服务成本，提升服务效率为目标来建立模型。

2.1.4 客服代表话术画像特征建立

为每一名客服建立话术画像特征，将一些客服解答问题不好的习惯口语、口头禅等影响话务质量服务用语，经常出现差错业务解答话术，分类增加到质检模型当中，形成客服代表画像特征模型库，达到检测服务质量作用，有针对性的按照标准化服务要求，对客服加强培训教育，提升服务质量。

2.2 质检模型的运营操作方法

2.2.1 智能质检模型建立与录音核听

第一阶段是盲听录音训练，将简单且单一业务关键词，按照规则建立模型，通过系统自动命中已导入的客服通话录音，然后逐一核听，同时收集、整理业务模型关键词、语句，并增加、补充到模型中，最后上线测试。第二阶段是“去非”筛选非业务录音，通过核听录音，整理、搜集非业务类关键词和语句，增加到模型“去非”条件当中，再上线测试；第三阶段是模型优化，有针对性对集中或热点问题，优化模型中部分关键词，调整模型规则语句。通过以上三个阶段模型基本建立完成，再之后就是多轮次常态化调优工作。

2.2.2 智能质检模型命中录音的标注

在核听模型命中录音同时，还须进行录音标注工作，对数据统计、分类、整理、分析。标注类型分为，未测听、业务命中已扣分、业务命中未扣分、转写问题误命中、非业务命中、其他问题误命中。还可对照模型命中的关键词和语句，对录音中的关键词及语句进行规则调优，类型分为误检和漏检，并在备注栏里对相关问题进行说明备注。另外还需对语义标签进行建立，并不断更新和补充，比如让旅客提供身份证号，查询车票信息，不同的旅客和客服代表有不同提法和问法，统一建立同类语义标签，是为了提升模型业务命中率。

2.2.3 智能质检问题反馈与客服培训

    在抽检录音核听、标注、以及模型优化过程中，对录音中涉及业务进行拆解，分析客服解答旅客的问题时，出现解答错误的原因，是共性问题，还是个性问题；是业务掌握上的问题、还是解答话术、业务逻辑上出现了问题，并将该问题记录在旅客的画像库中，建立台账信息，有针对性、侧重点的设置模型质检问题命中的规则句式，进一步进行系统测试，寻找出现质检问题的规律，同时将该问题反馈至业务、质检部门，按照职能分工、联合制定业务培训方案策略，帮助弥补客服短板，提升服务能力和服务技巧，提高业务解决能力。

3 运营关键数据标注

3.1 关键运营指标标注数据统计

（1）模型命中量>=抽检录音业务命中数量；模型命中量>=抽检录音质检问题命中数量。

（2）抽检量占比（百分比）=抽检核听录音总数量/模型命中录音总数量×100%。

（3）质检问题量占比（百分比）=核听抽检录音存在质检问题数量/抽检核听录音的总数量×100%。

（4）非业务命中量占比（百分比）=抽检核听录音命中非业务数量/抽检核听录音总数量×100%。

（5）业务命中量=抽检核听录音中业务已命中质检非命中数量+业务已命中质检已命中量。

（6）业务未命中量=抽检录音业务误命中量+抽检录音转写错误误命中量。

3.2 各标注指标间的相互关系

（1）质检模型命中量包含业务命中量、非业务命中量、以及未抽检的量；业务命中量又包含业务命中质检未命中量和业务命中质检已命中的量；非业务命中量包括业务缠绕误命中量和转写错误误命中量。

（2）当模型命中录音数量非常大或者系统测试模型较多时，且在质检人员非常短缺情况下，很难实现穷尽所有命中录音进行核听，因此只能在已命中的录音中进行抽检，抽检的比例应大于80%以上。

（3）模型最优状态下抽检录音业务命中量比例应当与抽检录音质检问题数量比例数据越接近，模型质量越高，数据比例越偏离越大，模型质量越低，另外还要看抽检录音的比例进行共同比较。

（4）在非业务命中数据量中包含两个：业务误命中，需要针对不同业务间相同或有缠绕关键词和语句进行删除和修改；转写错误误命中，进行同义、同类词优化，或是对系统内转写功能优化。

（5）另外应设置一个判断模型准确性高低的临界值进行比较，该临界值可以是上一周、上一个月，或者是上一个年度该模型抽检录音业务命中量和抽检录音质检问题量的加权平均值，并通过对临界值比较，判断模型优化后准确性情况。

3.3 关键运营指标标注数据分析

北京铁路客户服务中心智能质检运营数据标注模型架构图

图例2

数据自动分析结果：↗（高：大于临界值），↘（低：小于临界值）

【1】抽检量↗+问题量↗+【业务命中量↗+非业务命中量↘】+转写错误命中量↘=模型业务命中准确率↗

【2】抽检量↗+问题量↗+【业务命中量↘+非业务命中量↗】+转写错误命中量↘=模型业务命中准确率↘：业务缠绕严重，需要进行去非的优化

【3】抽检量↗+问题量↘+【业务命中量↗+非业务命中量↘】+转写错误命中量↘=模型业务命中准确率↗：客服对于业务掌握好或者模型业务过于简单及单一

【4】抽检量↗+问题量↘+【业务命中量↘+非业务命中量↗】+转写错误命中量↘=模型业务命中准确率↘：模型问题大，且业务缠绕严重，需着重进行优化

【5】抽检量↗+问题量↘+【业务命中量↗+非业务命中量↘】+转写错误命中量↗=系统语音文字转写准确率低，需要对系统进行优化

【6】抽检量↘+问题量↗+【业务命中量↗+非业务命中量↘】+转写错误命中量↘=模型业务命中准确率↗

【7】抽检量↘+问题量↗+【业务命中量↘+非业务命中量↗】+转写错误命中量↘=模型存在严重问题需要重新建立，分析非业务命中业务分类，增加新模型需求

【8】抽检量↘+问题量↘+【业务命中量↗+非业务命中量↘】+转写错误命中量↗=系统语音文字转写准确率低，需要对系统进行优化

【9】抽检量↘+问题量↘+【业务命中量↘+非业务命中量↗】+转写错误命中量↘=该模型没有考察价值，应当删除，重新建立新的模型

【10】抽检量↘+问题量↘+【业务命中量↗+非业务命中量↘】+转写错误命中量↘=需要提高抽检数量，不断积累关键词及关监语句，持续优化模型