基于大模型的人机协同增强：客服语料数据化与情感智能客服的构建

引言：随着2025年度临近尾声，各企业客服中心已陆续开展2026年度运营规划。在当下客服中心人力成本持续攀升与大模型技术持续普及的双重背景下，AI客服的边际成本优势日益凸显。行业实践中，头部企业已普遍开展大模型在质检领域的应用，比如某知名电商平台创新部署基于大模型技术研发的客户数字分身系统，通过模拟客户视角进行服务评价，实现对服务质量的多维评估、体验问题的智能诊断、客服绩效的客观考核。从现存挑战来看，当下高价值数据沉淀仍显不足，尚未系统性地将优质客服的实践经验转化为智能客服的训练语料；同时，各企业客服中心的人机体验差距仍然显著，智能客服与人工客服在核心体验指标上仍存在明显的差距区间。未来突破环节，可以通过知识萃取技术对优质客服的线下加工和服务技巧转化为可复用的智能客服训练要素，伴随国内AI技术的蓬勃发展——多模态AI技术（文本/语音/情感分析）、强化学习框架（RLHF）、大模型微调技术，为上述构想和方案落地提供完整的技术可行性支撑。

一、技术框架：从语料到情感增强AI

1.1 数据采集与标注

本文讨论的数据基础为客服语料数据，这部分数据主要包含3个类型：

<!--[if !supportLists]-->① <!--[endif]-->语音文本：主要通过通用语音识别技术（ASR）将客服语音中的词汇内容转换为计算机可读的输入。以某知名电商平台为例，已具备成熟的语音转文本技术（识别正确率高，偏差较小），伴随大模型在质检领域的应用，能结合文本信息对客户的情感标签（愤怒/焦虑/平静等）、话术类型（共情安抚/解释说明/解决方案）、用户反馈（解决率/满意度）等进行标注，可供质检人员、客服管理者使用。

<!--[if !supportLists]-->② <!--[endif]-->非语言特征：主要为声纹分析（Wav2Vec 2.0）工具，通过巨量的无标注语音数据上的自监督学习实现对客户情绪强度（1-5分）、录音关键节点（如用户沉默后的回应策略）的判断；同时，也能提升自动语音识别（ASR）、语音合成（TTS）和语音转换（VC）等语音下游任务的性能。

<!--[if !supportLists]-->③ <!--[endif]-->上下文数据：主要通过企业内部客户关系管理系统或服务平台，实现对订单日期、订单金额、服务渠道（电话/在线/主动）、历史投诉记录等信息的标注。以上述某知名电商平台为例，伴随大模型在质检领域的应用，日均积累巨量的无标注数据，并通过企业持续运营，已实现标注流程系统化/标准化。

1.2 模型训练与建设

基于大模型实现的标准化客服语料积累，模型训练需企业持续建设并建立智能运营闭环机制：

<!--[if !supportLists]-->① <!--[endif]-->数据赋能路径：通过接入企业的订单信息、用户信息和历史服务数据，由智能运营人员配置给到用户优于标准问答的专属答案，并持续通过大模型精准提炼优质客服在人工解决环节的线下加工策略和人工服务技巧，不断反哺形成“人工经验→模型训练”的数据流。

<!--[if !supportLists]-->② <!--[endif]-->智能客服升级：通过持续反哺训练，帮助智能客服升级基于信息判断用户可能提出的问题的能力；这当中，不仅要有基础层面高准确度的标准问答库和基于用户画像定制的专属问答库，还需要有建议方案生成、第二选择的备选策略库。

<!--[if !supportLists]-->③ <!--[endif]-->语料反哺循环：在理想闭环机制中，大模型分析优质客服录音，提炼服务策略并反哺智能客服，实现需求洞察升级；知识库、问答库和策略库随之循环更新，形成实时反馈闭环，最终建设出具备定制问答生成、多方案推荐、动态策略优化的智能客服。

从训练、建设的实现路径来看，当前行业主要有以下2种普遍应用模式：

<!--[if !supportLists]-->① <!--[endif]-->知识库：通常来说，客服部门往往有相对成熟、完整的知识库供客服在处理客诉时查阅、引用；对智能客服来说，其背后关联的知识库需要有服务流程设计团队不断更新、维护、迭代，通过企业内部标准问答或统一设定的形式来匹配并影响模型对话输出，主要保障接口调用标准化（任务型应答）、对话流程规范化（问答型应答、闲聊型应答），从而确保问答准确性、对话流畅度。

<!--[if !supportLists]-->② <!--[endif]-->能力标注：参考上述电商平台实践为例，以语义理解和数据分析双引擎为基础，由质检人员从数据库中提炼普适性框架并建立客服能力评估标准，确保模型规则高度对齐的同时验证可落地性。该平台基于内部优化闭环机制持续进行模型调优，主要包含人工申诉数据分析和异常点偏差校准两个方面，最终提升对应基础话术准确率、规则调用准确率。

在知识库和能力标注之外，本文讨论基于客服语料数据库反哺构建情感智能客服，即未来的第3种应用模式——情感智能升级。在技术上通过客服语料数据库反哺来构建情感计算能力，并通过情绪识别→话术/策略匹配→需求洞察/预测→多方案推荐→实时反馈→动态优化。

接下来，我们通过文本、语音两种信息为大家举例说明：

文本信息案例：

使用提示工程（Prompt Engineering）设计多阶段共情话术框架，引导模型生成符合用户情绪的对话策略。例如用户说“我发现我订的酒店日期填错了，我想要退款但酒店就跟我说不能退款，怎么办啊？”

①初始版prompt：请用共情安抚+解决方案的格式回复：1.共情安抚部分 2.解决方案部分

-输出示例：非常抱歉给您带来不便了，我来帮您和商家申请订单退款，您看是否可以？

经过质检层面语料补充后，通场景用户反馈后的 Prompt（进阶版）参考如下：

②进阶版prompt（增加确认诉求）：请用共情安抚+确认诉求+解决方案的格式回复：1.共情安抚部分 2.确认诉求部分 3.解决方案部分

-输出示例：非常抱歉给您带来不便了，那您看目前需要我帮您申请订单改签到正确日期还是操作订单退款？如果您想要改签的话，这个订单我来帮您xxx；如果您想要退款的话，这个订单我来帮您xxx … …

上述初始版到进阶版的变化是相对易得的，下面我们通过智能客服调用接口信息、配置任务流以及优质客服语料训练，设想的智能客服演示如下：

③设想版prompt：请用共情安抚（强化情绪交流）+确认诉求（强化信息判断）+解决方案（强化精准）+调用接口/构建任务流（新增）的格式回复：1.共情安抚部分 2.确认诉求部分 3.解决方案部分 4.方案跟进部分

-输出示例：真诚的跟您说声抱歉（共情），您好不容易趁节假日休息带着孩子外出旅游（用户画像调用），这一路奔波能感受到这会儿您已经比较疲惫了（接口信息辅助判断+情感分析），结果这么晚到了酒店却发现订单日期不对（订单信息、进线信息交叉判断），我相信您带着孩子外出旅游订酒店肯定也是想好好休息，能住的安心舒适的（需求洞察+共情）。虽然您刚才询问订单能否退款，但我相信您这样有眼光的优质客户在选择我们平台预订这家酒店时也是精挑细选的（高分语料话术支持），肯定也是对着入住去预订的（高分语料方案支持），您看这样，由我来帮您跟进后续的订单处理（方案提供），我先优先帮您协调订单协调改签或原店入住可以吗？（优先双赢的方案提供）毕竟这么晚您也累了，再预订新的酒店入住也耽误您和孩子休息，您看这样是否可以？（高分语料话术/方案支持）

-调用建议方案——好的，帮我协调入住；（客户选择后，调用任务流智能外呼酒店协调原单改签或原店入住，优先安排客户入住并同步酒店亲子房外出旅游建议温馨关怀等，参考语料数据库完善补充）

-补充第二方案——不用了，就退款吧；（客户选择后，基于接口信息判断和高分语料支持，进一步判断客户订单退款后其入住诉求是否存在/解决，是否需要客服帮忙推荐/改订原酒店周边其他同类型同等级酒店和房型，需要智能侧配置后台调用信息接口并完成预设代客代客改签/改订等任务流配置）

… … (后续可铺设人工客服介入渠道、服务流程切换配置等，各企业可按需实际配置)

语音信息案例：

通过韵律建模（Prosody Modeling）控制语速、音调，即通过对客户情绪的判断，来调优智能客服的语速、间隔、音调、措辞等。例如：系统识别愤怒用户下，智能客服降低20%语速，增加1秒停顿；系统识别焦虑用户下，智能客服加快10%语速，上扬5%音调。

区别于文本信息，语音信息对应的语速、间隔、音调等调用更加依赖客服语料数据库来进行反哺训练，叠加对录音的打判衡量、对服务case的体验衡量不断调优不同类型用户下，应对的语速、间隔、音调等。例如在人工辅导环节，投诉场景下通过优质客服的录音分析，萃取声纹特征并进行参数模式归纳——要求处置某投诉场景的客服降低约25%语速、下沉约20%音调并增加少量停顿，试点后针对愤怒用户的投诉率、外部溢出率对比降低约20%。

总结来看，不管是文本信息还是语音信息，智能客服持续通过客服语料库的训练反哺调优，更能在真实世界给到客户更多的温馨关怀，并结合多重信息给到客户更匹配真实需求的解决方案、第二选择。上述技术能力（如情绪识别、韵律建模）需通过运营机制转化为实际价值。下文将探讨如何通过数据回流（负样本分析）、A/B测试（渐进式灰度放量）、风险接管（RMS系统）构建人机协同闭环，最终实现技术→业务→成本的全面优化。

二、运营优化：构建人机协同闭环

2.1 客服语料数据库构建

第一部分表述从智能客服训练建设引入，讨论在当前知识库、能力标注形式外，进行情感智能升级的探讨。回到升级前提——客服语料数据库构建这里，主要通过大模型对企业服务数据进行分析萃取，强化对优质客服服务能力的标注、萃取、提炼，并逐步积累智能客服的标准问、专属问的应对能力以及后续调用不同解决方案、任务流的思维能力。以上述判断用户情绪为例，场景化的响应策略可以参考用户的情绪（愤怒/焦虑/平静等）配置不同的话术模板，并结合识别出的不同语音特征（语速/语音/停顿等）配置不同优先级的解决方案。

基于实践经验来看，客服语料数据库的构建不是一蹴而就的，确实需要分阶段实施。从具体落地路径来看，建议基于上述3种应答类型（闲聊型、问答型、任务型）依序部署工作：

<!--[if !supportLists]-->① <!--[endif]-->初期阶段（0-3个月）：企业应重点聚焦基础能力建设，基于智能或训练资源的投入优先突破闲聊型应答，强化闲聊型智能客服的“情感增强模板库”（例如道歉模板、共情模板等），或可结合优质客服语料补充训练来优化细分现有的道歉模板。例如，模版1客户责任（我特别能够理解您的心情，后续遇到此类情况建议您xxx）、模版2商家责任（首先代表商家给您诚挚的道歉，关于这单的情况我们会和商家xxx）、模版3平台责任（您在平台下单也是对平台的新人，这单您不用担心，平台将全额承担您xxx）、模版4不可抗力等（当下核实台风登陆确实属于一个特殊情况，我们也是非常关心你的安危才联系您xxx）。

<!--[if !supportLists]-->② <!--[endif]-->中期阶段（3-6个月）：企业应重点推进问答型优化，基于优质客服语料补充持续训练，实现模板动态升级。例如，通过责任判定+情感表达+解决方案的三段结构不断调优问答，在责任判定方面主要通过接口信息自动识别确保高准确率，在情感表达方面主要通过声纹分析精准匹配用户情绪强度，在解决方案方面主要通过配置关联任务流实现较高的自动调用率。

<!--[if !supportLists]-->③ <!--[endif]-->后期阶段（6-12个月）：企业应重点完善任务型能力，通过场景化模板的智能组合，实现对紧急场景、复杂场景、特殊场景的精准应对和处置。例如，紧急场景下配置情感模版+快速通道+补偿方案，复杂场景下配置分布说明+多样选项+人工兜底，特殊场景下配置定制方案+高优通道+专属客服，并最终通过组合模板调用任务流解决客户问题。

2.2 数据回流与A/B测试

上文已提到当前智能客服的核心底层短板在于情感交互缺失和社会性交互不足，体现在人机体验差距仍然显著。

针对这部分不足，首要做的事情是搭建负样本分析框架进行分析，即通过智能客服的“低体验对话/录音”与同场景下人工客服的“高体验对话/录音”对比，运用大模型持续积累优化建议并反哺智能客服，让智能客服在持续学习高体验对话/录音的时候，不断补足这部分缺失的情感交互、社会性交互。同时，通过大模型输出的这部分优化建议同样可以设计A/B组测试，其中A组为测试组（使用调优后的应对策略），B组为对照组（使用调优前的应对策略），测试对照过程中通过智能满意度、转人工率、解决时长、重复进线率等指标的监控进行对比分析。

在测试过程中，需要说明关注的是路由机器人和业务机器人的类型差异。通常来看，这里的“路由”不仅需要路由到准确的业务领域，即用户进线后判断用户的问题属于哪个业务，应该进入哪个技能组；同时，还需要路由到正确的人工技能组、人工技能线。那么在上述A/B组测试过程中，需要运营管理人员决策好前期灰度测试时在什么场景下、什么用工结构下、什么技能线下去做这部分的测试。例如，某电商平台某业务安排云客服、校企客服承接该业务的简单场景服务（约40%比例），安排全职供应商客服承接该业务的复杂场景服务（约40%比例），安排全职自有客服承接该业务的更复杂的风险、舆情、政府投诉场景服务（约20%比例）。如果前期没有对A/B组测试进行相关方的讨论、共识和决策，相关测试可能导致不同场景业务量变化，影响人工客服的承载比例均衡，进而影响供应商关键指标。这部分实践来看，建议采用渐进式灰度放量测试（参考5%→15%→30%→全量）并设置熔断机制（参考关键指标恶化超过阈值立即暂停），实践环节各企业可参考内部绩效、结算机制做测试保护。

2.3 风险接管和人工辅助

在运营管理人员试点A/B组测试时，需要增加风险接管机制，需要建设针对智能客服A/B测试的风险管理系统（RMS）来做主动风险识别，去干预这部分智能客服的风险接管。

详细的风险接管机制需要由运营管理人员、服务流程设计人员等对齐和共识配置，包括但不限于风险命名、触发条件、参数、风险等级、可以采取的行动等。例如：当用户连续2次否定智能客服（调优后）方案时，需要主动触发并路由到相匹配的人工客服进行接管，在保留智能客服的对话历史的基础上，伴随高分服务案例/语料库的试点、建设增加推送给人工客服更多信息，包括但不限于用户的情绪分析曲线、用户的投诉风险评分、用户的沟通风格判断、该场景下用户的TOP推荐话术。

最后，在构建人机协同闭环的运营环节，运营管理人员需要具备成本意识来管控试点、构建过程中的成本。前期无需对所有优质服务案例做语料数据化，可结合年度规划或智能运营部门的资源、预算做定期的增量训练，按照内部商定的逻辑每周新增一定数量的优质服务案例，通过企业自研（基于信息安全角度考虑）或信任的AI模型学习并不断更新，以沉淀优质客服语料数据。同时，需要增加ROI分析做成本决策，结合转人工率、转接率、智能客服A/B对照满意度/解决率等指标规划并运营在数据标注、模型训练等投入项的成本支出、预估收益。建议运营环节不仅要有成本进度的监控预警，相关运营人员也要能具备动态敏捷调整的意识和能力，以确保成本管控的实操性。

后续：从当下人机协同增强的方向来看，部分行业、领域已有一定实践、扩展，通过知识库、能力标注实现了智能客服的蓬勃发展；但同时，我们也发现例如某视频平台的AI医生，虽然具备完备的医学知识库保障了诊断的准确性，但相对缺少人工医生的“安抚”，在降低患者焦虑、提升患者依从性方面还需要持续提升和优化（可延展探讨电商智能客服偏任务流调用，医疗AI智能医生偏安抚缓解焦虑）。另一方面，伴随着国家日益增强的信息保护法案和国民日益增强的信息安全意识，运营人员在使用录音/文本数据进行语料数据化时，务必保障操作符合国家法律法规和公司内部信息安全制度的要求。长期来看，通过客服语料数据化与情感智能客服的构建实现人机协同增强，一方面是任重道远，仍需持续探索和努力，一方面也需要关注避免大模型调优后的智能客服过度拟人化，因情感问题带来伦理挑战，需要设置情感智能发展红线。但长远来看，大模型调优后的情感智能客服边际成本优势明显，且优质客服语料是高情感的价值数据；伴随构建语料数据库后的反复训练、调优能持续带来企业在体验、服务、速度等多维度的改善，相信未来一定有更好地发展。

《客户世界》创办于2003年1月，是中国客户服务与数字运营行业的旗帜媒体。本文刊载于2025年玄冥辑（总第240期），本文作者：樊超来自美团；联络编辑：edit@ccmw.net