如何评价智能客服系统的好坏

NEWS
新闻文章

如何评价智能客服系统的好坏

时间: 2021-01-12 15:07 作者: admin 点击: 次

各种节日大促时商家在享受便利的同时，也承受了很多压力，售前售后咨询量剧增折让客服人员忙得焦头烂额。此时，一款好的智能客服系统将助力电商服务更得心应手。目前市场上智能客服公司很多，让商家挑的眼花缭乱。那么怎么判断智能客服系统效果好坏呢？

基于问答知识库来回答的系统，回答能力受限于知识库的丰富程度，也就是说知识库对用户问题的覆盖率，覆盖率越高，准确性越高。因此并非能回答用户的所有问题，系统最佳的状态是将能回答的全部回答准确，不能回答的全部拒识，即拒绝回答。

因此这里的评价指标包括有问题解决率、拒识率、召回率和准确率等，我们的目标是让系统的有结果率无限接近数据的真实有结果率，召回率和准确率尽量高。

召回率 = 机器人能回答的问题数 / 问题总数

准确率 = 机器人正确回答的问题数 / 问题总数问题

解决率 = 机器人成功解决的问题数 / 问题总数

拒识率=机器人未回答问题数/用户问题数

通过从每日的全量数据集中抽样出一个小数据集，保证小数据集的数据分布尽量符合全量数据集，然后由标注团队对数据集做标注，标注出每个问题的实际答案。

一般标注完成后还有质检的环节，以保证标注结果尽量准确，这样便生成了每日数据的标准评测集。基于该标准评测集我们会去评价系统的好坏，并且每次做新模型迭代时都会使用标准评测集去评价新模型，只有新模型达到某个指标才可以上线。

基于用户反馈的评价人工评价能够评价智能客服系统的准确率，但是答案是否合理，能否为用户解决问题，需要用户去反馈评价，整个智能客服系统的最终目标是帮助用户解决问题。产品上会设计智能客服和在线客服的评价功能，例如会让用户评价智能客服的每个答案或者某次会话，在和人工客服聊天完毕会发送评价卡片给用户去评价满意度。

现在大多数客服系统采用SaaS模式，一旦使用就离不开产品，使用过程中任何Bug能否及时得到解决，产品售后服务团队是否配备到位，都会影响产品的效果。所以一个有着开发售后的能力的团队是非常有必要的。

关键词：智能客服系统

推荐内容

更多技术方案

新闻文章

NEWS
新闻文章