(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211244878.0 (22)申请日 2022.10.12 (71)申请人 迪爱斯信息技 术股份有限公司 地址 200233 上海市徐汇区钦江路3 33号41 幢三层 (72)发明人 张昆鹏　张文江　杨新　张天凤　 雷晓伦　董霞　方翔　陈国柱　 宋晓东　张伟　邱祥平　雷霆　 杜渂　彭明喜　陈健　 (74)专利代理 机构 上海硕力知识产权代理事务 所(普通合伙) 31251 专利代理师 童素珠 (51)Int.Cl. G06Q 30/00(2012.01) G06Q 30/02(2012.01)G06Q 10/06(2012.01) (54)发明名称 一种呼叫中心对话系统评价方法及系统 (57)摘要 本发明公开了一种呼叫中心对话系统评价 方法及系统， 包括： 获取呼叫中心对话系统的通 话数据集； 当通话数据集中的通话数据使用人工 服务时， 计通话数据对应的通话评价分数为0； 当 通话数据集中的通话数据未使用人工服务时， 计 算通话数据的多轮对话次数； 根据多轮对话次 数、 通话数据对应的系统回复、 通话数据对应的 系统状态、 通话数据对应的参考回复空间， 计算 通话数据的字符通话评价分数、 向量空间评价分 数、 困惑评价分数； 根据通话数据集中每一个通 话数据所对应的通话分数， 计算系统评价分数； 根据系统评价分数， 优化呼叫中心对话系统。 通 过对于字符层级、 向量空间层级、 困惑层级三个 不同层级的描述， 提高了系统的扩 展性。 权利要求书2页 说明书9页 附图2页 CN 115511508 A 2022.12.23 CN 115511508 A 1.一种呼叫中心对话系统评价方法， 其特 征在于， 包括： 获取呼叫中心对话系统的通 话数据集； 当所述通话数据集中的通话数据使用人工服务 时， 计所述通话数据对应的通话评价分 数为0； 当所述通话数据集中的所述通话数据 未使用人工服务 时， 计算所述通话数据的多轮对 话次数； 根据所述多轮对话次数、 所述通话数据对应的系统回复、 所述通话数据对应的系统状 态、 所述通话数据对应的参考回复空间， 计算所述通话数据的字符通话评价分数、 向量空间 评价分数、 困惑评价分数； 根据所述 通话数据集中每一个通 话数据所对应的通 话分数， 计算系统评价分数； 根据所述系统评价分数， 优化所述呼叫中心对话系统。 2.根据权利要求1所述的一种呼叫中心对话系统评价方法， 其特征在于， 还包括： 剔除 所述通话数据集中直接使用人工服 务的通话数据。 3.根据权利要求1或者2所述的一种呼叫中心对话系统评价方法， 其特征在于， 所述计 算所述通话数据的通 话分数具体包括： 使用BLeu算法， 根据所述多轮对话次数、 所述通话数据对应的系统回复、 所述通话数据 对应的系统状态、 所述通话数据对应的参考回复空间， 计算所述通话数据的字符通话评价 分数。 4.根据权利要求1或者2所述的一种呼叫中心对话系统评价方法， 其特征在于， 所述计 算所述通话数据的通 话分数具体包括： 使用向量均值法， 根据 所述多轮对话次数、 所述通话数据对应的系统回复、 所述通话数 据对应的系统状态、 所述通话数据对应的参考回复空间， 计算所述通话数据的向量空间评 价分数。 5.根据权利要求1或者2所述的一种呼叫中心对话系统评价方法， 其特征在于， 所述计 算所述通话数据的通 话分数具体包括： 使用PPL算法或者所述通话数据信息量， 根据所述多轮对话次数、 所述通话数据对应的 系统回复、 所述通话数据对应的系统状态、 所述通话数据对应的参考回复空间， 计算所述通 话数据的困惑评价分数。 6.一种呼叫中心对话系统评价系统， 其特 征在于， 包括： 通话数据获取模块， 用于获取呼叫中心对话系统的通 话数据集； 通话评价分数计算模块， 用于当所述通话数据集中的通话数据使用人工服务时， 计所 述通话数据对应的通话评价分数为0； 当所述通话数据集中的所述通话数据未使用人工服 务时， 计算所述通话数据的多轮对话次数； 并根据所述多轮对话次数、 所述通话数据对应的 系统回复、 所述通话数据对应的系统状态、 所述通话数据对应的参考回复空间， 计算所述通 话数据的字符通 话评价分数、 向量空间评价分数、 困惑评价分数； 系统分数计算模块， 用于根据所述通话数据集中每一个通话数据所对应的通话分数， 计算系统评价分数； 优化模块， 用于根据所述系统评价分数， 优化所述呼叫中心对话系统。 7.根据权利要求6所述的一种呼叫中心对话系统评价系统， 其特征在于， 还包括通话数权　利　要　求　书 1/2 页 2 CN 115511508 A 2据获取模块优化模块， 用于剔除所述 通话数据集中直接使用人工服 务的通话数据。 8.根据权利要求6或者7所述的一种呼叫中心对话系统评价系统， 其特征在于， 所述通 话评价分数计算模块具体包括： BLeu算法模块， 用于使用BLeu算法， 根据所述多轮对话次数、 所述通话数据对应的系统 回复、 所述通话数据对应的系统状态、 所述通话数据对应的参考回复空间， 计算所述通话数 据的字符通 话评价分数。 9.根据权利要求6或者7所述的一种呼叫中心对话系统评价系统， 其特征在于， 所述通 话评价分数计算模块具体包括： 向量均值模块， 用于使用向量均值法， 根据 所述多轮对话次数、 所述通话数据对应的系 统回复、 所述通话数据对应的系统状态、 所述通话数据对应的参考回复空间， 计算所述通话 数据的向量空间评价分数。 10.根据权利要求6或者7所述的一种呼叫中心对话系统评价系统， 其特征在于， 所述通 话评价分数计算模块具体包括： 困惑度模块， 用于使用PPL算法或者所述通话数据信息量， 根据所述多轮对话次数、 所 述通话数据对应的系统回复、 所述通话数据对应的系统状态、 所述通话数据对应的参考回 复空间， 计算所述 通话数据的困惑评价分数。权　利　要　求　书 2/2 页 3 CN 115511508 A 3