对话系统项目总结
作者：互联网
文章目录
一、项目背景
对于存量客户都会关注我们的"客户服务中心"微信公众号，内嵌了一个"我的客服"功能，可以使用AI智能解决常见的客户问题，分担热线进线量，节约人力成本。
二、数据准备
1. 关键数据
近两年的咨询投诉对话150万条左右的语料，24种意图类别，64种实体类型。
人工打的标签，每条语料需要整理出客户意图、实体类型，实体标签。
2.一个例子
一个（意图，实体类型）对决定这一个对话决策（一般是sql语句的决策）比如 意图为"提前还款"，实体类型为"还款渠道"，实体名称为"XXXAPP"，后台一般会反馈一个对话策略 “会问客户希望在哪里，什么时间提前还款?” 客户又会回答一个时间，系统会识别实体类型"还款类型"，实体名称为"明天下午"，系统会最终给出回答"请明日12点后登录路径1点击XXX还款，提示每月扣款时间为。。。。。。" 等
三、模型内容
整个对话系统分为三个模块：NLU、DM、NLG。其中NLU是我们主要负责的部分。
模型是基于Bert将意图识别和语义槽填充两个任务同时完成的。逻辑是输入语料用Bert预训练之后，每个词都有相应的词向量表示。对于一条训练语句，第一个输入到模型的token是【CLS】，利用【CLS】的向量表示经过一个feedforward 神经网络【768，24】可以进行意图识别，也就是使用softmax进行24分类。而句子其他的输出向量则经过一个【768，64*2+1】的FF做BIO序列标注。得到的意图类别和实体与预先标注的标签进行对比。用cross entropy loss（两个任务的loss相加）进行训练得到合适的模型权重。
四、模型效果
1. 模型效果
两个任务由于一个是24分类，另一个是句子长度个的129分类，前者的难度比后者小的多。意图识别的准确率也确实可以达到98%，而NER命名实体似乎别最好也就是88%左右。
2.业务效果
可以分担之前12%的进线咨询，在线智能解决率约为95%
五、面试可能会问到的相关问题
1. 如果有新的意图进来如何能在不影响已经训练好的意图
2. 小样本如何训练
标签：总结,24,训练,模型,实体,系统,意图,对话,还款 来源： https://blog.csdn.net/weixin_49528551/article/details/120813237