首页 > 其他分享> > 【Paddle】2020CCF-千言：多技能对话baseline使用教程

【Paddle】2020CCF-千言：多技能对话baseline使用教程

2021-06-17 16:51:47 作者：互联网

【Paddle】2020CCF-千言：多技能对话baseline手把手使用教程

摘要：包含了本机和AI Studio两种实操Plato方法

下载官网数据集

2020CCF-千言：多技能对话比赛地址
注意将子文件内的压缩包一一解压
在这里插入图片描述

本地教程

强烈不推荐！！！
对于windows玩家，paddle的环境设置等太麻烦了，不如直接薅羊毛去官网用AI Studio跑

指定一个文件内，使用git命令，从github上下载Knover

git clone https://github.com/PaddlePaddle/Knover
cd Knover
git checkout luge-dialogue

在这里插入图片描述
之后，将luge-dialogue/config文件复制粘贴到该文件夹内，如上图所示

其次，下载预训练模型，均可通过链接下载，下载好压缩包后将其解压至12L.pretrain，同样复制该文件夹命名为12L（与之后的config文件对应），最终效果如上图所示

# 大规模数据预训练模型
wget "https://dialogue.bj.bcebos.com/luge/12L.pretrain.tar"
tar -xvf ./12L.pretrain.tar

如果你不想修改代码，对于paddle进行数据token化的代码请参见\Knover\luge-dialogue\tools\convert_data_to_numerical.py文件，从下述代码中可以修改或匹配路径格式
在这里插入图片描述

注意不修改代码，就要将数据集移到\Knover\data\luge-dialogue下，如下图所示
在这里插入图片描述
然后，在Knover目录下，进行数据转换，将数据集转换为Plato所需的数据格式

python ./luge-dialogue/tools/convert_data_to_numerical.py ./luge-dialogue/config/spm.model

大约2小时左右后，六个不同领域的数据集便被转化为train、test、valid三个标准数据集，可以得到如下这样
在这里插入图片描述
倒数第二步，修改两个文件

12L_train.conf
对于本地，注意batch_size的大小，可能OOM
train.sh
此处是针对本机的GPU数量进行修改

一、二、三等等块GPU…的本机设置

最后一步，训练模型
在Knover文件夹内git bush here

笔者用的是anaconda环境
故先激活环境

source activate paddle

模型训练

./scripts/local/train.sh ./config/12L_train.conf

AI Studio教程

AI Studio官网链接

在此推荐两个优秀的简要教程：

jupyter notebook版：2020 CCF BDCI: 千言对话baseline
脚本运行版：千言开放域对话比赛

笔者将使用jupyter notebook版，详细版如下
将本地处理好的数据集train/test/valid.txt已上传：本人所用数据集

在此数据集上，新建项目，注意!! paddle版本要选1.8.4，不要选2.0.0

终端

在终端处依次输入

git clone https://github.com/PaddlePaddle/Knover
cd Knover
git checkout luge-dialogue

ln  -s ./luge-dialogue/config ./config

wget "https://dialogue.bj.bcebos.com/luge/12L.pretrain.tar"
tar -xvf ./12L.pretrain.tar

ln -snf 12L.pretrain 12L

之后，修改config文件中的12L_train.conf，如下图所示
在这里插入图片描述
最后，在终端运行

./scripts/local/train.sh ./config/12L_train.conf

在Knover/log/文件内可以看到模型的运行过程
在这里插入图片描述

标签：dialogue,Knover,baseline,千言,12L,Paddle,train,config,luge
来源： https://blog.51cto.com/u_15273918/2917731