其他分享
首页 > 其他分享> > 违规文本检测方案

违规文本检测方案

作者:互联网

目录

1. 场景

  在问答系统中用户问题可能存在违规情况,包含涉政、色情、辱骂文字的文本视为违规文本。本文提出一种违规文本检测方案, 本方案仅限于判断文本是否包含违规内容,属于文本分类问题。

2. 方案

  方案流程图如下所示。违规词和疑似违规词由人工收集,文本中匹配到违规词则识别为违规文本,例如“煞笔”。文本匹配到疑似违规词或者fasttext模型判断为违规文本则进一步由RoBERTa模型判断。
在这里插入图片描述

3. 数据增强

  为了防止被系统屏蔽,用户通常会魔改违规用语,常用的魔改方式有:

  1. 插入无关字符。例如“强#,奸”;
  2. 拆字。例如”弓虽女干“;
  3. 同音替换。例如“卧槽”;
  4. 拼音替代。例如“wo cao”。

  模拟上述四种情况完成数据增强。

4. 代码

  本方案完整代码https://github.com/wjx-git/IllegalTextDetection

标签:例如,方案,检测,代码,疑似,违规,文本
来源: https://blog.csdn.net/qq_27668313/article/details/121453066