编程语言
首页 > 编程语言> > 算法工程师面试之OOV问题如何解决?

算法工程师面试之OOV问题如何解决?

作者:互联网

OOV 是什么?

OOV 问题是NLP中常见的一个问题,其全称是Out-Of-Vocabulary,下面简要的说了一下OOV:
在这里插入图片描述

怎么解决?

下面说一下Bert中是怎么解决OOV问题,如果一个单词不在词表中,则按照subword的方式逐个拆分token,如果连逐个token都找不到,则直接分配为[unknown]

标签:问题,下面,token,解决,面试,算法,OOV,逐个
来源: https://blog.csdn.net/liu16659/article/details/118074039