OOV 是什么?
OOV 问题是NLP中常见的一个问题,其全称是Out-Of-Vocabulary
,下面简要的说了一下OOV:
怎么解决?
下面说一下Bert中是怎么解决OOV问题,如果一个单词不在词表中,则按照subword的方式逐个拆分token,如果连逐个token都找不到,则直接分配为[unknown]
标签:问题,下面,token,解决,面试,算法,OOV,逐个
来源: https://blog.csdn.net/liu16659/article/details/118074039