【词向量】chiVe: Japanese Word Embedding with Sudachi & NWJC
作者:互联网
发现了现成的日文词向量:https://github.com/WorksApplications/chiVe
Abstract
“chiVe”(Sudachi Vector)是一种基于大规模语料库和多粒度标记的日语预训练词嵌入资源。
Based on the skip-gram algorithm, we used word2vec (gensim) to train the vectors.
我们使用日本语言和语言学国家研究所的NINJAL Web日语语料库(NWJC)作为训练语料库,使用Works Applications的Sudachi进行标记化。该语料库包含约1亿网页文本。
We used Sudachi's multi-granular tokenziation results (short, mid, and named entity) of NWJC text to train word vectors.我们使用Sudachi的NWJC文本的多粒度标记化结果(短、中、命名实体)来训练单词向量。
We provide data in 3 formats, namely, Text, gensim, and Magitude.
NLP神器--gensim:https://www.jianshu.com/p/9ac0075cc4c0
标签:Word,语料库,Japanese,NWJC,Sudachi,chiVe,gensim,向量 来源: https://www.cnblogs.com/Harukaze/p/14797058.html