huggingface tokenizer一次性转换和分布转换

标签：分布,转换,huggingface,tokenizer,一次性
来源： https://blog.csdn.net/qq_15821487/article/details/120677730